Hello folks，我是 Luga，今天我们继续来聊一下人工智能生态相关技术 - 用于加速构建 AI 核心算力的 GPU 编程框架 - CUDA 。    ...

Hello folks，我是 Luga，今天我们继续来聊一下人工智能生态相关技术 - 用于加速构建 AI 核心算力的 GPU 硬件技术。    ...

在全球人工智能领域的激烈竞争中，摩尔线程（MooreThreads）最近发布了一个令人瞩目的消息：将高效的大语言模型推理框架vLLM成功移植至MUSA平台，进而为国产GPU的应用提供强劲支持。这一举措不仅是国内在AI推理领域的一次重要进展，更是计算行 ...

本文详细探讨了GPU的重要性、设计初衷及其在AI训练和推理中的应用，同时介绍了CUDA平台及其对GPU计算能力的扩展。通过深入了解GPU和CUDA，读者可以 ...

摩尔线程基于vLLM v0.4.2版本进行了细致的移植适配工作，使得该框架能够支持摩尔线程GPU后端Device。更重要的是，这一移植版本已完全开源，为开发者提供了二次开发、升级vLLM至社区更新版本等灵活性。

摩尔线程被称为“国产英伟达”，其创始人兼CEO张建中曾任职于英伟达，并带领团队推出了MUSA统一GPU架构，类似于英伟达的CUDA技术。摩尔线程的产品线包括AI芯片和消费级显卡，其中AI计算芯片如MTTS2000、MTTS3000和最新发布的MTTS4000，FP32算力分别为10.6TFLOPS、15.2TFLOPS和25TFLOPS。相比之下，英伟达A100的FP32算力为19.5TFLOPS ...

近期，摩尔线程宣布上线其开源项目vLLM-MUSA，这是一个旨在提升AI推理性能的重要框架，标志着国产GPU在人工智能领域迈出了关键一步。这一项目的成功实施不仅为开发者提供了新的工具和灵活的选择，也为实现对CUDA的有效替代铺平了道路。 vLLM（一个高效的大 ...

【ITBEAR】摩尔线程近日在国产GPU ...

摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。