Hello folks,我是 Luga,今天我们继续来聊一下人工智能生态相关技术 - 用于加速构建 AI 核心算力的 GPU 硬件技术。    ...
Hello folks,我是 Luga,今天我们继续来聊一下人工智能生态相关技术 - 用于加速构建 AI 核心算力的 GPU 编程框架 - CUDA 。    ...
在全球人工智能领域的激烈竞争中,摩尔线程(MooreThreads)最近发布了一个令人瞩目的消息:将高效的大语言模型推理框架vLLM成功移植至MUSA平台,进而为国产GPU的应用提供强劲支持。这一举措不仅是国内在AI推理领域的一次重要进展,更是计算行 ...
摩尔线程基于vLLM v0.4.2版本进行了细致的移植适配工作,使得该框架能够支持摩尔线程GPU后端Device。更重要的是,这一移植版本已完全开源,为开发者提供了二次开发、升级vLLM至社区更新版本等灵活性。
近期,摩尔线程宣布上线其开源项目vLLM-MUSA,这是一个旨在提升AI推理性能的重要框架,标志着国产GPU在人工智能领域迈出了关键一步。这一项目的成功实施不仅为开发者提供了新的工具和灵活的选择,也为实现对CUDA的有效替代铺平了道路。 vLLM(一个高效的大 ...
毫无疑问,你可能已经听说过 CUDA,并且知道它与 NVIDIA GPU 有关。但你可能对 CUDA 的确切含义和用途还不甚了解。究竟,CUDA 是什么呢? 毫无疑问,你可能已经听说过 CUDA,并且知道它与 NVIDIA GPU 有关。但你可能对 CUDA 的确切含义和用途还不甚了解。究竟 ...
摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。
快科技11月5日消息,近日,摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目 ...