微软开源bitnet.cpp:不靠GPU本地运行千亿参数AI模型,实现高效神经网络计算
发布时间:2024-10-19
来源:绿色资源网
10 月 19 日消息,科技媒体 marktechpost 昨日(10 月 18 日)发布博文,报道称微软公司开源了 bitnet.cpp,这是一个能够直接在 CPU 上运行、超高效的 1-bit 大语言模型(LLM)推理框架。
用户通过 bitnet.cpp 框架,不需要借助 GPU,也能在本地设备上运行具有 1000 亿参数的大语言模型,实现 6.17 倍的速度提升,且能耗可以降低 82.2%。
传统大语言模型通常需要庞大的 GPU 基础设施和大量电力,导致部署和维护成本高昂。而小型企业和个人用户因缺乏先进硬件而难以接触这些技术,而 bitnet.cpp 框架通过降低硬件要求,吸引更多用户以更低的成本使用 AI 技术。
bitnet.cpp 支持 1-bit LLMs 的高效计算,包含优化内核以最大化 CPU 推理性能,且当前支持 ARM 和 x86 CPU,未来计划扩展至 NPU、GPU 和移动设备。
根据初步测试结果,在 ARM CPU 上加速比为 1.37x 至 5.07x,x86 CPU 上为 2.37x 至 6.17x,能耗减少 55.4% 至 82.2%。
bitnet.cpp 的推出,可能重塑 LLMs 的计算范式,减少对硬件依赖,为本地 LLMs(LLLMs)铺平道路。
用户能够在本地运行模型,降低数据发送至外部服务器的需求,增强隐私保护。微软的“1-bit AI Infra”计划也在进一步推动这些模型的工业应用,bitnet.cpp 在这一进程中扮演着重要角色。
附上参考地址
分类列表
换一批
手游推荐
手游排行榜
推荐文章
- 12024年英雄联盟告别Win7,游戏党迎接新挑战需升级系统
- 2最强AMD笔记本外星人m18实测:Radeon RX 7900M媲美RTX 4080,性能堪比顶级显卡!
- 3Windows 11 终于可以在安装过程中引入网卡驱动了:轻松解决安装过程中的网卡问题
- 4Windows 11 市场份额跃升至 27.83%:最新数据显示,Windows 11 市场份额大幅增长!
- 5CPU型号后缀带K、KF、F、KS、X、G、H、U、P的含义与区别是什么?
- 6骁龙8 Gen 3/天玑9300跑分曝光:CPU多核首次持平A17P,GPU大幅领先
- 7微软在支持文档中确认 Windows 11 版本 24H2 的存在,更新内容和特性一览
- 8AMD R5 8600G首发测评,全新构架 AI加持=告别低端独显,性能超越预期
- 9AMD显卡也能“炼丹”?实战DirectML加速AI绘图,提升绘图效率的利器!
- 10显卡、CPU、GPU分别负责什么?一次性说清楚,简明了当!