开源项目llama2.c旨在彻底运用C代码运转轻量级版别的Llama 2模型。 这个婴儿Llama 2 模型遭到 llama.cpp 的启示，llama.cpp 是一个为在从本地设备到云渠道等各种硬件上完成 LLM 推理而创立的项目。 现在，这些紧凑的代码试验已被用于在简直一切带芯片的设备上运转人工智能技能，凸显了AI东西日渐增加的可拜访性和多功能性。
在看到 Exo Labs 在运转 Windows 98 的陈旧 Pentium II 上运转一个大型言语模型后，开发者 Andrei David 决议承受一个愈加非传统的应战。 他从自己的 Xbox 360 游戏机上掸掉尘埃，开端逼迫这台运用了近二十年的机器加载 Meta AI 的 Llama LLM 系列中的人工智能模型。
David 在 X 上同享说，他成功地将 llama2.c移植到了微软 2005 年的游戏机上。 但是，这一进程并非没有严重妨碍。 Xbox 360 的 PowerPC CPU 是big-endian架构，因而就需要对模型的装备和权重进行很多的 endianness 转化。 此外，他还必须对原始代码进行很多调整和优化，使其可以在老化的硬件上运转。
内存办理是另一项严重应战。 60MB 的 llama2 模型一定要通过精心设计，以习惯 Xbox 360 的一致内存架构，即 CPU 和 GPU 同享同一个内存池。 大卫以为，Xbox 360 的内存架构在其时是很具有前瞻性的，它预示了现代游戏机和 APU 的规范内存办理技能。
通过很多的编码和优化，戴维成功地在他的 Xbox 360 上运转了 llama2，只用了一个简略的提示：打盹乔说。 虽然 llama2 模型只要 700 行 C 代码，没有一点外部依赖性，但戴维指出，假如针对满足狭隘的范畴进行定制，它可以给咱们供给令人惊奇的强壮功能。
大卫解说说，在 Xbox 360 这种有限渠道的约束下作业，不得不榜首先考虑内存的高效运用。 对此，另一位 X 用户提出，微软旧式游戏机的 512MB 内存或许足以运转其他小型 LLM 完成，例如人工智能草创公司 Hugging Face 创立的 smolLM。
开发者欣然承受了应战，因而在不久的将来，咱们十分有或许会在 Xbox 360 上看到更多的 LLM 试验。
特别声明：以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布，本渠道仅供给信息存储服务。
美国网友在我国某电商买了个狗玩具，却意外收到1奥秘包裹！翻开一看，如临大敌
乌尔善：《封神第三部》已剪完，期望观众给时机！殷郊三头六臂、蓝皮肤红头发的形象很帅
百万粉丝博主回老家包场请福利院儿童免费看《哪吒2》：让孩子们知道“我命由我不由天”
医疗科技公司Innovaccer推出AI智能体 协助医师应对低价值重复作业
联想ThinkPad X9官宣：比MacBook Air还轻 D盖可拆卸