IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。
该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。
由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。
为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体控制在约 4.5 GiB,并使用“推测解码”(MTP)技术,在生成文本时预先采样并验证多个词元来提高输出效率。

实际测试显示,普通文本生成速度约为每秒 31 至 39 个词元;生成程序代码时最高可达每秒 43 个词元,模型可处理约 16,000 个词元的上下文窗口。

除文字聊天外,Garlic LLM 还支持语音输入与语音对话,分别使用 Parakeet TDT 0.6B v3 进行语音识别,并采用 Chatterbox 进行语音合成。它还可在 PS4 上执行 AI 生成的 Python 代码,并提供“思考模式”,让模型在回答前先进行推理。不过,启用语音对话会占用更多内存,文本生成速度会降至约每秒 22 个词元。
IT之家附上参考地址

