本文永久链接 – https://tonybai.com/2026/11/21/gpu-needs-an-operating-system
大家好,我是Tony Bai。
【导读】
AI 时代,GPU 已经成为最昂贵、最稀缺的计算资源之一。各大公司不断采购 GPU、建设数据中心,试图用更多硬件换取更强的 AI 能力。
但一个有些反直觉的事实是:GPU 在运行大语言模型推理时,计算单元可能大部分时间都处于闲置状态。
近日,OpenInfer 的两位研究人员在一篇新论文中提出了一个颇具想象力的观点:GPU 需要自己的操作系统。
就像 CPU 操作系统能够让浏览器、音乐播放器和后台任务共享处理器一样,未来的 GPU 也应该拥有一套智能调度机制,让实时推理、模型训练、评估等任务共享 GPU 的闲置资源,同时保证用户请求的响应时间。
论文不仅提出了这一架构,还给出了实验数据:在特定实验配置下,研究系统能够额外利用约四分之一的 GPU 算力,而前台推理任务的性能下降仅为 1.6%。
这究竟是如何做到的?GPU 为什么会有这么多闲置算力?给 GPU 装上操作系统,又需要改变哪些底层机制?
这篇论文值得所有关注 AI 基础设施、GPU 架构和大模型推理优化的工程师认真阅读。
【文章要点】
- GPU 为什么会闲置?大模型 Decode 阶段受到显存带宽限制,计算单元无法持续满负荷运行。
- 为什么现有 GPU 调度机制不够用?CUDA Stream Priority、MIG、Green Context 等机制无法提供足够精细的抢占和资源调度能力。
- GPU 操作系统应该是什么样?建立覆盖计算单元、显存带宽、缓存、设备内存和数据传输的多维资源调度体系。
- 如何让 GPU 任务可以被调度?需要编译器将 Kernel 切分成短小、可暂停、可恢复的执行片段。
- 论文做出了什么实验成果?利用现有硬件机制及研究型 Resident Kernel,在尽量不影响前台推理的情况下运行后台任务。
- 未来还需要什么?GPU 芯片厂商需要提供微秒级抢占、显存优先级和动态硬件分区等能力。

GPU 很贵,但可能有 90% 的算力在闲置
先想象一个场景。
一家 AI 公司花费巨资购买了数百张 GPU,用来运行大语言模型。GPU 每天 24 小时工作,电费、机房、运维成本一样不少。
但仔细观察 GPU 的运行状态,却发现了一个奇怪的现象:
GPU 明明在处理 AI 请求,大量计算单元却没有真正忙起来。
这不是个别模型或某家公司的问题,而是大模型推理过程中存在的一种结构性现象。
论文首先分析了两个大型模型的推理表现。
其中一个是拥有 3970 亿参数的 Qwen3.5-397B,另一个是拥有近万亿参数的 Kimi K2。
在作者的实验中,使用标准 vLLM 部署时,GPU 的 Tensor Core 利用率数据令人意外:
- Qwen3.5-397B:Tensor Core 平均活跃率约为 7%。
- Kimi K2:Tensor Core 活跃率约为 6%~11%。
注意,这里说的是 Tensor Core 活跃率,而不是整个 GPU 的综合利用率。
也就是说,GPU 内部最重要的矩阵计算单元,在这些推理负载下,大部分时间并没有执行矩阵运算。
为什么?
答案要从大模型推理的两个阶段说起。
1. Prefill 和 Decode 的不同
大模型推理通常分为两个阶段:
- Prefill:一次性处理用户输入的 Prompt,计算并建立上下文。
- Decode:逐个生成 Token,每生成一个 Token,都需要读取模型权重并进行计算。
Prefill 阶段通常具有较高的并行度,可以充分利用 GPU 的矩阵计算能力。
但 Decode 不一样。
假设模型有 1000 亿参数,每生成一个 Token,都需要读取大量模型权重。
即使 GPU 拥有极其强大的 Tensor Core,如果数据还没有从显存中读取出来,计算单元也只能等待。
这就是典型的 Memory-bound 问题。
GPU 的计算能力很强,但显存带宽跟不上,最终导致计算单元大量空闲。
2. 算力和带宽之间的失衡
论文使用了一个重要概念:Roofline Model 中的计算与访存比,也就是 Arithmetic Intensity。
简单理解,就是每从内存读取一个字节的数据,能够执行多少次计算。
对于现代 GPU,计算能力的增长速度已经远远超过显存带宽的增长速度。
论文列举了几种硬件:
| 硬件 | 计算与带宽比(Ridge) |
|---|---|
| NVIDIA RTX PRO 6000 Blackwell | 约 280 FLOP/Byte |
| AMD MI300X | 约 250 FLOP/Byte |
| Google TPU v5e | 约 240 FLOP/Byte |
| Google TPU v6e | 约 560 FLOP/Byte |
而在小 Batch 的 Decode 场景中,每读取一个权重字节,能够执行的计算量非常有限。
于是出现了一个尴尬局面:
GPU 拥有数百 TFLOPS 甚至 PFLOPS 的计算能力,但实际工作负载根本无法持续提供足够的数据。
这就像一个拥有几百名工人的工厂,却只有一条狭窄的原材料运输通道。
工人不是不想干活,而是在等原材料。
问题的关键不是 GPU 计算能力不够,而是 GPU 资源没有得到充分利用。
为什么不能直接让其他任务使用闲置算力?
既然 GPU 有这么多空闲计算资源,一个自然的想法是:
能不能让 GPU 在执行大模型推理的同时,顺便运行其他任务?
例如:
- 前台:处理用户的实时推理请求。
- 后台:执行模型训练。
- 后台:执行模型评估。
- 后台:计算 Reward Score。
- 后台:执行数据预处理或其他 AI 工作负载。
如果可以做到,那么同样一张 GPU,就能承担更多工作。
但问题在于:GPU 并不是一台拥有完善操作系统的计算机。
1. GPU 缺少真正的抢占机制
在 CPU 世界里,操作系统可以通过时间片调度,让多个进程共享 CPU。
一个任务运行一段时间,操作系统可以暂停它,让另一个任务获得执行机会。
但 GPU 的执行模型有所不同。
CUDA Stream Priority 可以设置不同任务的优先级,但它并不意味着正在运行的低优先级 Kernel 会被立即中断。
如果一个后台 Kernel 已经启动,即使前台推理请求突然到来,也可能需要等待后台 Kernel 执行完毕。
论文给出了一个极端但很有说服力的实验:
一个持续运行 1 毫秒的低优先级后台任务,可能让前台任务的延迟放大到原来的 10 倍。
在 AMD MI300X 上,作者甚至观察到,前台任务可能需要等待一个 200 毫秒的后台任务结束。
对于大模型在线推理来说,这显然无法接受。
用户正在等待 AI 回复,系统却让他排队等待一个与自己无关的后台任务。
2. MIG 和 Green Context 也有局限
目前 GPU 已经存在一些资源隔离和分区机制。
例如:
- NVIDIA MIG:将一张 GPU 划分为多个相对独立的 GPU 实例。
- Green Context:为特定 CUDA 工作分配一定数量的 SM。
- CUDA Stream Priority:为不同任务设置执行优先级。
这些机制能够解决一部分问题,但仍然存在不足。
MIG 的分区相对固定,重新划分资源还可能需要重置 GPU。
Green Context 可以限制任务使用的 SM 数量,但无法解决所有显存带宽和缓存竞争问题。
Stream Priority 则无法提供所需要的微秒级抢占能力。
更重要的是,这些机制通常只管理 GPU 的部分资源。
而真实的 GPU 运行环境中,计算单元、显存带宽、L2 Cache、设备内存、PCIe、NVLink,甚至功耗,都是不同任务竞争的对象。
GPU 需要的不是一个简单的任务优先级队列,而是一套完整的资源管理系统。
OpenInfer 提出:给 GPU 装上操作系统
这正是论文最有意思的地方。
作者提出,应该为 GPU 建立一个类似 CPU 操作系统的资源管理体系。
我们可以把它理解为 GPU OS。
它不只是负责决定哪个 Kernel 先执行,而是需要对整个 GPU 的资源进行统一管理。
论文提出了六层架构。

从底层向上看:
L0:芯片硬件能力(Chip Features)
提供底层支持,包括任务信号、队列、快速暂停和内存优先级等。
L1:Kernel 执行规范(Kernel Rules)
要求 Kernel 变成可以暂停、恢复的短小执行片段,并明确声明自己需要使用哪些资源。
L2:GPU 内部调度器(On-GPU Scheduler)
负责将不同任务的执行片段分配到 GPU 的 SM 上。
L3:资源管理器(Resource Governor)
管理显存带宽、缓存、数据传输等资源,避免后台任务干扰前台任务。
L4:资源成本模型(Cost Model)
预测后台任务会给前台任务带来多大影响。
L5:任务准入控制(Admission Control)
决定哪些后台任务可以进入 GPU,以及可以使用多少资源。
这六层架构的核心思想是:
GPU 不再被某一个程序独占,而是由操作系统根据任务优先级和资源使用情况,动态分配计算资源。
例如:
一个用户正在等待 AI 生成回复,系统会优先保证这个请求的响应时间。
如果发现当前推理任务的计算单元存在空闲,就可以让后台训练任务使用其中一部分。
一旦前台推理任务需要更多资源,后台任务就应该及时让出资源。
这与 CPU 操作系统中前台应用和后台进程共享 CPU 的思想非常相似。
关键概念:Slack
这里还有一个很重要的概念:Slack。
可以将它理解为前台任务的性能余量。
假设一个推理任务原本需要 40 毫秒完成,系统允许它最多增加 6% 的延迟。
那么它的时间预算就是:
40 × 1.06 = 42.4 毫秒。
多出来的 2.4 毫秒,就是可以用于后台任务的性能余量。
GPU OS 的目标,就是在不突破这个预算的情况下,尽可能多地安排后台工作。
这实际上是把 GPU 资源调度从传统的固定分区,变成了一种基于实时性能约束的动态资源分配。
让 GPU 任务变得可以暂停:编译器也要改变
不过,仅仅设计一个调度器还不够。
这里有一个容易被忽略的问题:
如果 GPU 上运行的 Kernel 无法暂停,操作系统又如何调度它们?
论文认为,未来的 GPU Kernel 必须具备一种新的执行方式。
它们不能再假设自己能够独占 GPU,直到执行完成。
相反,一个 Kernel 应该被拆分为多个短小的执行片段。
每个片段需要:
- 执行时间足够短。
- 能够在安全的位置暂停。
- 保存必要的执行状态。
- 能够在稍后恢复执行。
- 声明自己对计算资源、显存带宽和缓存的需求。
例如,一个原本需要运行数毫秒的后台 Kernel,可以被编译器拆分成若干个几十微秒以内的执行片段。
当 GPU OS 发现前台推理任务需要资源时,就可以让后台任务暂停。
前台任务完成后,后台任务再继续执行。

这意味着,未来编译器需要承担更多责任。
论文特别提到了 Triton 和 CUTLASS。
它们需要能够从同一份 Kernel 源代码中,生成适应不同 GPU 资源分区的版本,并且为每个版本提供时间限制、安全暂停点和资源使用声明。
这件事如果依赖程序员手工完成,显然不现实。
所以,编译器必须成为 GPU OS 的重要组成部分。
从这个角度看,未来 GPU 的软件栈也会发生变化:
模型负责产生任务,编译器负责让任务可调度,运行时负责分配资源,硬件负责执行和抢占。
论文做出了什么?GPU 算力回收实验
理论很漂亮,但真正值得关注的是论文中的实验。
作者使用 NVIDIA RTX PRO 6000 Blackwell GPU 进行了一系列测试。
其中最重要的实验,是在运行 Kimi K2 Decode 的同时,安排后台任务执行。
1. 现有机制已经可以回收一部分算力
作者首先使用现有的 Green Context 机制,将 GPU 分成前台和后台两个资源区域。
实验中,前台任务需要保证自己的延迟增长不超过 6%。
结果显示:
| 后台工作负载 | 回收 GPU 资源 | 前台延迟增长 |
|---|---|---|
| 优化的合成计算任务 | 约 23% | 约 5.1% |
| 真实 FP8 GEMM 任务 | 约 9% | 约 4.7% |
这里有一个非常值得注意的细节。
合成任务可以回收约 23% 的 GPU 资源,但真实的矩阵乘法任务只能回收约 9%。
为什么?
因为真实任务不仅使用计算单元,还会访问 L2 Cache 和显存。
这些资源同样会被前台推理任务使用。
后台任务即使只占用了 GPU 的一小部分 SM,也可能通过缓存和显存带宽竞争,影响前台任务。
这说明,GPU 资源调度不能只看 SM 数量,还必须考虑整个存储层次结构。
2. 更进一步:Resident Kernel
论文还实现了一个更加有趣的研究系统:Resident Kernel。
传统 GPU 程序通常需要通过 CPU 不断提交 Kernel,CPU 和 GPU 之间存在一定的调度开销。
Resident Kernel 则采用另一种思路:
启动一个长期驻留在 GPU 上的 Kernel,让它自己负责请求接入、任务调度和执行。
作者基于这一思路,实现了一个能够运行 Llama-3.1-8B 的研究系统。
它将整个模型的推理过程放进一个长期驻留的 Kernel 中,包括:
- 接收新的推理请求。
- 执行 Token 采样。
- 检查停止条件。
- 管理 KV Cache。
- 执行 Prefill 和 Decode。
- 将生成结果传递给 CPU。
作者报告,在单请求场景下,这个系统的 Decode 性能比同一硬件上调优后的 vLLM 配置快约 3%。
更有意思的是,作者还在这个 Resident Kernel 内部安排了后台计算任务。
实验结果如下:
| 方案 | 回收 GPU 资源 | 前台推理性能下降 |
|---|---|---|
| Green Context,传统调度 | 23% | 5.1% |
| Resident Kernel,单请求 | 22% | 0.3% |
| Resident Kernel,16 个请求 | 24% | 1.6% |
也就是说,在 16 个请求的实验中,后台任务获得了约 24% 的 GPU 计算能力,而前台推理性能只下降了 1.6%。
这是论文中非常吸引人的实验结果。
当然,需要强调:这里的后台工作是使用寄存器驱动的合成矩阵计算任务,并不是真正执行训练或评估的完整业务负载。真实后台任务还会产生额外的显存和缓存竞争。
因此,这个结果证明的是一种调度机制的潜力,而不是说现在就可以无损地让训练和推理共享 24% 的 GPU。
GPU OS 还缺什么?
如果 GPU OS 真要成为现实,仅仅依赖软件还不够。
论文明确提出了几项对 GPU 芯片厂商的需求。
第一,微秒级任务暂停能力。
后台任务应该能够在 5~20 微秒内暂停,并且恢复时不需要重新启动整个 Kernel。
第二,显存和缓存优先级。
前台推理任务应该能够在 L2 Cache 和显存控制器中获得更高优先级。
否则,即使后台任务让出了 SM,也可能继续通过显存访问影响前台性能。
第三,动态硬件分区。
GPU 应该支持更细粒度的 Kernel 级资源分配,而不是只能使用固定的资源分区。
此外,论文还提出了硬件内部的指令调度优先级、设备队列、精细化性能监控,以及数据传输和功耗 QoS 等需求。
这些能力需要 GPU 厂商、编译器开发者和运行时系统共同推进。
论文也坦承,目前提出的六层架构尚未全部实现。现有研究主要覆盖 L1~L3 的部分能力,资源成本模型和任务准入控制仍属于未来设计。
AI 基础设施的下一个竞争点:不只是 GPU 数量
这篇论文让我想到一个值得关注的趋势。
过去十几年,计算基础设施的发展,很大程度上围绕着一个问题:
如何让单台机器拥有更多计算能力?
于是我们有了更多 CPU 核心、更大的内存、更快的 GPU,以及规模越来越庞大的数据中心。
但 AI 时代正在出现一个新的问题:
当计算硬件已经足够强大,如何让这些硬件真正忙起来?
CPU 操作系统的历史已经证明,资源共享和任务调度能够极大提高硬件利用率。
GPU 也许正在走向类似的阶段。
未来的 GPU 软件栈,可能不再只是 CUDA、Kernel、Runtime 和模型推理框架的简单组合,而是一套真正具有资源管理、任务调度、优先级控制和性能隔离能力的操作系统。
想象一下:
白天,GPU 优先处理用户的实时推理请求;夜间,自动利用空闲资源执行模型评估、数据处理和训练任务。
当新的推理请求到来时,后台任务立即让出资源。
同一张 GPU,不再只服务一个固定的工作负载,而是成为一个可以动态调度的计算资源池。
这不仅能够降低 AI 服务的单位推理成本,也可能改变未来 AI 数据中心的资源组织方式。
当然,这篇论文目前仍是预印本,距离成熟、通用的 GPU OS 还有很长的路要走。尤其是对真实后台任务的支持、跨模型通用性,以及硬件抢占能力,都需要进一步验证。
但它提出的问题非常重要:
当 AI 算力越来越昂贵,我们是否应该重新思考 GPU 的使用方式?
也许,AI 基础设施的下一场革命,不是再造出一张更强大的 GPU,而是让已经存在的 GPU 不再摸鱼。
论文原文:
Reza Nourai、Behnam Bastani,The GPU Needs an Operating System: Putting idle AI hardware to work。- https://arxiv.org/html/2611.08720v1
还在为写 Agent 框架频频死循环、上下文爆炸而束手无策?我的新专栏 《从0 开始构建 Agent Harness》 将带你:
- 抛弃臃肿框架,回归“驾驭工程 (Harness Engineering)”的第一性原理
- 用 Go 语言手写 ReAct 循环、并发拦截与上下文压缩引擎等,复刻极简OpenClaw
- 构建坚不可摧的 Safety Middleware 与飞书人工审批防线
- 在底层实现 Token 成本审计、链路追踪与自动化跑分评估
- 从“调包侠”进化为掌控大模型边界的“AI 操作系统架构师”
扫描下方二维码,开启从 0 开始构建Agent Harness 的实战之旅。

还在为“复制粘贴喂AI”而烦恼?我的新专栏 《AI原生开发工作流实战》 将带你:
- 告别低效,重塑开发范式
- 驾驭AI Agent(Claude Code),实现工作流自动化
- 从“AI使用者”进化为规范驱动开发的“工作流指挥家”
扫描下方二维码,开启你的AI原生开发之旅。

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。
