“刚选定模型、完成平台搭建,业务流程也已经接入。但没过几天,市场上又出现一个表现更好的模型,CEO转头就问CIO:能不能也试试?”红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)提到了企业落地AI时经常遇到的一个困境。

 

对企业来说,换模型并不像个人更换一个聊天工具那么简单。模型背后还连接着GPU适配、推理服务、数据接口和业务流程,前一套系统刚刚跑顺,新模型就来了,企业既不想错过技术进步,也不愿意为此重新搭建整套环境。

 

Agent的出现又带来了另一层压力。当智能体开始接入企业内部系统,能够访问什么数据、执行哪些操作,就成了必须明确的问题。如果缺乏有效的权限约束,Agent为了完成任务,甚至可能直接删除生产数据库。

 

模型迭代越来越快,企业需要保持技术选择的灵活性;Agent能力越来越强,企业又必须确保其行为可控。这些变化正在推动企业AI基础设施从模型部署和算力供给,进一步走向推理效率、资源管理和运行治理。

 

红帽近几个月的产品布局也围绕这些问题展开:从GPU调度和Token生产,到Agent权限管理,再到软件漏洞发现与修复,试图解决AI从试点走向生产环境时遇到的实际困难。

底座不能频繁重建,总账单需要控制

 

模型厂商之间的竞争,正在让企业IT部门面临新的选择难题。

 

企业如果把业务流程深度绑定在某个模型和运行环境上,就很难及时享受到新技术带来的收益。模型换代还会牵动底层硬件、推理框架和应用接口,之前的投入也未必能够直接复用。

 

曹衡康认为,企业CIO真正关心的不只是哪个模型最好,而是当前选择的平台能否适应持续变化的技术环境。过去,红帽将这一思路概括为“四个Any”:任意加速器、任意云、任意模型和任意智能体。

 

红帽希望延续Linux和OpenShift的路径,将开源技术转化为企业可以长期使用的商业化平台。底层硬件和模型可以变化,但企业不必每次都重新建设整个运行环境。据红帽介绍,目前其平台支持20多个开源模型、合计700多个版本。在加速器方面,除了NVIDIA、Intel和AMD,也已经支持国产GPU厂商沐曦,并继续推进其他国产算力产品的适配。

 

随着企业对算力的管理需求增加,这种开放性也开始从硬件层向推理服务延伸。

 

红帽大中华区方案架构部总经理王慧慧(Aella Wang)提到,红帽早期将相关场景称为GPU as a Service,即通过统一平台管理不同品牌的GPU,让企业按需使用。随着推理需求增长,客户开始更多地谈Token工厂:将GPU资源集中起来,通过模型和推理引擎生产Token,再将其作为服务提供给不同业务部门。再往上一层,则是Model as a Service,由企业IT部门统一提供模型服务,业务部门根据自身需求选择模型,而不必分别搭建运行环境。

 

这背后是企业AI成本结构的一次变化。

 

曹衡康指出,过去一年,单位Token价格虽然持续下降,但企业的总账单不一定减少。随着思考模型和Agent普及,一项任务可能需要多轮推理、工具调用和结果验证,Token消耗量也随之增加。单价下降,并不意味着总支出同步下降。

 

这也是红帽提出企业不能只做Token消费者,还应该考虑成为Token生产者的原因。对于已经投入大量GPU资源的企业,可以通过自建推理平台提高算力利用率,减少对外部API的长期依赖。

 

不过,自建Token工厂并非天然更便宜。它需要相对稳定的业务负载、合理的GPU利用率、专业的运维团队,以及持续的模型优化能力。如果算力长期闲置,折旧、电力和维护成本反而可能高于直接调用商业API。企业真正需要比较的,不是单个Token的价格,而是完成一项有效任务的综合成本。

 

红帽在推理基础设施上的布局,正是围绕这一问题展开。其深度参与的vLLM已经成为开源模型推理领域的重要项目。与此同时,红帽还推动分布式推理项目llm-d,希望进一步解决大规模GPU集群中的资源调度和推理效率问题。

 

10月20日,llm-d发布1.0版本。相比此前主要关注推理性能和集群调度,这次更新进一步补齐了生产环境所需要的多租户资源管理、请求优先级调度、高可用和滚动升级能力,并增加了面向Agent工作流的会话感知路由,让多轮请求尽可能复用已有上下文缓存,减少重复计算。

 

IBM Research的一项基准测试展示了其规模化能力:通过llm-d部署约7530亿参数的模型,在并行Agent工作负载下,最多支持3000个并发编码Agent,峰值输出吞吐超过每分钟660万Token。按照测试采用的云资源租赁价格估算,单位Token成本比同等商业API低5至10倍。

 

这类优化的价值不仅在于提高吞吐量,也在于让GPU资源能够承载更多并发任务,降低高负载下的推理成本。

 

在中国市场,红帽还与趋境科技共建推理AI创新实验室AI推理技术联合创新实验室。双方的分工是,红帽提供vLLM推理框架和标准化平台,趋境科技负责不同模型、加速卡和平台环境下的具体优化,包括KV Cache处理等技术实现。双方希望将成熟成果进一步回馈开源社区。

Agent真正难的不是开发,而是权限

 

推理效率解决的是AI能否以合理成本运行,Agent进入企业工作流后,另一个问题随之出现:企业敢不敢让它真正执行操作?

 

王慧慧认为,当前智能体开发本身已经不是很高的门槛,开发人员经过几个小时培训,就可能搭建一个能够完成特定任务的Agent。真正复杂的是权限管理和治理。

 

当Agent开始承担IT运维工作,它可能修改服务器配置、关闭机器、执行脚本,甚至删除数据库。一旦操作超出预期,影响的就不再是一段错误回答,而可能是企业真实运行的业务系统。红帽将这一方向称为Agent AIOps,即通过智能体承担企业内部的IT运维工作。

 

类似的风险也出现在AI辅助软件开发中。AI生成代码之后,可以进入自动化开发流程,但并不意味着可以跳过审核。无论代码由人还是AI生成,都需要经过相应检查,尤其是AI生成的代码,仍需要必要的审核环节,才能进入最终合并流程。

 

这意味着,企业需要管理的不只是模型本身,还包括Agent的实际执行行为:它能调用哪些工具、访问哪些数据,哪些操作可以自主完成,哪些必须经过人工确认。

 

Red Hat AI 3.5进一步加入模型安全评估、Agent开发模板、工具调用防护和可观测性能力。其中,EvalHub可以帮助企业对模型和Agent开展安全评估,NeMo Guardrails则用于约束模型和Agent的行为。平台还增加了按用户统计Token消耗的能力,帮助企业追踪不同团队的资源使用情况。

 

红帽与CIO时代联合发布的《2026中国企业级AI实践调研分析年度报告》也反映了应用速度与治理能力之间的落差:接近70%的受访企业正在推进Agent应用,但正式治理框架覆盖率还不到15%。

 

对于企业来说,Agent的权限不能只靠一条提示词约束,还需要身份认证、工具访问控制、操作审计和人工审批等机制共同发挥作用。尤其涉及生产数据库、核心业务系统等高风险资源时,企业必须明确自主执行的范围,并保留必要的人工控制。

AI发现漏洞更快,企业修复跟得上吗?

 

Agent治理之外,AI还在改变软件安全的攻防节奏。AI工具加快了漏洞发现,也可能帮助攻击者将多个看似无关的低危漏洞组合起来,形成更复杂的攻击路径。

 

对于企业而言,发现漏洞只是第一步,真正麻烦的是修复。很多生产系统依赖大量Java、Python开源组件,当漏洞出现时,上游社区维护人员通常只会在软件的最新版本中进行漏洞修复。对于拥有高度自定义、互连生产环境的企业来说,直接升级到新版本可能引发兼容性问题。企业往往需要在安全风险和系统稳定性之间作出取舍。

 

红帽与IBM联合推进的Lightwell,试图解决的正是漏洞发现之后的修复问题。其方式是利用AI辅助漏洞识别,再由工程师参与验证和修复,将补丁回移到企业实际使用的软件版本中,尽量避免为了修复漏洞而整体升级。

 

10月6日,IBM与红帽披露,Lightwell已经在广泛使用的Java库中发现并修复400多个此前未知的漏洞,Lightwell Clearinghouse也正式进入全面可用阶段,企业可以提交具体的软件依赖,申请优先审查和修复。

 

企业还需要将补丁快速应用到生产环境中。王慧慧还给出了一组时间对比:传统情况下,企业完成相关补丁部署可能需要40多天,通过自动化流程可以缩短到7至14天。

 

从漏洞发现到补丁部署,Lightwell希望缩短的是企业安全响应中间的这段时间。对于仍然运行大量旧系统的企业,这种方式也能减少因整体升级带来的业务中断和兼容性风险。

红帽的平台边界也在变化

 

红帽的基础设施能力还在从数据中心向工业现场延伸。

 

在具身智能领域,红帽联合Intel、紫金星宇、西湖机器人和施耐德电气,推出面向工业自主运营的联合解决方案。这套方案中,西湖机器人提供机器人本体,Intel提供计算平台,施耐德电气提供工业场景能力,紫金星宇提供通信技术,红帽则负责底层软件平台。

 

王慧慧将人形机器人比作一座移动的数据中心,。机器人端侧负责集成感知、计算、实时动作和肢体控制等多种能力,。随着应用场景要求的提高,更复杂的推理和决策则可以放在云端或数据中心。在红帽平台支持下,软件无需重新编译即可实现位置迁移。此外,通过红帽OpenShift AI,企业可以统一管理多台机器人、模型和相关计算资源,集中下发算法更新和控制指令。

 

这实际上是红帽原有平台能力向边缘计算场景的延伸。过去管理的是数据中心里的服务器、虚拟机和容器,现在则可能增加工厂里的机器人。对于需要部署和管理大量设备的企业,统一的软件环境和远程运维能力也会变得重要。

 

回到企业AI落地本身,曹衡康坦言,国内外企业面临的问题大体相同:投入不小,但真正能够证明投资获得回报的案例还不多。中小企业目前仍主要集中在邮件处理、文档管理和客服等相对轻量的场景,更复杂的自主决策和自动化运维,即使在领先企业中,也受到安全、成本和可控性的限制。

 

从GPU调度、分布式推理,到Agent治理、漏洞修复,再到工业机器人,红帽近几个月的产品布局看似分散,实际都指向同一个问题:如何让不断变化的AI技术进入企业现有系统,并在生产环境中稳定运行。

 

模型和算力仍在快速迭代,企业却不能跟着每一次技术变化重建基础设施。对红帽而言,开放平台的价值正在从提供技术选择,进一步延伸到帮助企业管理AI运行的成本、权限和风险。至于这些能力能否转化为可量化的业务回报,还需要更多真实生产场景来验证。