科技日报记者 杨雪
近日，红帽公司宣布推出红帽企业Linux 10，并启动全新开源项目llm-d，以满足生成式AI未来最关键的需求：大规模推理。
随着模型日益复杂和庞大，算力需求越来越难以满足。很多行业专家指出，虽然数据训练很重要，但生成式AI想要服务于千行百业，取决于更高效和可扩展的推理。著名咨询机构Gartner预测：到2028年，随着市场的成熟，80%以上的AI数据中心将专门部署用于推理，而不是训练——换句话说，生成式AI的未来在于执行能力。
作为操作系统提供商，红帽公司及其行业合作伙伴正通过llm-d应对这一挑战。llm-d是一个前瞻性项目，它能超越单台服务器的限制，为AI推理解锁大规模生产。红帽认为，未来AI不应受到基础设施孤岛的限制，企业应该在任意云环境中的任意加速器上部署任意模型，提供更加一致的用户体验，而无需高昂的成本。
为了释放生成式AI投资的真正潜力，红帽试图为企业提供一个通用推理平台，推动更加无缝、更高性能的AI创新。据介绍，红帽企业Linux 10是Linux的演进版本，旨在满足混合云环境的动态需求，充分发挥AI的变革性力量。有行业观察者认为，红帽支持任何云、任何连接器、任何模型，没有锁定，用户可以快速迁移并扩展，而且一切都建立在开源之上，这可以增强用户的信任。
全新开源项目llm-d采用原生Kubernetes架构、基于vLLM（大模型高性能推理框架）的分布式推理和智能AI感知网络路由，利用大规模生成式AI推理技术，让大语言模型推理云能够满足最苛刻的生产服务级目标。据悉，该全新开源项目已经获得了由生成式AI模型提供商、AI加速器先驱和主要AI云平台组成的强大联盟的支持。
“开源只是一个许可证，除非有社区在背后支持。”红帽高级副总裁兼首席产品官Ashesh Badani提到，“我们与Google、AMD、NVIDIA等公司以及众多伙伴共同宣布这一项目。只有在共同创建并持续维护的前提下，开放才真正有意义。”
