开源与大模型相结合：探索潜在的行业变革

通信世界网消息（CWW）ChatGPT的横空出世极大地激发了业界对于生成式AI的兴趣，很多企业已经开启了AI程序的研发应用之旅，创新步伐不断加快。而过去30多年来，开源技术快速创新，大幅降低了IT成本和创新门槛，成为IT企业的共同选择。那么，当全新的大模型遇到成熟的开源技术，将产生怎样的变革？

从21世纪初通过RHEL提供开放式企业Linux平台，到通过OpenShift推动容器和Kubernetes成为开放式混合云和云原生计算的基础，红帽一直引领着开源潮流。近期，红帽宣布两大进展：推出红帽企业Linux AI（RHEL AI），在OpenShift AI中引入新的增强功能，实现Linux、OpenShift、RHEL与AI和大模型的更好融合。

通过RHEL AI推动开源生成式AI创新普及

红帽企业Linux AI（RHEL AI）是一个基础模型平台，能够使用户更加便捷地开发、测试和部署生成式人工智能（GenAI）模型。RHEL AI整合了IBM研究院的开源授权Granite大型语言模型（LLM）系列、基于大规模对话机器人对齐（LAB）方法的InstructLab模型对齐工具，以及通过InstructLab项目实施的社区驱动模型开发方法。该解决方案被封装成一个优化的、可启动的RHEL镜像，用于在混合云环境中部署单个服务器，并已集成到OpenShift AI中。

红帽认为，实施AI策略远非选择一个模型那么简单。企业需要专业知识来为特定场景调整适当的模型，并且处理AI实施过程中的成本难题。为了降低AI创新的进入门槛，企业需要扩大参与AI项目的人员范围，同时控制相关成本。

IBM研究院开发了LAB技术，这是一种利用分类指导合成数据生成和创新的多阶段调整框架的模型对齐方法。此方法通过减少对昂贵人工注释和专有模型的依赖，使AI模型的开发变得更加开放和易于接触。在AI突飞猛进的当下，红帽当机立断，决定采用IBM的LAB。

红帽总裁兼CEO Matt Hicks回忆，在IBM研究院的一次会议上，IBM介绍了LAB等新技术——LAB是一种应对客户在微调过程中遇到挑战的方法，使用合成数据增强技术，使得数据块足够小、便于协作。这一技术给Matt Hicks留下了深刻印象，他迅速意识到红帽可以围绕LAB建立一个社区，将全球创新带入大量数据聚集的领域。

双方一拍即合，IBM和红帽决定推出InstructLab开源社区，目标是使开发者通过简化LLM的创建、构建和贡献过程，像参与任何其他开源项目一样，将LLM开发的权力交到开发者手中。

RHEL AI沿用开放式AI创新方法，融合了企业级就绪的InstructLab项目和Granite语言与代码模型，及全球领先的企业级Linux平台，简化了混合基础设施环境中的部署，所构建的基础模型平台，使开源许可的生成式AI模型能够被企业所使用。

随着各组织在RHEL AI上试验和调整新AI模型，他们可以通过红帽OpenShift AI来扩展工作流，OpenShift AI将包含RHEL AI，并利用OpenShift的Kubernetes引擎在大规模训练和部署AI模型，以及OpenShift AI的集成MLOps能力来管理模型的生命周期。RHEL AI一旦在OpenShift AI中可用，将带来额外的企业AI开发、数据管理、模型治理和性价比改进的能力。

“对企业来说，生成式AI代表了一次革命性的飞跃，但这需要企业真正部署起来，并针对其具体业务需求使用AI模型。通过结合红帽OpenShift AI的广泛应用，RHEL AI和InstructLab项目旨在降低混合云中生成式AI所面临的多种挑战，从数据科学技能的限制到巨大的资源需求，同时促进企业的部署并推动上游社区的创新。”红帽高级副总裁兼首席产品官Ashesh Badani总结。

OpenShift AI增强混合云中预测和生成式AI灵活性

红帽OpenShift AI是基于红帽OpenShift构建的开放式混合人工智能和机器学习平台，帮助企业在混合云环境中大规模创建并交付人工智能支持的应用。

红帽的人工智能战略支持跨混合云环境的灵活性，能够提供基于客户数据增强预先训练或策划的基础模型，并且可以自由地启用多种硬件和软件加速器。红帽OpenShift AI引入了新的增强功能，以满足这些需求，包括获取最新的AI/ML创新和以人工智能为中心的庞大合作伙伴生态系统的支持。该平台的最新版本OpenShift AI 2.9，提供了边缘模型服务、增强型模型服务、采用Ray支持分布式工作负载、改进模型开发、模型监控和可视化、新的加速器配置文件等。

在人工智能模型从实验阶段转向投产阶段的过程中，客户面临着诸多挑战，包括硬件成本增加、数据隐私问题以及在与基于SaaS的模型共享数据时缺乏信任。生成式人工智能（GenAI）的快速变化加剧了这些挑战，许多企业都在积极努力构建可靠的核心人工智能平台，使其能够在本地或云端运行。

IDC的《数字基础架构的未来，2024年：AI就绪性平台、运营模式和治理调查》指出，要想成功利用人工智能，企业需要对许多现有应用和数据环境进行现代化改造，消除现有系统和存储平台之间的障碍，提高基础架构的可持续性，并在云端、数据中心和边缘之间谨慎选择部署不同工作负载的位置。对红帽而言，这意味着人工智能平台必须具备灵活性，以支持企业在采用人工智能的过程中适应需求和资源的变化。

OpenShift AI的最新进展彰显了红帽关于人工智能的愿景：从底层硬件到服务和工具，如Jupyter和PyTorch，红帽为客户提供全方位的支持，旨在加速创新、提高生产力。并通过这个更灵活、扩展能力更强、适应性更佳的开源平台，帮助企业将人工智能应用于日常业务运营中。

“为了满足大规模企业人工智能的需求，红帽提供了红帽OpenShift AI。这一解决方案使IT领导者能够在混合云中的各种位置部署智能应用，同时根据需求扩展和微调运营及模型，以支持实际生产应用和服务的需求。”红帽首席产品官兼高级副总裁Ashesh Badani表示。

因势而动，顺势而为，红帽拥抱生成式AI

“过去一年人工智能提升了100倍甚至1000倍。回想一年前，这项技术已显示出巨大潜力。那时像ChatGPT这样的模型刚刚出现，已经展示了语言模型在初期阶段的强大能力。如今，进步已经显而易见。”回忆这一年人工智能的发展，Matt Hicks表示。

作为掌舵人，Matt Hicks需要密切关注前沿技术、作出趋势判断，并据此制定红帽发展战略。“是否能够充分发挥开源在这个领域的影响力，是我一直在思考的问题。”

Matt Hicks认为，毫无疑问随着模型变得越来越小，训练速度将越来越快，从而能够更有效执行更多功能。这种迅速演变的态势将继续加速，显著影响公司的运作方式和对新技术的适应能力。经过一年的发展，业界已经超越了大模型的实验证明阶段，催生了令人难以置信的创新。因此，红帽的重点是走在曲线的前面，确保这些进步能够转化为客户的实际机会。“这让我想起了20世纪90年代末对于Linux潜力的感受，那时候还只是起步阶段，但直觉告诉你，波澜壮阔的变革即将出现。”

在Matt Hicks看来，传统IT技术与人工智能将产生很多交集。“能够运行一个已经构建好的模型是一回事，更为强大的是通过训练模型来定制自己的解决方案，接下来必须在实践中加以应用。”就RHEL和RHEL AI，以及OpenShift和OpenShift AI来看，其平行之处在于：RHEL用于运行所有可以在Linux上运行的应用程序，而RHEL AI则用于运行可以通过训练和定制的大型语言模型的AI部分；OpenShift用于管理可以在RHEL上以分布式方式跨集群运行的所有应用程序，而OpenShift AI则以相同的方式管理一系列模型，高效地分割训练、使用和提供服务。因为人工智能并不是孤立存在的，所以传统设置与人工智能应用程序之间产生许多交叉链接和整合。

虽然红帽将人工智能模型与Linux捆绑在一起，但在大模型主导的IT世界，Linux仍将继续扮演至关重要的角色。“尽管我们使用Linux的方式正在演变，但支持大型语言模型操作的核心软件堆栈，对Linux有着极大依赖。”Matt Hicks认为，Linux优化了这些软件的整合和性能，并作为GPU、CPU和新兴硬件类型之间的协调者。

AI的发展离不开云基础设施，在对于云的选择上，业界正在悄然转变。很多客户尝试使用规模较小的模型进行微调和训练，但成效往往不佳，因此他们转而使用“全知模型”——通常在公共云中运行，参数量超过1万亿。尽管这些模型开箱即用能完成许多任务，但运行和训练成本非常高。当受限于云环境时，很多场景难以应对。例如，在笔记本电脑上运行模型，而数据从未离开过笔记本电脑。因此红帽认为，无论在笔记本电脑、工厂边缘还是汽车中，混合功能对于充分发挥AI潜力都是关键。

Matt Hicks最后表示，红帽致力于支持小型开源模型混合部署，用户可以在公共云或数据中心训练模型，并在边缘部署。红帽的平台可支持NVIDIA、AMD和Intel等主要GPU提供商，提供从公共云到边缘的运行位置的灵活性。此外，红帽在超越仅是Linux和虚拟化方面是独一无二的。因势而动，顺势而为，红帽始终坚持在Linux和虚拟化等领域的优势，并将其扩展到了中间件、虚拟化、OpenStack、容器和人工智能。“自我颠覆能力以及紧跟技术趋势不断前进的能力使红帽独具特色，也使红帽成为了有价值的合作伙伴。”Matt Hicks总结。