华为全联接大会2023于9月20-22日在上海召开。华为云CTO张宇昕在大会上发布了基于Serverless技术的大模型应用开发框架。框架以面向AI领域全新升级的FunctionGraph 3.0为核心,将BaaS for AI 后端和开放平台快速无缝集成,助力企业轻松商用AI应用。
在“全域Serverless + AI 加速应用创新”专题演讲上,华为云首席产品官方国伟、2012实验室中软分布式与并行软件实验室主任谭焜,分享了Serverless和AI如何结合的前沿理念和实践,深度解析华为云在Serverless领域核心产品及基于元戎架构构建的分布式内核能力,为开发者打造Serverless AI极优体验,帮助企业加速应用创新;广联达科技股份有限公司首席业务专家/副总裁祁长福分享了在建筑行业,华为云Serverless产品如何基于FunctionGraph优化AI应用开发,提升开发团队工作效率。
方国伟介绍,在AI时代背景下,软件开发的方式由以代码为中心,走向以模型为中心,如何将AI大模型能力充分利用起来,是当下云厂商积极探索的事情。
企业研发人员在构建AIGC应用时更多关注开发部署门槛能否降低,更快的完成企业需求。运维人员要确保系统能够稳定运行,在业务量高峰时刻做到快速弹性,业务量小时节约成本,企业既能实现业务目标,又能保证系统可靠性高、成本较低。
为了更好的支撑AIGC应用,华为云提供了全域Serverless能力,推出了CCE Autopilot、FunctionGraph、CAE等Serverless产品,将一系列的AI原生技术构筑成后端服务,形成BaaS for AI能力,调用即可得。结合完善的工具链,帮忙企业快速构建应用。
Serverless容器CCE Autopilot、CCI让用户无需关注底层资源,自动运维,帮助用户降低运维成本。
在Cloud Bursting场景,去哪儿网基于CCI打造了灵活上云新体验,完成业务0改造,实现4000实例/30s的极致弹性。
全新升级的FunctionGraph 3.0,新增Serverless应用中心、独创Snapshot冷启动加速、预留实例智能推荐特性,配合异构资源虚拟化技术,实现AIGC应用低成本、低延迟,加上端到端的全链路压测和全栈可观测能力,助力AIGC应用快速开发,天级上线。
杭州曼孚科技有限公司是行业领先的AI基础架构与数据智能平台服务商,基于FunctionGraph构建自动化AI训练平台,更细粒度的GPU算力供给加上按需全自动资源弹性,实现成本降低40%。
华为云Serverless事件总线服务事件网格EventGrid能够支持统一事件中心、事件驱动引擎、开放与集成、降低开发成本四大典型场景,为企业提供中心化的事件集成、治理和驱动能力。
在车联网场景,某Top车企使用EventGrid构建Serverless化的事件驱动架构的同时,实现上下游异步解耦,便于扩展和避免单点故障;作为无码化对接的事件中心,避免云服务间点对点对接,减少50%开发工作量以及数据高可靠0丢失和数据规则调整0变更。降低成本。
Serverless应用托管CAE产品升级:支持应用0代码修改平迁上云,用户无需修改业务代码;支持Web/微服务应用Serverless化,帮助企业降本增效,提升业务稳定性。
香港新世界旗下广州新合创科技有限公司,使用CAE全托管模式提升50%效率;后续还会根据商场人流峰值设定定时伸缩,节省资源以降低成本。
BaaS for AI:华为云BaaS服务DWS 3.0 提供Pay By Resource弹性模式和Pay By Query弹性模式,帮助企业实现后端服务Serverless化。
“华为云提供全域Serverless能力,让开发者5倍速开发行业大模型,支撑千行万业的AI应用开发。面向AI领域全新升级的FunctionGraph 3.0,真正实现大模型应用即开即关、即时响应,无限扩展。”
基于自主创新元戎内核构建的FunctionGraph 3.0如何保障AI应用开发部署低成本和响应低时延,谭焜做了深入的技术分享:
模型开发部署依赖昂贵的异构资源。传统的异构函数,CPU和XPU资源绑定分配,单一推理函数包含CPU和XPU操作,操作CPU时XPU空闲,操作XPU时CPU空闲,资源利用率低。元戎独创的纯XPU异构函数,CPU和XPU资源绑定解耦,用户可把不同类型资源的操作写成不同的函数,执行时分解到不同算力处理器上,无闲置资源。
在大模型推理场景,包括全量推理和增量推理两个阶段。全量推理阶段算力需求远高于增量推理阶段,增量推理阶段,耗时可能远长于全量推理阶段。针对这类场景,元戎可以做到全量推理和增量推理解耦,各自按需弹性扩缩,精确算力供给,真正按使用量计费,降低用户成本。
更快的应用响应速度意味着更好的用户体验。元戎自主创新的FoldFormer AI模型可在线持续预测用户业务负载,提前进行实例预热,达到85%~95%准确率,大大降低了冷启动概率。无法被准确预测的流量,通过一系列优化措施加速冷启动。在用户模型下载阶段,基于内置的内存数据系统和SSD构建的分级高速缓存,实现系统内缓存模型文件,大幅缩短下载时间。计算时,模型按Layer分批加载,并根据用户SLA和模型推理时延历史数据构建最优pipeline, 降低参数加载和模型推理总时延,冷启动优化到秒级。
谭焜最后总结道:“基于自主创新的元戎内核,FunctionGraph 3.0提供异构函数极速冷启动,细粒度异构资源管理和按需弹性扩缩,打造Serverless AI极低成本和极致性能;依托华为云丰富的BaaS服务和全托管的开发环境,打造Serverless AI极优体验。”
广联达科技股份有限公司首席业务专家/副总裁祁长福发表AI赋能建筑行业数字化主题演讲。“广联达作为数字建筑平台服务商,立足建筑产业,围绕工程项目的全生命周期,为客户提供数字化解决方案,公司提出“数字建筑”理念,希望通过“数字建筑”系统、全面、深度地助力建筑产业转型升级。”
祁长福介绍,在技术方面,广联达通过大力研发BIM 和云计算、大数据、物联网、移动互联网、人工智能等信息技术引领产业转型升级。
在AI领域,广联达围绕行业难点,围绕设计、成本、施工等重点领域,打造核心AI应用。应用设计采用Serverless理念,依托华为云Serverless服务构建解决方案,将AI模型以镜像方式部署在FunctionGraph,对外提供通用API,无需管理运维异构资源(GPU等),模型实例随业务量全自动扩缩容,无请求时实例缩容到0,低成本高可用运行。上层应用采用FaaS+ BaaS的Serverless应用架构,集成模型推理接口,只需专注于业务逻辑代码,可函数级粒度并行开发,快速迭代应用。
华为云FunctionGraph技术极大的优化了AI应用的开发过程,让AI团队可以更关注业务实现,而无需关注底层技术细节。
“广联达以推动建筑行业数字化为己任,着力打造‘数字+连接+算法’的系统性数字化。围绕行业痛点,我们以智能化技术为基础,依托华为云FunctionGraph Severless架构,打造建筑从业人员的CoPilot,帮助行业人员提升作业效率,提高管理水平和决策质量。”
未来,华为云将持续落地全域Serverless产品,与华为2012实验室深度合作,以FunctionGraph3.0为核心,打造Serverless AI极低成本和极致性能,充分满足大模型应用的敏捷要求,助力千行万业深度用云。
了解函数工作流 FunctionGraph:【函数工作流_FunctionGraph_事件驱动服务器_函数托管_serverless-华为云】
关注@华为云,了解更多资讯