Microsoft Build 不断升级扩展AI工具,服务开发者社区

发表时间: 2024-05-22 11:42


人工智能的突破性进展正深入影响着微软,以及那些通过微软技术提高效率、提升客户体验并实现新突破的开发者们。


过去一年,微软构建了Microsoft Copilot智能副驾驶®,并发布了150多项更新。我们还开发了Copilot智能副驾驶®的堆栈,将微软迄今为止所学全部融入其中,让开发者能够构建属于自己的“智能副驾驶”。


此外,在过去两年中,GitHub Copilot 智能副驾驶®已成为应用最广泛的AI开发者工具,拥有180万付费用户。


就在一天前,我们推出了一个全新的类别:Windows 11 AI PC,这是有史以来更快、最适用于AI体验的 PC。


微软已成为AI的行业领导者。正因如此,当开启这场开发者“盛宴”之时,所有人不禁提出了同一个问题:下一步该如何?


本周一,我们向世界介绍了一个全新的Windows PC:Windows 11 AI PC。这些设备旨在让开发者能够在边缘设备上提供差异化的AI体验,再加上我们在Build开发者大会上宣布的强大功能¹,使 Windows 成为更具开放性的AI平台和开发者开发平台。


在今年的Build开发者大会上,我们还将为这场技术变革带来更多的延展,包括:


  • Microsoft Fabric 如何帮助开发者和客户利用不断变动的数据,或计算机内部或之间传输的数字信息来构建智能应用程序。
  • 新的前沿模型(frontier models),允许开发者在其AI应用中探索支持文本、图像、视频和其他类型数据的多模态功能,超越了文本提示和文本补全的功能。
  • 构建合作伙伴关系,展现AI如何影响包括教育在内的众多行业的未来。
  • 构建在安全、负责任AI基础上的开放灵活云平台如何帮助开发者创新。


对我们来说,Microsoft Build全球开发者大会²一直是激动人心的。约有二十万人注册参与这场为期三天的技术学习和社区交流活动,其中四千人将亲临西雅图活动现场。微软携手合作伙伴,将为与会者带来 300 多场会议、演示,以及专家和讲师指导实验室。大部分内容也可以通过点播获取,以照顾无法现场参与的与会者们。在本次大会上,我们将发布约 60 种新产品和解决方案。


接下来,请让我来逐个介绍这些新发布。


利用实时智能(Real-Time Intelligence)进行即时决策

要想获得最高效的AI应用程序,企业必须能够在采集数据时对其进行鉴定、分析和组织。事实证明,迈出这一步并不容易。Microsoft Fabric 中全新的实时智能(Real-Time Intelligence)提供了端到端的软件即服务(SaaS)解决方案,让客户能够对海量的、时间敏感的高颗粒度数据采取行动,更快、更明智地制定业务决策。


实时智能(Real-Time Intelligence)现已开启预览³,不仅帮助数据分析人员获得简单的低代码/无代码体验,也通过代码丰富的用户界面让专业开发者受益。例如,Dener Motorsport车队一直在使用 Microsoft Fabric 支持实时分析、存储和报告,从而保证最佳性能,并使赛车保持良好的维修状态,让驾驶员更安全。该车队计划将实时智能(Real-Time Intelligence)作为其制胜战略的一部分,以便在比赛期间获取洞察。


对于开发者而言,构建应用程序需要一定程度的灵活性、定制化和效率,以保证开发工作切实可行。新的 Microsoft Fabric 工作负载开发套件(Workload Development Kit)做到了这一点:让独立软件供应商(ISV)和开发者能够在 Fabric 中扩展应用程序,打造统一的用户体验。


GitHub Copilot 智能副驾驶®带来扩展功能体验

GitHub 推出首套由微软和第三方合作伙伴开发的GitHub Copilot 智能副驾驶®扩展,现已开启受邀预览。新增功能允许开发者、企业通过其偏好的服务(如 Azure、Docker、Sentry 等)直接在 GitHub Copilot 智能副驾驶®Chat 中定制其GitHub Copilot 智能副驾驶®体验⁴。


作为微软推出的扩展功能之一,GitHub Copilot 智能副驾驶®for Azure展示了如何利用自然语言和更广泛的功能来提高开发速度。通过 Copilot 智能副驾驶®Chat 使用该扩展,开发者可以探索和管理 Azure 资源,同时排除故障、查找相关日志和代码。


Azure AI带来新的前沿模型和多模态功能

作为OpenAI最新发布的旗舰模型,GPT-4o现可在Azure AI Studio中使用,也可作为API使用。这一开创性的多模态模型集成了文本、图像和音频处理,为生成式和对话式AI体验设定了新标准。


微软开发的AI小语言模型(SLMs)Phi-3 系列也发布了一款新的多模态模型⁵——Phi-3-vision,并已可在 Azure 中使用。Phi-3 模型功能强大、经济实惠,并针对个人设备进行了优化。Phi-3-vision 能够输入图像和文本,并接收文本回复。例如,用户可以就图表提出问题,或就特定图像提出开放式问题。


开发者可在 Azure AI Playground 中体验这些最先进的前沿模型,并能在 Azure AI Studio 中开始构建和定制模型。


作为以创新智能手机和智能设备享誉全球的全球科技品牌,OPPO 正在将Azure AI 语音转文本(speech-to-text)、快速转录(Fast Transcription)和 Azure AI 文本转语音(text-to-speech)技术在其新款智能手机上试点,以期为客户带来全新体验。


微软携手可汗学院以AI赋能教育者

微软和可汗学院(Khan Academy)宣布达成多元合作伙伴关系⁶,旨在将AI的变革潜力转化为现实。


合作伊始,微软将协助可汗学院为美国所有K-12教育者免费提供Khanmigo for Teachers。这款由AI驱动的教育助手能够释放教师时间,让他们专注于最重要的事情——与学生互动并提供支持。微软还将捐赠Azure AI优化的基础架构权限,提升Khanmigo for Teachers的可用性。该服务将由Azure OpenAI Service提供支持。


可汗学院还将与微软携手,借助微软开发的小型语言模型(SLM)系列Phi-3最新版,探索以经济实惠、可扩展、适应性强的方式改进数学辅导。他们还计划将更多可汗学院的教学内容引入智能副驾驶®(Copilot)和Microsoft Teams教育版,为学习者提供更多资源。


与Cognition AI达成新合作伙伴关系

微软将与Cognition⁷携手 ,把 Cognition 的自主AI软件代理 Devin 带给客户,帮助他们完成代码迁移和现代化项目等复杂任务。作为双方协议的一部分,Devin 将由微软智能云Azure 提供支持。Cognition AI 是一家应用型人工智能实验室,致力于开发端到端软件代理,帮助开发者取得更多成就。


功能强大的全新虚拟机推动AI应用

微软拥有一套独特的AI基础架构系统方法,当中包含了微软及其合作伙伴提供的硬件和软件,且全部经过优化,可大规模运行AI 负载,并根据客户需求进行微调。微软是首家将AMD领先的MI300X AI加速器芯片用于客户AI训练和AI推理的云服务提供商。Azure ND MI300X v5虚拟机系列已正式发布,针对高需求AI,以及诸如Azure OpenAI Service的高性能计算(HPC)工作负载进行了优化。


继推出首款自研计算处理器Azure Cobalt 100之后,微软宣布,基于去年11月发布的定制硅芯片推出全新的Cobalt 100 Arm-based虚拟机⁸(VMs)预览版。Cobalt 100 Arm-based 虚拟机是第一代采用微软新Cobalt处理器的虚拟机,基于Arm架构定制,对运行通用工作负载和云原生工作负载时的效率和性能进行了优化。与同类型Azure 虚拟机相比,Cobalt 100 Arm-based 虚拟机的性能提升可达40%。


智能副驾驶®(Copilot)不断升级

今年五月初,微软发布了最新的年度《工作趋势指数报告(WTI)》⁹,揭示了AI如何在短短一年的时间里影响着世界各地的人们工作、管理和招聘方式:75%的受访者已经将AI用于工作,其中近半数是在最近6个月开始尝试AI办公——这意味着在不到半年的时间里,AI办公的普及率就几乎翻了一番。企业管理者也将求职者的AI技能作为招聘的考量之一:71% 的受访者表示,在经验丰富但缺乏AI技能,和经验略有欠缺但AI技能扎实的候选人之间,他们更倾向于选择后者。而单看中国市场,这两项数据则更为突出:91%的受访者将AI用于日常工作,且有82%的企业管理者表示,更看中求职者的AI技能。


自发布以来,智能副驾驶®(Copilot)已经为很多人带来了巨大改变。借助现代AI和Open AI GPT-4等大型语言模型(LLM),微软系列产品中的Copilot智能副驾驶®能够充当幕后的个人AI助手,帮助人们完成复杂任务。


今天,微软正式推出Team Copilot智能副驾驶®,将Copilot智能副驾驶® for Microsoft 365从幕后的个人AI助手,扩展为团队新的重要成员¹⁰。您将能够在 Teams、Loop、Planner 等协作工具中调用智能副驾驶®(Copilot)。Team Copilot智能副驾驶®能够在会议中担任会议主持人,管理会议议程、跟踪会议时间并记录会议要点;也可以在聊天中作为协作者,提供重要信息、跟踪行动项目并解决未决问题。它还可以担任项目经理,帮助确保每个项目顺利推进,并及时通知团队进行输入。这些初始体验将在今年晚些时候推出预览版。而随着新的创新阶段的到来,Copilot智能副驾驶®也将开始协助个人和团队采取更多行动,这些初始体验也将助力我们持续学习、迭代和完善。


Microsoft Copilot Studio 推出全新的Agent代理功能,让开发者能够根据特定任务和功能,构建主动响应数据和事件的“智能副驾驶”。基于这类新功能的“智能副驾驶”可通过记忆和知识了解上下文、推理操作和输入,基于用户反馈进行学习,并在不知道如何处理时寻求帮助,从而独立管理复杂、长期运行的业务流程。现在,从 IT 设备采购到销售和服务的客户接待,用户都可以让基于Microsoft Copilot Studio构建的智能副驾驶®为其工作。


包括插件和连接器在内的Copilot 智能副驾驶®扩展¹¹,允许客户通过将其连接到新的数据源和应用程序来增强 Microsoft Copilot智能副驾驶®,从而扩展其功能。


*所有发布内容均与微软全球产品和服务相关,各个国家或地区客户的产品可用性取决于当地情况。



[1]https://blogs.windows.com/windowsdeveloper/?p=56958

[2]https://build.microsoft.com/en-US/home

[3]https://blog.fabric.microsoft.com/zh-CN/blog/introducing-real-time-intelligence-in-microsoft-fabric/

[4]https://azure.microsoft.com/en-us/

[5]https://azure.microsoft.com/en-us/blog/new-models-added-to-the-phi-3-family-available-on-microsoft-azure/

[6]https://news.microsoft.com/source/features/ai/khan-academy-and-microsoft-partner-to-expand-access-to-ai-tools/

[7]https://www.cognition.ai/

[8]https://techcommunity.microsoft.com/t5/azure-compute-blog/announcing-the-preview-of-new-azure-vms-based-on-the-azure/ba-p/4146353

[9]https://urldefense.com/v3/__https:/www.microsoft.com/en-us/worklab/work-trend-index/ai-at-work-is-here-now-comes-the-hard-part__;!!N96JrnIq8IfO5w!he4fnWRX3GmxSBgKbIJRVptaTs-un6s2JWP6a2q0_fhSatb_aKskFIAQHSkC9GDgKEAut686U__Rl-UjARYR$

[10]https://www.microsoft.com/en-us/microsoft-365/blog/2024/05/21/new-agent-capabilities-in-microsoft-copilot-unlock-business-value/

[11]https://build.microsoft.com/en-US/sessions/90aff741-26a6-490b-9793-f4747895d5c0?source=sessions