WWDC24发布会:大步跨进AI时代的系统更新亮点全解析

发表时间: 2024-06-11 17:40

今天凌晨,WWDC24 全球开发者大会正式开幕。首场 Keynote 发布会上,Apple 展示了包括 iOS 18、iPadOS 18、watchOS 11 和 macOS Sequoia 在内的新系统。不出意外本次发布会上的重点是 Apple Intelligence,Apple 用了首场发布会将近一半的篇幅来讲述他们在 AI 领域所做的工作。

如果你没有熬夜看发布会,少数派依旧为你整理了本次发布会的要点,帮你快速了解本次发布会的主要内容。

在 6 月 12 日晚间,我们将与科技博主「两颗皮蛋」的零号举行线上直播特别活动,一起聊聊对于本次 WWDC24 及各大系统更新的初印象,活动详情将于稍后公布,欢迎关注少数派微信视频号、小红书第一时间获取相关信息。

Apple Intelligence

Apple Intelligence 是本次发布会上的压轴大戏,Apple 表示该系统已经深入集成到了 iOS 18、iPadOS 18 和 macOS Sequoia 中。

Apple Intelligence 借助大语言模型能力理解和生成语言和图像,并能根据用户所处场景、跨应用地简化和加速日常任务。Apple Intelligence 不仅能在专用的 Apple 芯片服务器上运行,还能够在 Apple 设备端本地运行,并根据不同的任务负载选择正确的运行方式。

理解生成

Apple Intelligence 为 iOS 18、iPadOS 18 和 macOS Sequoia 带来了系统内全局范围的写作工具,用户可以在任何输入框中用大语言模型进行改写、校对和总结,支持第三方工具。

和其他由生成式模型驱动的写作工具一样,Apple Intelligence 可以根据上下文和用户选择的语气,生成适应于不同工作和对象的内容。Apple Intelligence 的校对功能帮助用户检查语法、单词用法和句子的结构,并给出详细的建议,用户还可以快速接受所有的建议。Apple Intelligence 的总结功能允许用户快速选择文本,并以表格或无序列表的形式进行总结。

在邮件中,Apple Intelligence 会识别邮件内容,并将重要邮件显示在收件箱的顶部。且收件箱的邮件预览会针对每封邮件总结,而不再是预览每封电子邮件的前几行。对于有较长上下文的邮件串,Apple Intelligence 会也会给出总结;智能回复功能也会根据邮件的上下文找出问题,并给出回复建议。

在通知方面,Apple Intelligence 也会识别通知内容,并将重要的通知显示在通知堆叠的顶部,在必要时也会摘要长通知的关键信息并在锁屏上显示。Apple Intelligence 还驱动了一个新的「减少通知打扰」的模式,允许用户专注于其他事情的时候,只关注于重要的通知。

在笔记和电话中,用户可以录制、转录并总结音频。但在通话中发起录音时,参与者会自动收到通知,通话结束后 Apple Intelligence 会生成一个摘要。

图像生成

Apple Intelligence 也同样支持「文生图」功能,通过新的、独立的 Image Playground 功能,用户可以生成动画、插图或素描风格的图像,并在消息或者其他第三方程序里使用。Image Playground 功能是纯本地功能,并有独立的 App 的供用户体验。

Image Playground 不仅支持用户输入提示词生成,还支持从特定的主题、服饰、配件、地点、个人照片库中的人等元素中选择一系列元素生成图像。

在笔记 app 中,用户可以通过 Apple Pencil 工具调色板中的新 Image Wand 访问 Image Playground,来将粗略的草图变成更具精美的图像、或是根据周围区域的上下文创建图像。

Apple Intelligence 除了生成图像,Genmoji 功能可以让用户输入文字提示词快速生成新的自定义 Emoji,Genmoji 生成的内容同样可以以消息的形式发送,或者作为贴纸、反应分享。

照片编辑

Apple Intelligence 也集成在了照片中,现在不仅可以用自然语言搜索特定的照片,还可以搜索视频的特定片段,方便用户查找、跳转和剪辑。此外,新的清理工具还可以识别和删除照片背景中部分杂乱的内容,同时不会改变拍摄对象。

Apple Intelligence 还改进了回忆功能,用户在输入提示词后即可创建他们想要看到的回忆。Apple Intelligence 会根据描述挑选出最好的照片和视频,根据照片中确定的主题制作一个带有章节的回忆,并将它们排列成具有自己叙事脉络的视频。

改进的 Siri

Apple Intelligence 也改进了 Siri,在更丰富的语言理解能力模型的帮助下 Siri 能够根据上下文、用户的背景,更自然地响应用户提出的问题。Siri 在激活时,也会用发光光环绕在屏幕边缘。Siri 还可以随时在文本和语音之间切换,用户可以用当前最合适的方式与 Siri 交互。

Siri 也会随着时间的推移,借助屏幕感知功能理解用户的上下文,并采取给出建议操作。比如将地址添加到联系人卡片中、妈妈的航班什么时候降落等等。

Siri 现在还可以随时为用户提供设备上功能的帮助。也能从 Apple 内置应用和其他第三方应用程序中执行具体操作,比如将周六烧烤的照片发送给 Malia、从我的阅读列表中拿出那篇关于蝉的文章等。

隐私保护

Apple 在发布会上多次声明隐私保护是重中之重,且 Apple Intelligence 的基石是设备端处理。当处理需要更多处理能力的更复杂请求时,Apple 采用私有云计算的方式,将 Apple 设备的隐私和安全扩展到云端。私有云计算的服务器采用 Apple 自研芯片,Apple 认为 Apple 自研芯片为未数据不被保留和暴露打下了基础。

这些私有云计算的服务器上的允许的代码也有独立专家进行检查、以验证隐私,私有云计算的服务器和 iPhone 之间使用加密通信。

ChatGPT 集成

iOS 18、iPadOS 18 和 macOS Sequoia 中还将集成 ChatGPT 功能,采用 GPT-4o 无需注册即可访问。支持访问专业知识、使用图像和文档理解功能,无需在应用间跳转。ChatGPT 也可以在 Apple 的系统范围的写作工具中使用,生成符合用户需求的文字和图像。

在链接到 ChatGPT 时,用户的 IP 会被隐藏;ChatGPT Plus 用户还可以通过登录解锁全部功能。

iOS

本次 iOS 18 带来的新功能与之前的预测相差不大。除了更加自由的主屏幕,包括照片、信息、邮件在内的多个系统 app 也获得了大量功能或设计更新。

更自由的主屏幕定制

iOS 18 为 iPhone 带来了更加自由的主屏幕定制功能。在(像隔壁系统一样)引入 App 资源库、不再强制所有图标都在主屏幕排布之后,iPhone 用户终于可以把壁纸上自己超爱的角色或人的脸完整露出来了。

现在,主屏幕的任意网格位置都可以摆放 app 和小组件。用户还可以为图标与小组件更换配色,包括常规的深色、浅色和自定义色调,也可以调节 app 图标尺寸,搭配壁纸制作出更个人化的主屏幕。

位于右上角下拉的控制中心也得到重新设计,有了更强的可定制性。首先,控制中心增加分组页,包括媒体播放、家居控制、连接状态等,从右上角长扫滑动即可切换至不同分组。原先的首页可自定义范围提高,用户可以调整控制项的摆放、尺寸以及创建新分组。iOS 18 还添加了全新的控制选项库(controls gallery),并开放了 Controls API,完成适配的第三方 app 也可以加入其中。

此外,锁定屏幕底部的控制开关也可以自定义了。用户可以将其替换为控制选项库中的任意选项,也可以将其直接移除。iPhone 15 Pro 侧边的操作按钮(Action Button)也可以快速调用控制选项。

信息 app 带来更多功能

iMessage 现在支持全新的文字效果。用户可以采用粗体、下划线、斜体与删除线等格式对部分文字进行强调,也可以为任意文字增加动画文字效果。「点回」(Tapbacks)功能从原本的六个回应扩展至支持任意表情符号或贴纸。

信息 app 本次还带来了稍后发送功能,用户可以提前撰写信息,并在稍后的设定时间发送。此外,信息 app 还支持向非 Apple 设备发送 RCS 信息,并且引入了端到端加密的卫星信息功能。

关联阅读:未来已来,三大运营商联合发布的 5G 消息到底是什么?

全新设计的照片 app

iOS 18 的照片 app 重新设计,从原本的网格设计加标签页更换至单一视图。App 上半部分为常规的时间流网格显示,下半部分为照片集,可以按主题、人物、旅程等浏览与分类。用户可以依喜好置顶、分享主题照片集,方便观看最喜爱的照片。在网格部分右扫,还能看到全新设计的 carousel(轮播)视图,可以播放由 app 选择的精选照片或用户选择的照片集。

邮件 app 增加分类功能

邮件 app 将引入新的收件箱管理功能,可以自动将收到的邮件分类,如个人邮件、收据、新闻与订阅通知、营销邮件等。来自同一企业的邮件还能以概要视图展示,让用户快速浏览相关信息。该更新会在今年晚些时候上线。

锁定与隐藏 app

隐私功能在 iOS 18 也有更新。本次引入的锁定与隐藏 app 功能可以为有用户私密内容的 app 提供额外的解锁确认,如验证 Face ID 后才可打开或显示内容。被锁定或隐藏的 app 及其中内容不会出现在搜索、通知等其他地方。如果有需求,app 还可以移动至 App 资源库内专门的隐藏文件夹。

其他更新

  • 隐私功能方面,iOS 18 允许用户与 app 仅共享特定联系人。第三方配件也可以无需让 app 看到用户网络上的其他设备,与 iPhone 完成无缝连接。
  • 地图 app 增加地形图功能。目前支持美国各大国家公园的徒步路线查询与收藏,并可定制自己的步行路线。
  • Apple 钱包为票务信息提供了更丰富的内容,包括相关场馆信息显示、相关 Apple Music 歌单推荐等。Apple Cash 在美国新增 Tap to Cash 转账功能。
  • 手记 app 增加全新洞察视图,允许用户搜索与分类日记;可以在主屏幕使用小组件直接语音记录,日记中将自动转写为文字。
  • iOS 18 引入游戏模式,开启后降低 AirPods 与游戏手柄等配件时延,限制后台以稳定帧率。
  • 日历 app 可显示、创建、编辑与完成提醒事项 app 中的日程与任务。
  • 辅助功能更新眼动追踪、音乐触觉与人声快捷键功能。

iPadOS

iPadOS 18 除了能获得 iOS 18 中的包括自定义主屏幕在内的各项新功能,还新增了多项针对 iPad 手写场景定制的特别功能。

计算器 app

本次 iPadOS 18 的最大更新莫过于带来了计算器 app。iPad 用户终于获得了原生计算器的加持。

在常规的计算器功能之外,如基础计算器、科学计算器、单位换算、历史记录等,iPadOS 版计算器新增了 Math Notes 数学笔记功能。用户可以在 Math Notes 键入或手写数学表达式。数学笔记支持设置变量,用户可以方便地查看变量之间的关系,能够依等式创建函数图像,也可以用 Apple Pencil 悬停后拖动变量连续更改其赋值,实时查看图像与结果变化。

更灵活的手写笔记

Smart Script 功能会学习用户的手写笔迹风格,使得手写文字也可以与键入文本一样即时调整。该功能可以在手写时实时调整书写字迹,使字迹更整齐;也可以直接修改文字,为手写文本自动纠错、重新排版、实时删除,粘贴的文本也可以直接转为手写字迹插入。

计算器 app 新增的 Math Notes 功能在备忘录内同样可用。

全新标签页栏设计

iPadOS 18 引入了全新的标签页栏设计,互补 app 的边栏功能。标签页栏将悬浮在页面上方,可以由用户选择边栏中的标签页并自定义顺序。该功能可以为 app 提供更多全屏显示体验,并向第三方 app 开放 API。

其他更新

  • 同播共享功能支持在屏幕上通过点击与涂鸦向对方指示操作,并且支持远程控制设备。
  • 无边记 app 新增场景功能,支持以主题管理看板不同部分,可以通过查看主题快速移动看板。

macOS

在此次的加州「地名探索之旅」上,macOS 的全新代号是 Sequoia,其名称来源是红杉国家公园。带来了 iPhone 镜像连续互通、Safari 的 Highlights 功能、全新的独立密码管理应用以及 Game Porting Toolkit 2 等一系列升级。

在 Mac 上操作 iPhone

多设备的互联互通一直是 Apple 生态的重要功能。现在,通过 macOS Sequoia,允许用户将 iPhone 屏幕镜像显示在 Mac 上,并进行完全交互,键盘、触控板、鼠标都能够用于与 iPhone 互动,还能在 iPhone 和 Mac 之间流畅地拖放文件。

这一功能使得用户能够无线地控制 iPhone,访问其应用和功能,同时保持 iPhone 屏幕的锁定状态,确保隐私安全。

Safari 给你「划重点」

在 macOS Sequoia 中的 Safari 浏览器变得更为智能,提供了名为「Highlights」功能,利用机器学习技术自动检测并突出显示网页上的相关资讯。此外,Safari 的阅读器模式经过重新设计,提供了更简洁的阅读体验和文章摘要。

全新 Passwords app

钥匙串现在被全新的 Passwords app 所取代,带给你更加方便安全的密码管理体验。这是一个集中管理密码、通行密钥、无线局域网密码和其他凭证的应用。支持跨设备同步,确保用户在所有设备上都能快速、安全地访问密码。

除了 Apple 设备外,也在 iCloud for Windows app 中提供。

其他更新

  • 更快捷的排列多个窗口:macOS Sequoia 引入了全新的窗口管理功能。当用户将窗口拖动到屏幕边缘时,系统会自动建议桌面上的平铺位置,使得多任务处理更加直观和高效。
  • Gaming on Mac 不再是玩笑:更多的游戏作品即将登陆 macOS 平台,包含育碧、卡普空等开发商在内的多款 3A 大作,包括《刺客信条:影》、《生化危机 7》、《生化危机 2》等,都即将登陆 Mac。
  • 视频会议体验升级:针对视频会议体验进行了优化,新增的 presenter preview 功能允许用户在分享屏幕前预览内容。此外,用户现在可以替换背景,使用内置背景或个人照片,以适应不同的会议需求。

visionOS

作为距离此次开发者大会发售时间最短的产品,Vision Pro 搭载的 visionOS 也迎来了首个大版本的更新:visionOS 2。

更有沉浸感的 2D 照片

利用先进的机器学习技术,visionOS 2 能够将用户库中的 2D 照片转换成具有自然深度感的立体空间照片,让回忆更加生动。

此外,通过同播同享,你可以与亲朋好友共享全景和空间照片、视频,实现社交体验的新维度。

全新手势带来更多快捷操作

在 Vision Pro 中的导航和控制方式也得到了更新,借助新手势,可以更快、更轻松地访问常用功能。

更大的 Mac 屏幕

将 Mac 无线连接到 Vision Pro 是用户最常用的功能之一,在 visionOS 2 中,新增了多种分辨率与屏幕尺寸,Wide(宽屏)以及 Ultrawide(超宽屏)两种全新选项搭配 Mac 为用户带来更多效率上的提升。

旅行模式新增火车

新增对火车的支持,让用户在长途通勤中也能享受私密的工作或娱乐体验。

更多的开发者以及生态支持

visionOS 2 为开发者提供了新的框架和 API,包括高级体积 API 和 TabletopKit,以及针对特定行业的企业级 API,为医疗、制造等行业提供强大的应用场景。

此外,佳能推出新的空间视频镜头,适用于 EOS R7 数码相机,支持在最具挑战性的光照条件下录制空间视频。

Apple 还与 Blackmagic Design 合作,为 Vision Pro 打造的沉浸式视频格式——Apple Immersive Videos,并且为内容创作者提供了全新的制作流程。

Apple Vision Pro 国行版 6 月 28 日正式发售

在发布会上,Apple 也正式宣布 Apple Vision Pro 也将于 6 月 28 日起面向中国大陆、香港、日本和新加坡等国家和地区发售,中国大陆用户可于 6 月 14 日 9 点起对 Apple Vision Pro 进行预购,256GB 版本 29999 元起售。

watchOS

作为 watchOS 的第十一个大版本更新,Apple 又花了不少功夫改进了 watchOS 11 中健康、运动及其它方面的有关体验。

可视化关键健康信息 Vitals

watchOS 11 中新增了一个快速查看这些关键健康信息的 Vitals app,用户可以快速查看心率、呼吸率、手腕温度、睡眠时间和血氧等相关信息,并确认哪些数据不在一般范围内。当两个或多个指标偏离其典型范围时,用户可以收到通知和一条消息,详细说明这些特定指标的变化如何与他们的生活其他方面相关联,例如海拔变化、饮酒习惯甚至疾病等。

运动负荷

在运动方面,watchOS 11 引入了「运动负荷」的概念,运动负荷可以有效衡量锻炼的强度和持续时间,并能和过去 7 天和过去 28 天做比较。运动负荷会在每次锻炼后更新,分为 10 个分数,根据有氧运动的锻炼类型、年龄、身高和体重、GPS、心率和海拔等锻炼数据共同计算。用户可以结合压力和酸痛懂因素,手动调整运动负荷的估计值。

智能叠放再升级

在 watchOS 11 中智能堆栈新增了 Shazam、照片、距离等新的小部件,还能更具根据时间、日期、位置、日常程序等建议小部件,例如:新的恶劣天气警报小部件可以在雷暴之前出现。此外,实时活动现在也会在智能叠放中出现。

照片表盘新变化

照片表盘在 watchOS 11 中也有了新变化,会使用机器学习快速分析数千张照片,并根据美学、构图甚至面部表情提出建议,帮助用户制作照片表盘。此外,照片表盘还会算法优化人物主体在框架中的位置,景深效果、时间大小、布局、字体选择等布局方式来因一步个性化照片表盘。此外,照片表盘还支持动态模式。

可定制的活动环和健身应用程序

在 watchOS 11 中,运动圆环可以根据用户的训练期间计划休息日、受伤等情况进行休息,可以暂停一天、一周、一个月或更长时间,且不会影响连胜奖励。还可以在一周中的某一天自定义他们的活动目标,来加强运动。

iPhone 上的健身 app 中的摘要选项卡也可以自定义,方便用户查看他们想要看到的内容。

其他更新

  • 新增了怀孕期间的支持,允许完整记录怀孕期间的身心变化
  • 支持在手表上使用平安确认功能
  • 支持在手表上使用翻译 app
  • 健身 app 支持了更多锻炼类型
  • Apple Intelligence 的通知摘要功能支持从 iPhone 15 Pro 和 iPhone 15 Pro Max 转发到Apple Watch

Audio & Home

AirPods:点头 Yes 摇头 No

不是所有场景我们都方便与 Siri 进行直接的语音互动,因此 AirPods 将会引入全新的交互方式,用户通过简单的点头「是」或摇头「否」即可在不说话的场景下响应 Siri 的提问。

利用先进的计算音频技术,AirPods Pro 新增了语音突显功能,能够在各种环境下提供清晰的通话质量,有效去除背景噪音。

此外,个性化空间音频(Personalized Spatial Audio)将扩展至游戏领域,使玩家能够身临其境。

tvOS 18

tvOS 18 也得到了 InSight、增强对话、21:9 支持、全新新屏幕保护程序等诸多特性更新。

InSight:用户在观看 Apple Original 的节目或电影时,只需在遥控器上向下滑动,即可实时查看演员及其角色名。此外,用户还可以快速查看正在播放的歌曲,并将其添加到 Apple Music 播放列表中。

其他更新

  • 对话增强(Enhance Dialogue):利用机器学习和计算音频在 Apple TV 4K 上提供更清晰的对白声音,用户在使用 HomePod、电视内置扬声器 HDMI 连接扬声器、AirPods 和其他蓝牙连接设备收听时,都可以使用该功能。
  • 增加 21:9 比例支持:tvOS 18 将支持 21:9 的投影仪,让用户可以以导演意图观看宽屏电影。
  • 新增多个屏幕保护程序:新增了全新的人像、史努比等多个屏幕保护程序。

看完首场 Keynote 发布会之后,你有哪些印象深刻的功能更新、对于几大新版系统或是 Apple Intelligence 有什么看法?欢迎在评论区和我们进行讨论。

少数派也会继续为大家带来关于新系统功能的详细介绍,以及对于 WWDC24 开发者大会的持续报道,欢迎大家关注我们后续的专题策划。