苹果WWDC24:揭秘iOS18与ChatGPT的完美结合

发表时间: 2024-06-12 10:35

作者张潇雪
邮箱JessicaZhang@pingwest.com

似乎所有人都在等待这一天。

在Google I/O和微软 Build 大会后,苹果终于也迎来了自己的WWDC 24开发者大会。生成式AI热潮开始近两年,全球瞩目下,库克终于在加州Cupertino苹果飞船总部大楼迈出这历史一步。

端侧+云+GPT 4o, Apple Intelligence重新定义AI

库克这样描述他理想中的人工智能:它必须足够强大,能够帮助你处理最重要的事情;同时,它需要直观且易于使用,并深度集成到产品体验中。它还必须了解你,根植于你的个人背景,并以隐私为基础构建。“所有这些共同超越了人工智能范畴,这是个人智能。”

换句话说,这就是最受瞩目的苹果AI重磅更新,被命名为Apple Intelligence的「苹果智能」。

库克不断强调Apple Intelligence是更懂用户的个人智能系统,通过将强大的生成模型嵌入全平台操作系统中,在个人语境下为用户提供更有帮助和相关的智能服务。

它由高性能的大语言模型和扩散模型组成,结合了Apple Silicon的强大处理能力,深度集成于Apple设备和应用程序中。能做到理解和生成文字及图像内容,跨应用执行程序操作,个性化处理通知和写作任务等,提升用户日常体验和任务效率。并能通过端侧处理和私有云计算结合,来确保用户的隐私安全。

从应用体验上来说,可以通过以下几种方式:

1. 语音助手Siri

大模型重新设计过的Siri能更好地理解用户需求和回应查询。对话时具备上下文记忆功能,比如询问目的地天气后马上能帮助制定徒步计划。也可以识别语气停顿,在文字和声音间转换交互方式。

用户将首次能够通过Siri精确控制苹果应用内的各个功能,实现跨App操作。比如让它查找照片、编辑图像、添加通讯录或删除电子邮件等。随着时间推移,苹果会陆续扩展到第三方应用程序,并将多个命令串联成一个请求。

2. AI总结和摘要

AI将在苹果设备中极大提升用户的阅读和写作体验。例如起草邮件时,点选内容即可唤醒“重写”功能,帮助校对语法、调整语气,或者总结功能提炼长文要点,智能回复选项帮助快速回复。

查阅邮件收件箱也变得更简单:邮件将不再像传统中显示前几句话,而是变成内容摘要,更一目了然。Apple Intelligence也能总结会议记录和短信,还推出了未读通知总结功能,允许用户快速了解他们在未查看手机时错过的内容。总之一句话:以各种方式帮你节省时间。

3. 自制emoji表情包

这个新功能被命名为Genmoji,对Z世代来说应该颇具吸引力。聊天中只要使用自然语言描述,就可创建富有想象力的emoji。选中某位朋友还能根据其头像制作动画、素描或插画风格的专属表情。同时推出单独的Image Playground App,供用户发挥想象力和朋友间分享。Image Wand工具集成入备忘录,可以把草图改编成更精细的图片,创建生动的笔记。

4. 备忘录和Voice Memo的实时转录功能。录音结束后即刻生成摘要。

5. 照片应用推出AI编辑。可移除背景中的物体和人物。同时照片和视频也可以使用自然语言搜索。

当然苹果也不出意外地宣布了与OpenAI的合作:将最先进的GPT-4o将内置于全平台系统,为苹果用户提供强大服务。任何人都可以免费访问,对于ChatGPT付费用户来说则可以账户同步。

iOS 18系统大更新

1. App应用:

• Messages消息:包括为点回功能增添更多新的表情符号和贴纸。添加消息的稍后发送、内容建议、给任何字词加动态效果、下划线及删除线等功能。并实现卫星通信和RCS富通讯解决方案。

• 邮件:实现比Gmail更细致的邮件自动分类。全新的摘要功能会总结每篇邮件的内容,还会把同一发件人的邮件集合在一起,更易查看。

• 地图:提供了新的地形图,包含详细的步道网络和徒步路线,可以保存至手机通过语音导航离线访问,

• 钱包:加入Tap to cash功能,无需分享电话号码或电子邮件地址,两台手机靠近即可快速转账。还增添了新的票务管理系统,包括全新的活动指南,场地信息与Apple智能推荐的结合等。

• 无边记:增加数据分析功能,可智能分析自己的记录内容。

• 游戏模式:如同Mac上一样,iPhone上的游戏模式将最小化后台活动,以维持最高帧率,

• 相册:被称为“最大的重新设计”,将缩略图和相册合并为单一视图,整体更清晰和有组织性。推出“精选集”方便归类最重要的照片,查看时还可以设定时间、地点、和照片类型等条件进行筛选。为喜爱的旅行图片新增旅程标签,可以进行智能区分、生成精选轮播并分享整个图集。

2.更定制化的主屏幕界面

在iOS 18中,应用图标将不再需要保持整齐的网格。相反,用户将能够在主屏幕上按照喜好随意放置图标,包括在App间留下空白空间。图标颜色将首次可自定义,你可以重新着色图标来更好地匹配墙纸和明暗模式等。

控制中心也进行了升级。不仅能添加更多快捷控制项,还可以通过上下滑动进入媒体播放、家居控制等多个控制组。并且可以选择特定控制项替代相机和手电筒,在锁屏模式下访问。

个性化的OS还提供了一种“给App上锁”的全新方式来保护隐私。锁定的App需要使用Face ID、Touch ID或密码验证才能开启。这样当把iPhone交给别人(比如“熊孩子”玩游戏时),你就不必再担心他们访问自己的相册、信息等敏感应用。此外,你还可以将图标放置在隐藏文件夹中并锁定。

Vision OS 2:解锁新手势和更丰富的Vision OS生态

• 先进的机器学习技术可以从2D图像生成具有自然深度的空间照片,还能与朋友一起欣赏,即使物理距离遥远也仿佛近在咫尺。

• 解锁两个新的手势控制:双指互点打开主屏幕,翻转手掌即可显示时间和电池电量,再次点击打开控制中心来快速访问常用功能。

• Mac虚拟显示器将具有更高的显示分辨率和尺寸,并可进一步扩展到环绕超宽显示器,相当于两个并排的4K显示器。

• 旅行模式中增加了火车支持。

• 更多款API、框架和应用,方便开发者和内容创作者丰富Vision OS生态。

苹果也在大会上宣布将把Vision Pro带给美国以外更多的8个国家和地区。6月14日起在中国开放预订,28日起正式开卖,售价29999人民币起。

iPad OS 18:史上最强智能计算器成全场黑马

谁能想到,本次大会中最惊艳和实用的更新,竟然来自iPad OS!

全场第一大亮点,由无比智能而强大的iPad计算器带来。没错,苹果终于听到群众的呼声,把计算器引入iPad平台了。在UI上根据宽屏进行了界面更新,并加入历史记录和单位换算等。

但真正的魔法时刻,来自于Apple Pencil和iPad结合时解锁的手写计算。

这一功能被称为数学笔记(Math Notes),用户只需用Apple Pencil像在纸上写算式一样书写计算过程,计算器就会立即识别并解题,甚至以手写体显示结果。

并且iPad计算器的本领不仅限于基础数学,在处理更复杂的物理问题时毫不逊色。例如计算以不同速度和角度击球时乒乓球的最大高度。Math Notes能识别图释并支持变量,更改任何一个变量,相关结果也会同步更新,你还可以根据方程式创建图表。假如好奇公式里的角度如何影响高度,仅需将Apple Pencil悬停在角度变量上滑动调整,就能实时查看图表变化。这丝滑直观的交互计算体验,别说小学生了,大学生也狂喜。

iPad OS 也与iOS 18一脉相承,更新了个性化主屏幕、全新控制中心及照片应用,在SharePlay共享模式中可以同步操作示范, Smart Script功能可以根据历史记录优化笔迹,选取内容复制粘贴和移动,让书写更流畅。

Watch OS 11:训练负荷评估、按天调整锻炼目标、加入孕期监测

推出训练负荷(Training Load):能根据佩戴者运动时的心率、速度和海拔等卡路里数据,以及年龄和体重等为训练效能从1(轻松)到10(全力以赴)评分,从而对自己锻炼程度有更好的判断。

个性化扩展至活动圆环:现在起,用户将能够按星期调整运动目标,如若负伤需要休息,可以选择暂停一天或更长时间,同时保持活动环奖励的连续性。

• 新应用Vitals :能跟踪监测心率、呼吸频率和手腕温度等关键生命体征,提供更详细的数据分析功能。

• 周期追踪新增孕期检测功能:可以显示妊娠期,并提示查看诸如高心率通知阈值等内容,陪伴准妈妈读过这一重要时期。

更多重要的快速互动:比如Apple Pay付款、回复信息等。无需从口袋掏出手机,只需抬动手腕即可完成。

更便捷的Smart Stack智能堆栈功能:在需要时自动增加更多翻译、天气、以及发送给朋友的平安到达确认等小组件。

• 自定义表盘:机器学习会智能识别并精选最佳照片,并将图像与时间框组合在一起,为你创建独特而个性化的表盘。

Mac OS Sequoia:连续互通让你再也离不开苹果生态

此处出现第二大亮点:强大的连续互通(Continuity)。新版macOS代号Sequoia,在Continuity中添加了全新的手机镜像功能,能将手机界面直接投射在Mac屏幕上进行无缝操作,包括打开App、播放音频和文字输入等等。借助Mac的大屏幕优势,你还可以直接将在Mac的Final pro里编辑好的视频拖入手机界面发布内容。

iPhone通知也会同步显示,即便设备不在身边一样不会遗漏重要提醒。而此刻的iPhone屏幕将保持锁屏状态,因此没有其他人可以访问。

苹果还推出了一款名为Passwords应用程序,通过将所有密码安全整合在一起,并在Mac、iPad、iPhone、Vision Pro和iCloud for Windows应用及所有设备间安全同步,让用户获得一站式的密码管理体验。

除此之外,视频会议将能够实现背景替换。Safari浏览器将提供更长的续航时间,为用户高亮显示网页中的各种重要信息和链接,还可以自动总结文章内容和摘要,窗口化播放网页中的视频等。

音频和家庭:回应Siri不必出声,点头yes摇头no

AirPods与Siri的互动将变得更轻松。当身处电梯间这类不想大声说话的场合时,只需点头或摇头就能回应Siri。如果背景太吵,全新的语音隔离功会帮助消除背景噪音,提供最佳通话质量。

此外Apple TV+中推出Insight功能。在观看Apple原创视频时,只需在遥控器上滑动就会实时显示演员和角色名。而字幕也会在静音模式或回看时恰到好处地出现。

以上提到所有的系统更新目前都交给了开发者继续完善,将在今年 9 月份正式与大家见面。

但相信绝大多数人都有相同的感受,如今苹果生态的系统更新已经不能像以前那样,让人发出 amazing 的惊叹。唯一可圈可点的或许就是 iOS18 加入的 Apple Intelligence,而这正是 Apple 制霸下一个时代的利器。

2007 年,移动设备的革命从 iPhone 出发。17 年后,一切又回到了 iPhone。

有了 AI 加持,iPhone 好像如虎添翼,但所有的功能都在为人服务,就像当年触屏消灭全键盘一样。无论在哪个时代,苹果的核心都是它的创新能力。