大步跨进AI时代,系统更新还有这些亮点:WWDC24发布会回顾

数字玩点少数派 2024-06-12 08:14:36

今天凌晨,WWDC24 全球开发者大会正式开幕。首场 Keynote 发布会上,Apple 展示了包括 iOS 18、iPadOS 18、watchOS 11 和 macOS Sequoia 在内的新系统。不出意外本次发布会上的重点是 Apple Intelligence,Apple 用了首场发布会将近一半的篇幅来讲述他们在 AI 领域所做的工作。

如果你没有熬夜看发布会,少数派依旧为你整理了本次发布会的要点,帮你快速了解本次发布会的主要内容。

在 6 月 12 日晚间,我们将与科技博主「两颗皮蛋」的零号举行线上直播特别活动,一起聊聊对于本次 WWDC24 及各大系统更新的初印象,活动详情将于稍后公布,欢迎关注少数派微信视频号、小红书第一时间获取相关信息。

Apple Intelligence

Apple Intelligence 是本次发布会上的压轴大戏,Apple 表示该系统已经深入集成到了 iOS 18、iPadOS 18 和 macOS Sequoia 中。

Apple Intelligence 借助大语言模型能力理解和生成语言和图像,并能根据用户所处场景、跨应用地简化和加速日常任务。Apple Intelligence 不仅能在专用的 Apple 芯片服务器上运行,还能够在 Apple 设备端本地运行,并根据不同的任务负载选择正确的运行方式。

理解生成

Apple Intelligence 为 iOS 18、iPadOS 18 和 macOS Sequoia 带来了系统内全局范围的写作工具,用户可以在任何输入框中用大语言模型进行改写、校对和总结,支持第三方工具。

和其他由生成式模型驱动的写作工具一样,Apple Intelligence 可以根据上下文和用户选择的语气,生成适应于不同工作和对象的内容。Apple Intelligence 的校对功能帮助用户检查语法、单词用法和句子的结构,并给出详细的建议,用户还可以快速接受所有的建议。Apple Intelligence 的总结功能允许用户快速选择文本,并以表格或无序列表的形式进行总结。

在邮件中,Apple Intelligence 会识别邮件内容,并将重要邮件显示在收件箱的顶部。且收件箱的邮件预览会针对每封邮件总结,而不再是预览每封电子邮件的前几行。对于有较长上下文的邮件串,Apple Intelligence 会也会给出总结;智能回复功能也会根据邮件的上下文找出问题,并给出回复建议。

在通知方面,Apple Intelligence 也会识别通知内容,并将重要的通知显示在通知堆叠的顶部,在必要时也会摘要长通知的关键信息并在锁屏上显示。Apple Intelligence 还驱动了一个新的「减少通知打扰」的模式,允许用户专注于其他事情的时候,只关注于重要的通知。

在笔记和电话中,用户可以录制、转录并总结音频。但在通话中发起录音时,参与者会自动收到通知,通话结束后 Apple Intelligence 会生成一个摘要。

图像生成

Apple Intelligence 也同样支持「文生图」功能,通过新的、独立的 Image Playground 功能,用户可以生成动画、插图或素描风格的图像,并在消息或者其他第三方程序里使用。Image Playground 功能是纯本地功能,并有独立的 App 的供用户体验。

Image Playground 不仅支持用户输入提示词生成,还支持从特定的主题、服饰、配件、地点、个人照片库中的人等元素中选择一系列元素生成图像。

在笔记 app 中,用户可以通过 Apple Pencil 工具调色板中的新 Image Wand 访问 Image Playground,来将粗略的草图变成更具精美的图像、或是根据周围区域的上下文创建图像。

Apple Intelligence 除了生成图像,Genmoji 功能可以让用户输入文字提示词快速生成新的自定义 Emoji,Genmoji 生成的内容同样可以以消息的形式发送,或者作为贴纸、反应分享。

照片编辑

Apple Intelligence 也集成在了照片中,现在不仅可以用自然语言搜索特定的照片,还可以搜索视频的特定片段,方便用户查找、跳转和剪辑。此外,新的清理工具还可以识别和删除照片背景中部分杂乱的内容,同时不会改变拍摄对象。

Apple Intelligence 还改进了回忆功能,用户在输入提示词后即可创建他们想要看到的回忆。Apple Intelligence 会根据描述挑选出最好的照片和视频,根据照片中确定的主题制作一个带有章节的回忆,并将它们排列成具有自己叙事脉络的视频。

改进的 Siri

Apple Intelligence 也改进了 Siri,在更丰富的语言理解能力模型的帮助下 Siri 能够根据上下文、用户的背景,更自然地响应用户提出的问题。Siri 在激活时,也会用发光光环绕在屏幕边缘。Siri 还可以随时在文本和语音之间切换,用户可以用当前最合适的方式与 Siri 交互。

Siri 也会随着时间的推移,借助屏幕感知功能理解用户的上下文,并采取给出建议操作。比如将地址添加到联系人卡片中、妈妈的航班什么时候降落等等。

Siri 现在还可以随时为用户提供设备上功能的帮助。也能从 Apple 内置应用和其他第三方应用程序中执行具体操作,比如将周六烧烤的照片发送给 Malia、从我的阅读列表中拿出那篇关于蝉的文章等。

隐私保护

Apple 在发布会上多次声明隐私保护是重中之重,且 Apple Intelligence 的基石是设备端处理。当处理需要更多处理能力的更复杂请求时,Apple 采用私有云计算的方式,将 Apple 设备的隐私和安全扩展到云端。私有云计算的服务器采用 Apple 自研芯片,Apple 认为 Apple 自研芯片为未数据不被保留和暴露打下了基础。

这些私有云计算的服务器上的允许的代码也有独立专家进行检查、以验证隐私,私有云计算的服务器和 iPhone 之间使用加密通信。

ChatGPT 集成

iOS 18、iPadOS 18 和 macOS Sequoia 中还将集成 ChatGPT 功能,采用 GPT-4o 无需注册即可访问。支持访问专业知识、使用图像和文档理解功能,无需在应用间跳转。ChatGPT 也可以在 Apple 的系统范围的写作工具中使用,生成符合用户需求的文字和图像。

在链接到 ChatGPT 时,用户的 IP 会被隐藏;ChatGPT Plus 用户还可以通过登录解锁全部功能。

iOS

本次 iOS 18 带来的新功能与之前的预测相差不大。除了更加自由的主屏幕,包括照片、信息、邮件在内的多个系统 app 也获得了大量功能或设计更新。

更自由的主屏幕定制

iOS 18 为 iPhone 带来了更加自由的主屏幕定制功能。在(像隔壁系统一样)引入 App 资源库、不再强制所有图标都在主屏幕排布之后,iPhone 用户终于可以把壁纸上自己超爱的角色或人的脸完整露出来了。

现在,主屏幕的任意网格位置都可以摆放 app 和小组件。用户还可以为图标与小组件更换配色,包括常规的深色、浅色和自定义色调,也可以调节 app 图标尺寸,搭配壁纸制作出更个人化的主屏幕。

位于右上角下拉的控制中心也得到重新设计,有了更强的可定制性。首先,控制中心增加分组页,包括媒体播放、家居控制、连接状态等,从右上角长扫滑动即可切换至不同分组。原先的首页可自定义范围提高,用户可以调整控制项的摆放、尺寸以及创建新分组。iOS 18 还添加了全新的控制选项库(controls gallery),并开放了 Controls API,完成适配的第三方 app 也可以加入其中。

此外,锁定屏幕底部的控制开关也可以自定义了。用户可以将其替换为控制选项库中的任意选项,也可以将其直接移除。iPhone 15 Pro 侧边的操作按钮(Action Button)也可以快速调用控制选项。

信息 app 带来更多功能

iMessage 现在支持全新的文字效果。用户可以采用粗体、下划线、斜体与删除线等格式对部分文字进行强调,也可以为任意文字增加动画文字效果。「点回」(Tapbacks)功能从原本的六个回应扩展至支持任意表情符号或贴纸。

信息 app 本次还带来了稍后发送功能,用户可以提前撰写信息,并在稍后的设定时间发送。此外,信息 app 还支持向非 Apple 设备发送 RCS 信息,并且引入了端到端加密的卫星信息功能。

关联阅读:未来已来,三大运营商联合发布的 5G 消息到底是什么?

全新设计的照片 app

iOS 18 的照片 app 重新设计,从原本的网格设计加标签页更换至单一视图。App 上半部分为常规的时间流网格显示,下半部分为照片集,可以按主题、人物、旅程等浏览与分类。用户可以依喜好置顶、分享主题照片集,方便观看最喜爱的照片。在网格部分右扫,还能看到全新设计的 carousel(轮播)视图,可以播放由 app 选择的精选照片或用户选择的照片集。

邮件 app 增加分类功能

邮件 app 将引入新的收件箱管理功能,可以自动将收到的邮件分类,如个人邮件、收据、新闻与订阅通知、营销邮件等。来自同一企业的邮件还能以概要视图展示,让用户快速浏览相关信息。该更新会在今年晚些时候上线。

锁定与隐藏 app

隐私功能在 iOS 18 也有更新。本次引入的锁定与隐藏 app 功能可以为有用户私密内容的 app 提供额外的解锁确认,如验证 Face ID 后才可打开或显示内容。被锁定或隐藏的 app 及其中内容不会出现在搜索、通知等其他地方。如果有需求,app 还可以移动至 App 资源库内专门的隐藏文件夹。

其他更新隐私功能方面,iOS 18 允许用户与 app 仅共享特定联系人。第三方配件也可以无需让 app 看到用户网络上的其他设备,与 iPhone 完成无缝连接。地图 app 增加地形图功能。目前支持美国各大国家公园的徒步路线查询与收藏,并可定制自己的步行路线。Apple 钱包为票务信息提供了更丰富的内容,包括相关场馆信息显示、相关 Apple Music 歌单推荐等。Apple Cash 在美国新增 Tap to Cash 转账功能。手记 app 增加全新洞察视图,允许用户搜索与分类日记;可以在主屏幕使用小组件直接语音记录,日记中将自动转写为文字。iOS 18 引入游戏模式,开启后降低 AirPods 与游戏手柄等配件时延,限制后台以稳定帧率。日历 app 可显示、创建、编辑与完成提醒事项 app 中的日程与任务。辅助功能更新眼动追踪、音乐触觉与人声快捷键功能。iPadOS

iPadOS 18 除了能获得 iOS 18 中的包括自定义主屏幕在内的各项新功能,还新增了多项针对 iPad 手写场景定制的特别功能。

计算器 app

本次 iPadOS 18 的最大更新莫过于带来了计算器 app。iPad 用户终于获得了原生计算器的加持。

在常规的计算器功能之外,如基础计算器、科学计算器、单位换算、历史记录等,iPadOS 版计算器新增了 Math Notes 数学笔记功能。用户可以在 Math Notes 键入或手写数学表达式。数学笔记支持设置变量,用户可以方便地查看变量之间的关系,能够依等式创建函数图像,也可以用 Apple Pencil 悬停后拖动变量连续更改其赋值,实时查看图像与结果变化。

更灵活的手写笔记

Smart Script 功能会学习用户的手写笔迹风格,使得手写文字也可以与键入文本一样即时调整。该功能可以在手写时实时调整书写字迹,使字迹更整齐;也可以直接修改文字,为手写文本自动纠错、重新排版、实时删除,粘贴的文本也可以直接转为手写字迹插入。

计算器 app 新增的 Math Notes 功能在备忘录内同样可用。

全新标签页栏设计

iPadOS 18 引入了全新的标签页栏设计,互补 app 的边栏功能。标签页栏将悬浮在页面上方,可以由用户选择边栏中的标签页并自定义顺序。该功能可以为 app 提供更多全屏显示体验,并向第三方 app 开放 API。

其他更新

同播共享功能支持在屏幕上通过点击与涂鸦向对方指示操作,并且支持远程控制设备。无边记 app 新增场景功能,支持以主题管理看板不同部分,可以通过查看主题快速移动看板。macOS

在此次的加州「地名探索之旅」上,macOS 的全新代号是 Sequoia,其名称来源是红杉国家公园。带来了 iPhone 镜像连续互通、Safari 的 Highlights 功能、全新的独立密码管理应用以及 Game Porting Toolkit 2 等一系列升级。

在 Mac 上操作 iPhone

多设备的互联互通一直是 Apple 生态的重要功能。现在,通过 macOS Sequoia,允许用户将 iPhone 屏幕镜像显示在 Mac 上,并进行完全交互,键盘、触控板、鼠标都能够用于与 iPhone 互动,还能在 iPhone 和 Mac 之间流畅地拖放文件。

这一功能使得用户能够无线地控制 iPhone,访问其应用和功能,同时保持 iPhone 屏幕的锁定状态,确保隐私安全。

Safari 给你「划重点」

在 macOS Sequoia 中的 Safari 浏览器变得更为智能,提供了名为「Highlights」功能,利用机器学习技术自动检测并突出显示网页上的相关资讯。此外,Safari 的阅读器模式经过重新设计,提供了更简洁的阅读体验和文章摘要。

全新 Passwords app

钥匙串现在被全新的 Passwords app 所取代,带给你更加方便安全的密码管理体验。这是一个集中管理密码、通行密钥、无线局域网密码和其他凭证的应用。支持跨设备同步,确保用户在所有设备上都能快速、安全地访问密码。

除了 Apple 设备外,也在 iCloud for Windows app 中提供。

其他更新

更快捷的排列多个窗口:macOS Sequoia 引入了全新的窗口管理功能。当用户将窗口拖动到屏幕边缘时,系统会自动建议桌面上的平铺位置,使得多任务处理更加直观和高效。Gaming on Mac 不再是玩笑:更多的游戏作品即将登陆 macOS 平台,包含育碧、卡普空等开发商在内的多款 3A 大作,包括《刺客信条:影》、《生化危机 7》、《生化危机 2》等,都即将登陆 Mac。视频会议体验升级:针对视频会议体验进行了优化,新增的 presenter preview 功能允许用户在分享屏幕前预览内容。此外,用户现在可以替换背景,使用内置背景或个人照片,以适应不同的会议需求。

visionOS

作为距离此次开发者大会发售时间最短的产品,Vision Pro 搭载的 visionOS 也迎来了首个大版本的更新:visionOS 2。

更有沉浸感的 2D 照片

利用先进的机器学习技术,visionOS 2 能够将用户库中的 2D 照片转换成具有自然深度感的立体空间照片,让回忆更加生动。

此外,通过同播同享,你可以与亲朋好友共享全景和空间照片、视频,实现社交体验的新维度。

全新手势带来更多快捷操作

在 Vision Pro 中的导航和控制方式也得到了更新,借助新手势,可以更快、更轻松地访问常用功能。

更大的 Mac 屏幕

将 Mac 无线连接到 Vision Pro 是用户最常用的功能之一,在 visionOS 2 中,新增了多种分辨率与屏幕尺寸,Wide(宽屏)以及 Ultrawide(超宽屏)两种全新选项搭配 Mac 为用户带来更多效率上的提升。

旅行模式新增火车

新增对火车的支持,让用户在长途通勤中也能享受私密的工作或娱乐体验。

更多的开发者以及生态支持

visionOS 2 为开发者提供了新的框架和 API,包括高级体积 API 和 TabletopKit,以及针对特定行业的企业级 API,为医疗、制造等行业提供强大的应用场景。

此外,佳能推出新的空间视频镜头,适用于 EOS R7 数码相机,支持在最具挑战性的光照条件下录制空间视频。

Apple 还与 Blackmagic Design 合作,为 Vision Pro 打造的沉浸式视频格式——Apple Immersive Videos,并且为内容创作者提供了全新的制作流程。

Apple Vision Pro 国行版 6 月 28 日正式发售

在发布会上,Apple 也正式宣布 Apple Vision Pro 也将于 6 月 28 日起面向中国大陆、香港、日本和新加坡等国家和地区发售,中国大陆用户可于 6 月 14 日 9 点起对 Apple Vision Pro 进行预购,256GB 版本 29999 元起售。

watchOS

作为 watchOS 的第十一个大版本更新,Apple 又花了不少功夫改进了 watchOS 11 中健康、运动及其它方面的有关体验。

可视化关键健康信息 Vitals

watchOS 11 中新增了一个快速查看这些关键健康信息的 Vitals app,用户可以快速查看心率、呼吸率、手腕温度、睡眠时间和血氧等相关信息,并确认哪些数据不在一般范围内。当两个或多个指标偏离其典型范围时,用户可以收到通知和一条消息,详细说明这些特定指标的变化如何与他们的生活其他方面相关联,例如海拔变化、饮酒习惯甚至疾病等。

运动负荷

在运动方面,watchOS 11 引入了「运动负荷」的概念,运动负荷可以有效衡量锻炼的强度和持续时间,并能和过去 7 天和过去 28 天做比较。运动负荷会在每次锻炼后更新,分为 10 个分数,根据有氧运动的锻炼类型、年龄、身高和体重、GPS、心率和海拔等锻炼数据共同计算。用户可以结合压力和酸痛懂因素,手动调整运动负荷的估计值。

智能叠放再升级

在 watchOS 11 中智能堆栈新增了 Shazam、照片、距离等新的小部件,还能更具根据时间、日期、位置、日常程序等建议小部件,例如:新的恶劣天气警报小部件可以在雷暴之前出现。此外,实时活动现在也会在智能叠放中出现。

照片表盘新变化

照片表盘在 watchOS 11 中也有了新变化,会使用机器学习快速分析数千张照片,并根据美学、构图甚至面部表情提出建议,帮助用户制作照片表盘。此外,照片表盘还会算法优化人物主体在框架中的位置,景深效果、时间大小、布局、字体选择等布局方式来因一步个性化照片表盘。此外,照片表盘还支持动态模式。

可定制的活动环和健身应用程序

在 watchOS 11 中,运动圆环可以根据用户的训练期间计划休息日、受伤等情况进行休息,可以暂停一天、一周、一个月或更长时间,且不会影响连胜奖励。还可以在一周中的某一天自定义他们的活动目标,来加强运动。

iPhone 上的健身 app 中的摘要选项卡也可以自定义,方便用户查看他们想要看到的内容。

其他更新新增了怀孕期间的支持,允许完整记录怀孕期间的身心变化支持在手表上使用平安确认功能支持在手表上使用翻译 app健身 app 支持了更多锻炼类型Apple Intelligence 的通知摘要功能支持从 iPhone 15 Pro 和 iPhone 15 Pro Max 转发到Apple WatchAudio & HomeAirPods:点头 Yes 摇头 No

不是所有场景我们都方便与 Siri 进行直接的语音互动,因此 AirPods 将会引入全新的交互方式,用户通过简单的点头「是」或摇头「否」即可在不说话的场景下响应 Siri 的提问。

利用先进的计算音频技术,AirPods Pro 新增了语音突显功能,能够在各种环境下提供清晰的通话质量,有效去除背景噪音。

此外,个性化空间音频(Personalized Spatial Audio)将扩展至游戏领域,使玩家能够身临其境。

tvOS 18

tvOS 18 也得到了 InSight、增强对话、21:9 支持、全新新屏幕保护程序等诸多特性更新。

InSight:用户在观看 Apple Original 的节目或电影时,只需在遥控器上向下滑动,即可实时查看演员及其角色名。此外,用户还可以快速查看正在播放的歌曲,并将其添加到 Apple Music 播放列表中。

其他更新对话增强(Enhance Dialogue):利用机器学习和计算音频在 Apple TV 4K 上提供更清晰的对白声音,用户在使用 HomePod、电视内置扬声器 HDMI 连接扬声器、AirPods 和其他蓝牙连接设备收听时,都可以使用该功能。增加 21:9 比例支持:tvOS 18 将支持 21:9 的投影仪,让用户可以以导演意图观看宽屏电影。新增多个屏幕保护程序:新增了全新的人像、史努比等多个屏幕保护程序。

看完首场 Keynote 发布会之后,你有哪些印象深刻的功能更新、对于几大新版系统或是 Apple Intelligence 有什么看法?欢迎在评论区和我们进行讨论。

少数派也会继续为大家带来关于新系统功能的详细介绍,以及对于 WWDC24 开发者大会的持续报道,欢迎大家关注我们后续的专题策划。

0 阅读:21

数字玩点少数派

简介:感谢大家的关注