系统极客一直在努力
专注操作系统及软件使用技能

Windows 11 24H2:AI 新特性解读

Windows 11 24H2:AI 新特性解读

Windows 11 24H2 带来了一系列激动人心的新功能,特别是在 AI 领域实现了重大突破。本文将深入剖析这些 AI 新特性,探讨它们的重要性,以及如何充分利用它们,打造更加智能、高效的使用体验。

Windows Copilot 运行时:本地 AI 的基石

Windows 11 24H2 引入了多项开创性的 AI 功能,这些功能会在你的设备本地运行,并不依赖云端分析和处理数据。

在这些创新功能的背后,是全新的 Windows Copilot 运行时系统组件。它整合了 40+ 本地运行的 AI 模型,并提供了维护和管理这些模型的基础设施。这一设计不仅显著提升了系统性能,还为开发者打开了无限可能。借助 Windows Copilot 库提供的新 API,就能够轻松将 AI 功能融入自己的应用程序中,打造更加智能化、个性化的用户体验。

Windows Copilot Runtime 架构示意
Windows Copilot Runtime 架构示意

如上图所示,Windows Copilot 运行时主要分为三层:

第一层

第一层提供了 AI 开发的基础设施,包含框架和工具:

第二层

第二层是 Windows Copilot 运行时的核心,包括 Windows Copilot 库(API)和本地 AI 模型:

  • Windows Copilot 库:提供了一组全新 API,方便开发人员将 AI 功能集成到应用中。
  • 本地模型:集成了 40 多个本地 AI 模型,为许多全新的 Windows AI 功能提供支持,例如 Windows Recall、实时字幕翻译、Windows Studio Effects、自动超级分辨率、「画图」应用中的图像创建器、语音清晰度、以及「照片」应用中的 Restyle 图像等多种酷炫功能。

作为全新运行时的一部分,微软还集成了 Phi Silica 小型语言模型(SLM)和其他模型,如 OCR 光学字符识别器、屏幕区域检测器、自然语言解析器、图像编码器、向量嵌入、RAG 检索增强生成、文本摘要和用户活动识别等。

第三层

第三层是面向用户的应用层,通过调用底层功能实现各种 AI 体验:

  • 在这一层中,各种应用程序(包括 Windows 原生和第三方应用)可以通过调用第二层的 AI 模型和 Windows Copilot 库提供的 API,来实现各种 AI 功能,为用户提供更智能、更便捷的使用体验。
  • 开发者如果要在自己的应用中集成最新的 AI 功能,也需要通过 Windows Copilot 运行时来实现。

Windows Copilot 运行时工作得非常底层,直接基于 NPU 和 GPU 来处理 AI 任务,并不依赖于云端服务,即使在没有网络的情况下也能正常工作。

接下来,我们将深入探讨 Windows 11 24H2 的 AI 新功能,看看它们将如何改变我们使用 Windows 的方式,以及为什么它们对提高生产力和用户体验至关重要。

01. Windows Recall:你的智能数字记忆助手

Windows Recall 是 Windows 11 24H2 中最引人注目的 AI 功能之一。它就像一个智能数字记忆助手,默默地记录着你在电脑上的每一次操作。该功能依托本地运行的多个 AI 模型,不仅能够分析你的操作,还可以通过自然语言轻松搜索所有内容(包括文本和图像),帮助你高效完成工作和获取灵感。

Windows Recall 功能
Windows Recall 功能

Recall 功能核心优势

  • 强劲硬件支持:专为 Copilot+ PC 设计,需要搭载最新款 Qualcomm Snapdragon X 系列处理器和 NPU,并配备 16GB 内存和 256GB SSD。
  • 智能截屏与索引:每隔几秒自动截屏,并创建本地加密的向量索引,为快速精准的搜索奠定基础。
  • 自然语言搜索:使用自然语言即可轻松查找过去的活动和内容,极大提升工作效率。
  • 隐私保护至关重要:所有数据只在本地进行处理,不会上传到云端,用户隐私安全得到严格保护。

Windows Recall 功能在 Microsoft Build 2024 大会上首次亮相时,便立即吸引了众多目光。尽管有人对隐私问题表示担忧,但微软一再强调其本地数据处理的特性,以求打消用户疑虑。

02. Windows Studio Effects:AI 赋能的视频通话新体验

Windows Studio Effects 是一套利用 AI 技术来增强视频通话和音频质量的组合功能,它依赖于设备的 NPU 为用户带来前所未有的通话体验。

Studio Effects 快速设置面板
Studio Effects 快速设置面板

Studio Effects 包括 6 大主要效果

  • 自动取景:即使你在移动,也能让你始终保持在镜头中心。
  • 背景虚化:在视频通话中模糊背景,提升隐私保护或隐藏杂乱环境。
  • 眼神接触:让你在看屏幕时,看起来像是在与对方保持眼神交流。
  • 语音聚焦:减少背景噪音,让你的声音更加清晰。
  • 肖像光:优化视频中的光线效果,提升画面质量。
  • 创意滤镜:为视频添加个性化滤镜效果。

虽然 Studio Effects 功能在 Windows 11 中早就存在,但从 24H2 版本开始,微软计划在 Copilot+ PC 认证的电脑上更广泛地推广该功能。这意味着,更多用户将能享受到 AI 增强的通话体验。

Studio Effects 依赖于设备的 NPU,因此并不是所有设备都能支持。

03. 实时字幕翻译:打破语言障碍的 AI 利器

Windows 11 的 实时字幕功能在 24H2 更新中迎来了重磅升级,新增的「实时字幕翻译」功能带来了跨语言交流的全新体验。这项改进不仅能为听障人士提供更有效的辅助,也为所有用户带来了更加便捷、高效的语言交流体验。

实时字幕翻译
实时字幕翻译

实时字幕翻译功能核心优势

  • 实时翻译:支持将视频或语音内容实时翻译成你的母语,包括 YouTube 等平台的视频内容。
  • 广泛兼容性:可以实时翻译电脑上的任何音频源,涵盖实时和预录音频。
  • 多语言支持:支持将超过 40 种语言翻译成英语,显著拓展使用场景。
  • 离线功能:可依托 NPU 运行,即使断网也能流畅使用。
  • 音视频通话支持:新增对音频和视频通话的实时字幕支持,助力无障碍沟通。

新版本虽然尚未明确离线功能的具体支持情况,但已经扩展了多种非英语语言的支持。

04. 语音清晰度:AI 驱动的音频增强体验

Windows 11 的语音清晰度功能融合了 AI 技术,可以为你带来更清晰的音频体验。在 Windows 11 24H2 中,该功能不再局限于 Surface 设备,而是扩展到了更多 Windows 设备上,让更多用户能够享受到 AI 驱动的清晰通话效果。

语音清晰度功能核心优势

  • 智能噪音消除:能有效过滤背景噪音,确保通话时声音清晰。
  • 回声消除:精准降低音频回声,提升通话质量。
  • 实时混响降低:在视频或语音通话及录音时,实时降低混响,让声音更加纯净自然。
  • 游戏体验优化:显著提升在线游戏时的语音质量,让你畅享更沉浸的游戏体验。
  • 深度噪音抑制:应用程序可以轻松调用此功能,确保在线会议时的语音清晰度。
  • 自动化处理:支持 NPU 的硬件和应用程序会自动开启此功能,无需手动操作。

在支持的应用程序和搭载 NPU 的硬件上,语音清晰度功能会自动开始工作,用户无需也无法手动控制。

05. 自动超级分辨率:AI 驱动的游戏画质革命

Windows 11 24H2 中的自动超级分辨率(Auto Super Resolution, SR)功能,标志着微软在游戏体验优化方面的一大飞跃。它通过 AI 技术来显著提升游戏画质和性能,为玩家带来更加流畅、沉浸的游戏世界。

在「设置」中启用自动超级分辨率
在「设置」中启用自动超级分辨率

自动超级分辨率功能核心优势

  • AI 增强画质:依托强大的 AI 技术,智能提升游戏分辨率和视觉效果,让画面更加细腻逼真。
  • 性能优化:在提升画质的同时有效改善游戏帧率,带来更流畅的游戏体验。
  • 行业合作:微软携手 Nvidia、AMD 和 Intel 共同研发了 DirectSR API,为下一代游戏集成 SR 技术奠定基础。
  • NPU 驱动:不同于传统的 GPU 驱动,自动超级分辨率利用设备的 NPU 进行处理,带来更高效的运算能力。
  • 易于控制:你可在 Windows 11 的「系统」>「屏幕」>「显示卡」设置中轻松找到并启用此功能。

自动超级分辨率的工作原理与业界知名的 AMD FSR 和 Nvidia DLSS 技术类似,但它采用了 NPU 进行运算,而非传统的 GPU。这种创新方法不仅能带来更高效的处理,还能为不同硬件配置的用户提供画质提升的机会,打破了硬件性能对游戏体验的限制。

目前仅适用于搭载 Qualcomm Snapdragon X 系列处理器的 Copilot+ PC。

06. 「画图」中的图像创建器:AI 辅助创意绘画的新纪元

Windows 11 24H2 为经典的「画图」应用带来了革命性的「图像创建器」功能。这一 AI 驱动的工具将彻底改变你的绘画体验,为创意过程注入新的活力。

图像创建器实时生成
图像创建器实时生成

图像创建器功能核心优势

  • 智能扫描:能够分析现有的草图或绘画,而不是从空白画布开始创建 AI 图像,让创作更加自然顺畅。
  • 协作创作:基于你现有的绘画或草图进行创作,激发灵感,推动创作过程向前迈进。
  • 高度可定制:可以根据你自己的想法完善、编辑和改进 AI 生成的内容,拥有完全掌控权。
  • 扩散算法:采用先进的基于扩散的算法,即使是简单的线条或涂鸦,也能生成高质量图像。
  • 风格调整:提供多种样式选项,方便调整图像风格,使其更加写实或更具表现力。
  • 实时生成:能够在绘制时实时生成图像,反应速度快,创作效率高。

对于艺术爱好者、设计师和创意工作者来说,「图像创建器」的出现无疑是个令人振奋的消息。它不仅可以快速实现创意构想,还能激发新的灵感,推动创作过程向前迈进。即使绘画技能比较拉胯的用户,也能创造出令人惊叹的作品。

「图像创建器」是 Copilot+ PC 专属功能。它与云端的「Image Creator」功能不同,利用设备的 NPU 在本地处理图像生成。这不仅可以确保用户隐私,还能提供更快的响应速度和更稳定的体验。

07. 「照片」中的 Restyle 图像功能:AI 驱动的图片风格革新

Windows 11 24H2 为「照片」应用带来了「Restyle 图像」功能,这将彻底改变你编辑和创作图片的方式,为照片赋予全新的艺术风格和创意表达。

Restyle 图像处理
Restyle 图像处理

Restyle 图像功能核心优势

  • AI 技术驱动:依托设备的 NPU 和强大的 AI 算法进行图像处理,实现高效、智能的图片风格转换。
  • 风格转换:能够彻底改变照片的风格,从复古怀旧到现代时尚,自由切换,打造多元化的视觉效果,宛如为照片增添了全新的艺术滤镜。
  • 文本引导创作:支持使用文本提示来创建全新的背景,为照片注入新的创意元素,激发无限的想象力和表达力。
  • 本地处理:所有操作都在设备本地完成,无需上传云端,确保用户隐私安全,并提供更快的处理速度,满足你对效率和隐私的双重需求。
  • 高度定制:可以根据个人喜好和需求自由调整图片风格的强度和细节,打造专属的个性化视觉效果。

通过「Restyle 图像」功能,无论你是专业摄影师、平面设计师,还是普通用户,都能轻松实现复杂的图像编辑和创作效果,打造令人惊艳的视觉作品。

「Restyle 图像」是 Copilot+ PC 专属功能。它的本地处理特性不仅确保了用户隐私,还提供了更快的处理速度,对于需要快速批量编辑的专业用户来说尤为重要。

08. Copilot 应用:全新升级的独立 AI 助手

Windows 11 24H2 已将 Copilot 功能独立抽出,成为了全新的 AI 助手,提供更灵活、更强大的 AI 辅助体验,助力你更高效地完成工作和任务。

Copilot 应用
Copilot 应用

Copilot 应用核心优势

  • 独立应用:Copilot 现已成为一款独立应用,可像其他应用程序一样进行管理和使用。
  • 便捷访问:你可以自由地将它固定在任务栏上或取消固定,方便快速访问。
  • 灵活操作:支持调整界面大小和在屏幕上自由移动,提供更加灵活的使用体验。
  • 全新界面:采用简洁明了的界面设计,并借鉴了 OpenAI ChatGPT 的设计风格,提供更直观的用户体验。
  • 强大模型:微软计划将 Copilot 升级到 OpenAI 最新的 GPT-4o 模型。它能够理解和处理多种格式的信息,包括文本、图像和音频,能为 Copilot 带来更强大的功能和更智能的 AI 辅助体验。
  • 跨版本支持:你还可以在早期 Windows 11 和 Windows 10 上安装 Copilot 应用

新的 Copilot 应用不仅提供了更灵活的使用方式,还通过更先进的 AI 模型和增强的交互能力,大大提升了实用性和智能水平,能为你带来更加个性化、高效的 AI 辅助体验。

其它坊间传闻

AI 深度壁纸:桌面体验的创新突破

AI 深度壁纸
AI 深度壁纸

微软正在酝酿一项名为「AI 深度壁纸」的全新功能,能够为 Windows 11 用户带来颠覆性的桌面视觉体验。这项创新基于深度学习技术,能够通过创造逼真的三维视觉效果,让静态桌面壁纸更加生动、充满活力,并融入用户交互之中。

  • 视差效果:随着光标的移动和用户交互,桌面背景图像会产生轻微的移动和视差效果,营造出更加逼真的三维空间感和沉浸感。
  • 动态响应:壁纸能够根据时间、天气、音乐等环境因素实时变化,甚至与用户的操作进行互动,为你提供更加个性化和身临其境的桌面体验。
  • AI 驱动:依托强大的 AI 技术,AI 深度壁纸能够根据你的兴趣、喜好和习惯,自动生成或推荐个性化的壁纸内容,打造独一无二的桌面视觉效果。

该功能尚未在最新的 Windows 11 Insider 版本中出现,但根据可靠消息,它有望在今年晚些时候随 Windows 11 24H2 正式版发布。

「记事本」中的 AI 协作:文字处理的智能助手

「记事本」中的 AI 协作
「记事本」中的 AI 协作

Windows 11 24H2 将为「记事本」引入 AI 协作写作功能,为你提供更加高效、智能的文字处理体验。

  • 内容重写:利用 AI 技术自动重新组织和表达文本内容,帮助你快速理清思路和优化表达。
  • 调整格式:快速自动调整文本格式,如字体、大小、对齐方式等,提高排版效率。
  • 调整语气:根据你的需求,自动调整文本的语气和风格,让文章更加正式、严谨或生动、活泼。
  • 长度控制:智能调整段落长度,让文章结构更加合理,避免冗长或过于简短的情况。
  • Copilot 解释:你还可以通过右键菜单中的「Explain with Copilot」选项,对选定的文本内容进行解释和说明。

该功能可能会以白名单的形式逐步向用户开放,并有可能限制每月使用次数,以控制资源使用。

赞(1) 赞赏

评论 抢沙发

微信赞赏