Skip to content

Latest commit

 

History

History
57 lines (46 loc) · 3.89 KB

File metadata and controls

57 lines (46 loc) · 3.89 KB
summary mac 应用中的语音唤醒和按住说话模式以及路由详细信息
read_when
处理语音唤醒或 PTT 路径

语音唤醒和按住说话

模式

  • 唤醒词模式(默认):始终在线的语音识别器等待触发令牌(swabbleTriggerWords)。匹配时,它开始捕获,显示带有部分文本的叠加,并在静音后自动发送。
  • 按住说话(右 Option 保留): 按住右 Option 键可立即捕获 — 无需触发。叠加在按住时出现;释放后最终确定并在短暂延迟后转发,以便您可以调整文本。

运行时行为(唤醒词)

  • 语音识别器位于 VoiceWakeRuntime 中。
  • 仅当唤醒词和下一个词之间存在有意义的停顿(约 0.55 秒的间隙)时,触发才会触发。叠加/chime 甚至可以在命令开始之前在停顿时开始。
  • 静音窗口:语音流动时为 2.0 秒,如果仅听到触发,则为 5.0 秒。
  • 硬停止:120 秒,以防止失控的会话。
  • 会话之间的去抖动:350 毫秒。
  • 叠加通过 VoiceWakeOverlayController 驱动,带有提交/易失性着色。
  • 发送后,识别器干净地重新启动以侦听下一个触发。

生命周期不变量

  • 如果启用了语音唤醒并授予权限,唤醒词识别器应该正在侦听(除非在显式按住说话捕获期间)。
  • 叠加可见性(包括通过 X 按钮手动关闭)绝不能阻止识别器恢复。
  • 叠加可见性(包括通过 X 按钮手动关闭)绝不能阻止识别器恢复。

粘性叠加故障模式(以前)

以前,如果叠加卡在可见状态并且您手动关闭它,语音唤醒可能看起来"死机",因为运行时的重启尝试可能被叠加可见性阻塞,并且没有安排后续重启。

加固:

  • 唤醒运行时重启不再被叠加可见性阻止。
  • 叠加关闭完成通过 VoiceSessionCoordinator 触发 VoiceWakeRuntime.refresh(...),因此手动 X 关闭始终恢复侦听。

按住说话细节

  • 热键检测使用右 Option 的全局 .flagsChanged 监视器(keyCode 61 + .option)。我们仅观察事件(无吞咽)。
  • 捕获管道位于 VoicePushToTalk 中:立即启动语音,将部分流式传输到叠加,并在释放时调用 VoiceWakeForwarder
  • 当按住说话开始时,我们会暂停唤醒词运行时以避免音频龙头决斗;它会在释放后自动重启。
  • 权限:需要麦克风 + 语音;查看事件需要辅助功能/输入监控批准。
  • 外部键盘:有些可能不会按预期暴露右 Option — 如果用户报告未命中,请提供回退快捷键。

用户可见设置

  • 语音唤醒切换:启用唤醒词运行时。
  • 按住 Cmd+Fn 说话: 启用按住说话监视器。在 macOS < 26 上禁用。
  • 语言和麦克风选择器、实时电平表、触发词表、测试器(仅本地;不转发)。
  • 麦克风选择器在设备断开连接时保留最后的选择,显示断开连接提示,并暂时回退到系统默认值,直到它返回。
  • 声音: 在触发检测和发送时 chime;默认为 macOS"Glass"系统声音。您可以为每个事件选择任何 NSSound 可加载的文件(例如 MP3/WAV/AIFF)或选择无声音

转发行为

  • 启用语音唤醒后,转录被转发到活动的网关/代理(应用其余部分使用的相同本地与远程模式)。
  • 回复发送到最后使用的主提供商(WhatsApp/Telegram/Discord/WebChat)。如果传递失败,则记录错误,并且运行仍然可以通过 WebChat/会话日志看到。

转发有效负载

  • VoiceWakeForwarder.prefixedTranscript(_:) 在发送前预置机器提示。在唤醒词和按住说话路径之间共享。

快速验证

  • 切换按住说话,按住 Cmd+Fn,说话,释放:叠加应显示部分然后发送。
  • 按住时,菜单栏耳朵应保持放大(使用 triggerVoiceEars(ttl:nil));它们在释放后下降。