原始的语音识别结果很难读。句子支离破碎,语气词随处可见,有人边想边说时一个词会重复好几遍;如果通话时没戴耳机,其他人说的话还有一半会在你的名字下再出现一次。Poffle 会在你的 Mac 上整理会议录音的听写文本,不改变任何人说过的话,而且只需点按一下就能看到识别出的原始措辞。

按说话人分段

打开一场会议并选择“听写文本”。Poffle 会把同一说话人的连续片段合并成一个段落,只要片段之间的停顿不超过 4 秒,每段最长 90 秒。换了说话人,或者停顿更长,就会开始新的段落。

每个句子都保留自己的时间信息。点按某个句子,即可从那里开始播放录音;点按段落右上角的时间,则从段首开始播放。正在播放的句子会高亮显示,方便你边听边读。

Poffle 中“整理版”视图的听写文本,标注为“已移除语气词和重复内容。”,包含 Ana Ruiz、“你”和 Ben Ito 的段落,每段都有开始时间,从 0:02 到 0:46。
每段发言一个段落,每段都有一个可以播放的时间。

“整理版”还是“原文”

听写文本上方有一个切换开关,提供“整理版”和“原文”两个选项。“整理版”是默认选项,标注为“已移除语气词和重复内容。”;“原文”显示的文字“与识别结果完全一致。”Poffle 会记住你的选择,用于你下次打开的会议。

“整理版”会移除:

  • 单独出现的语气词,例如“um”“uh”和“hmm”。Poffle 支持的 16 种语言都有各自的列表:中文包括“嗯”“呃”“额”“那个”“就是说”,其他语言包括“øh”“euh”“ehm”“えーと”这样的语气词。中文语气词只有在分句开头、后面跟着逗号或省略号时才会移除,例如“那个,我觉得可以”里的“那个”;“那个文件”中的“那个”则会保留。
  • 紧接着重复出现的单词或短语,例如“我们,我们,我们应该”。

然后,它会修复这些移除操作留下的标点和大小写问题。“整理版”会保留可能带有含义的词,例如“like”“so”和“you know”,也会保留真正的重复(例如“that that”或“had had”)、数字和缩写。重复的实词只有连续出现三次或以上时才会合并。中文还会合并隔着逗号重复的两到六个字,例如“主要是,主要是”。在韩语、土耳其语和越南语中,叠词是语法的一部分,例如“yavaş yavaş”,因此只合并重复的代词、连词等虚词。在其他所有转写语言中,只会移除“uh”“uhm”和“hmm”,因为“um”和“er”在某些语言中是真正的单词,而且只合并重复的短语。

“整理版”只是一种显示方式,而不是编辑。存储的听写文本仍然保留识别出的原始措辞,“拷贝听写文本”和 Markdown 导出使用的都是它。段落的 Control-点按菜单中的“拷贝片段”则会拷贝你看到的措辞。

来自扬声器的回声

如果你用 Mac 的扬声器接听通话,你的麦克风也会收录其他人的声音。如果不加处理,他们的话就会出现两次:一次来自 Mac 音频,一次出现在“你”下面。

两条音轨都转写完成后,Poffle 会对它们进行比较。对于四个词或以上的麦克风片段,如果其中至少 65% 的词在 1.5 秒内以相同顺序出现在 Mac 音频中,并且两者在时间上至少重叠该片段的一半,这个片段就会被排除。两三个词的片段则必须完全一致,并且重叠其长度的 80%。发生这种情况时,会议会显示“麦克风收录的会议音频已从听写文本中排除。使用耳机可避免这种情况。”

这并不是回声消除。单个词语、部分回声以及与你自己的声音混在一起的回声仍可能保留。如果你稍后用别人刚说过的同样的话来回答,你的回答会被保留。Mac 音频中的那份原话也会留在听写文本中,所以对方说过的话一句都不会丢。可靠的解决办法是戴耳机:这样麦克风就只能听到你。

给说话人命名

你的麦克风标注为“你”。会议结束后,Poffle 会在这台 Mac 上分离 Mac 音频中的不同声音,并将它们标注为“说话人 1”、“说话人 2”等等。当录音关联到日历日程时,参与者人数会作为上限,所以同一个人的声音不太容易被拆成两个说话人。

  1. 点按某位说话人段落上方的姓名。
  2. 在“来自此日程”下选择一位参与者,或选取“输入名称…”。
  3. 播放几个段落核对一下。这个名称会应用到这场会议中该说话人的所有段落。

待办事项的负责人会随改名而更新,所以纪要中的“说话人 2”会变成你选择的名字。说话人分离基于概率。重叠或非常简短的语音可能保持未分配状态,而不会被猜测分配给某个人;Poffle 也从不根据参与者列表去推断某人是谁。你的麦克风收录到的所有人,包括和你同在一个房间里的其他人,都会标注为“你”。

这台 Mac 上可用的语言

Poffle 的界面提供 16 种语言,之所以选择这些语言,是因为它们都能在 Mac 上完成会议的转写和摘要:英语、丹麦语、荷兰语、法语、德语、意大利语、日语、韩语、挪威语、葡萄牙语、西班牙语、瑞典语、土耳其语、越南语、简体中文和繁体中文。

其中大多数语言使用 Apple 的 SpeechTranscriber,这是 Apple 为会议等长时间录音打造的设备端模型。丹麦语、荷兰语、挪威语、瑞典语、土耳其语和越南语则改用 Apple 的设备端听写模型 DictationTranscriber。它同样提供逐词的时间信息,所以播放和分段的方式都一样。这些语言的标点会少一些,句子可能连成一片,因此请格外仔细地核对姓名和数字。

录音前,请将“设置”>“语音”>“转写”>“语言”设为会议中所说的语言。“系统语言”会跟随你的 Mac。每种语言只需在第一次使用时下载一次,之后即可离线使用。使用两种语言的会议会按所选语言转写,所以另一种语言的效果会很差。

从一段干净的录音开始

  • 通话时戴上耳机。这能消除回声的主要来源。
  • 在通话 App 和 Mac 上使用同一个麦克风。Poffle 录制的是 Mac 的默认输入设备。
  • 将音乐和通知声音静音。Poffle 会录制 Mac 的所有音频,而不只是通话。
  • 第一次提到名字时说清楚。之后分配说话人时会用得上。
  • 在会议室里,把 Mac 放在能听到每个人的位置,并告知所有人你正在录音。

听写文本越干净,会议纪要就越好,你就会议提问时得到的回答也越好。Apple 在其 SpeechAnalyzer 讲座中介绍了背后的语音技术。你可以下载 Poffle,在自己的录音上比较“整理版”和“原文”。

参考资料

本指南参考的官方文档和资料。

  1. Apple 开发者:SpeechTranscriber
  2. Apple 开发者:DictationTranscriber
  3. Apple 开发者:Bring advanced speech-to-text to your app with SpeechAnalyzer
← 返回博客