音声認識をそのまま出力したテキストは読みにくいものです。文は細切れに届き、「えー」や「あー」があちこちに入り、考えている間に同じ言葉が繰り返されます。ヘッドフォンを使わずに通話すると、相手の発言の半分ほどが自分の名前の下にもう一度現れることもあります。Poffleは、録音した会議の文字起こしをMac上で整えます。誰の発言内容も変えず、認識されたとおりの正確な言葉づかいにもワンクリックで戻せます。
話者ごとの段落
会議を開いて「文字起こし」を選択します。Poffleは、同じ話者の連続した発言を1つの段落にまとめます。まとめるのは発言の間の間隔が4秒以内の場合で、1段落は最長90秒です。話者が替わるか、それより長い間があると、新しい段落になります。
各文は、それぞれのタイミングを保持しています。文をクリックするとそこから録音を再生でき、段落の右上にある時刻をクリックすると段落の最初から再生できます。再生中の文はハイライト表示されるので、読みながら聞けます。
「整形済み」と「原文」
文字起こしの上にあるスイッチで、「整形済み」と「原文」を切り替えられます。デフォルトは「整形済み」で、「つなぎ言葉と繰り返しを削除しました。」と表示されます。「原文」では、「認識されたとおりの内容です。」と表示されたテキストが表示されます。選んだ表示は、次に開く会議でも維持されます。
「整形済み」で削除されるもの：
- 「um」「uh」「hmm」のような、単独のつなぎ言葉。Poffleが対応する16の言語にはそれぞれ専用のリストがあり、日本語では「えーと」「あのー」「えー」など、ほかの言語では「øh」「euh」「ehm」「嗯」などが対象になります。「えー」や「あの」のように普通の言葉としても使われるものは、「あの、資料は」のように読点が続く場合など、明らかにつなぎ言葉として使われているときだけ削除されます。
- 「それで、それで、それでいいと思います」のように、すぐに繰り返された単語や短いフレーズ。
そのうえで、削除によって崩れた句読点や大文字を整えます。「like」「so」「you know」のように意味を持ちうる言葉や、「that that」「had had」のような正しい繰り返し、数字、略語はそのまま残します。内容語の繰り返しは、3回以上続いた場合だけまとめられます。日本語では、「それで、それで」のように読点をはさんで繰り返された2～6文字の語句もまとめられます。単語を重ねることが文法の一部である韓国語、トルコ語、ベトナム語では、「yavaş yavaş」のような繰り返しは残り、代名詞や接続詞などの機能語の重複だけがまとめられます。それ以外の文字起こしの言語では、「uh」「uhm」「hmm」だけが削除され（言語によっては「um」や「er」が本物の単語だからです）、まとめられるのは繰り返されたフレーズだけです。
「整形済み」は表示の切り替えで、編集ではありません。保存された文字起こしには認識されたとおりの言葉づかいが残っており、「文字起こしをコピー」とMarkdownの書き出しではそちらが使われます。段落をControlキーを押しながらクリックして表示されるメニューの「この部分をコピー」では、画面に表示されている言葉づかいがコピーされます。
スピーカーからのエコー
Macのスピーカーで通話すると、マイクにも相手の声が入ります。補正しなければ、相手の言葉が2回表示されることになります。1回はMacのオーディオから、もう1回は「自分」の発言としてです。
両方のトラックの文字起こしが終わると、Poffleは2つを比較します。4語以上のマイクの発言は、その語の65%以上が1.5秒以内にMacのオーディオに同じ順序で現れ、かつ発言の半分以上の時間で両者が重なっている場合に除外されます。2語か3語の発言は、完全に一致し、長さの80%にわたって重なっている必要があります。除外が行われると、会議に「マイクが拾った会議の音声は、文字起こしから除外されました。ヘッドフォンを使うと、これを防げます。」と表示されます。
これはエコーキャンセルではありません。1語だけのエコー、部分的なエコー、自分の声と混ざったエコーは残ることがあります。誰かが言ったばかりの言葉を少し遅れてそのまま繰り返して答えた場合、その返事は残ります。Macのオーディオ側にあるその言葉は文字起こしに残るので、相手の発言が失われることはありません。確実な解決策はヘッドフォンです。そうすれば、マイクには自分の声だけが入ります。
話者に名前を付ける
マイクの音声には「自分」というラベルが付きます。会議のあと、PoffleはこのMac上でMacのオーディオに含まれる声を分け、「話者1」「話者2」のようにラベルを付けます。録音がカレンダーの予定とリンクしている場合は、参加者の人数が上限になるため、1人の声が2人の話者に分かれてしまうことが少なくなります。
- 話者の段落の上にある名前をクリックします。
- 「このカレンダーの予定から」で参加者を選ぶか、「名前を入力…」を選択します。
- いくつかの段落を再生して確認します。名前は、この会議内のその話者のすべての段落に適用されます。
アクションの担当者も名前の変更に従うので、メモの「話者2」は選んだ名前に変わります。話者の分離は確率的な処理です。重なった発言やごく短い発言は、推測した人物に割り当てられるのではなく、未割り当てのまま残ることがあります。また、Poffleが参加者リストから誰の声かを推測することはありません。マイクが拾った人は、同じ部屋にいるほかの人も含めて、すべて「自分」としてラベル付けされます。
このMacで使える言語
Poffleのインターフェイスは16の言語に対応しています。これらは、いずれもMac上で会議の文字起こしと要約ができる言語として選ばれています。英語、デンマーク語、オランダ語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ノルウェー語、ポルトガル語、スペイン語、スウェーデン語、トルコ語、ベトナム語、簡体字中国語、繁体字中国語です。
ほとんどの言語では、会議のような長時間の録音向けにAppleが開発したオンデバイスのモデル、SpeechTranscriberを使います。デンマーク語、オランダ語、ノルウェー語、スウェーデン語、トルコ語、ベトナム語では、代わりにAppleのオンデバイスの音声入力モデルであるDictationTranscriberを使います。こちらも単語ごとのタイミングが得られるため、再生や段落の仕組みは同じです。ただし、これらの言語では句読点が少なめになり、文がつながって見えることがあるので、名前や数字は特に注意して確認してください。
録音を始める前に、「設定」＞「音声」＞「文字起こし」＞「言語」を会議で話される言語に設定します。「システムの言語」を選ぶと、Macの設定に従います。各言語は初めて使うときに一度だけダウンロードされ、その後はオフラインで使えます。2つの言語が使われる会議は選択した言語で文字起こしされるため、もう一方の言語はうまく認識されません。
きれいな録音から始める
- 通話ではヘッドフォンを使います。エコーの主な原因がなくなります。
- 通話アプリとMacで同じマイクを使います。PoffleはMacのデフォルトの入力を録音します。
- 音楽や通知音を消します。Poffleは通話だけでなく、Macのすべてのオーディオを録音します。
- 最初に名前を呼ぶときははっきり発音します。あとで話者を割り当てるときに役立ちます。
- 会議室では全員の声が届く場所にMacを置き、録音することを全員に伝えます。
文字起こしがきれいなほど、会議メモの質が上がり、会議について質問するときの回答もよくなります。その背景にある音声技術については、AppleのSpeechAnalyzerのセッションで説明されています。Poffleをダウンロードして、自分の録音で「整形済み」と「原文」を比べてみてください。
参考資料
このガイドで参照した公式ドキュメントと資料です。