NVIDIAのNemotron 3.5で議事録が変わる!話者分離も1つで完結

私も普段は、スマートフォンのGalaxy AIで録音を文字にしています。議事録や取材の録音は、聞き直す手間がかかる割に後回しにされがちです。そこに、音声を文字にする新しい選択肢が出てきました。NVIDIAが公開した「Nemotron 3.5 Transcribe」は、商用利用できるオープンなモデルとして、文字起こしの選び方を変えるかもしれない一本です。

目次

1. 核心をひとことで

一言で言うと、文字起こしと話者の区別を1つのモデルで扱える、商用利用可能なオープンモデルが出てきたということです。発表によると、文字起こしは40言語、話者分離は13言語に対応し、最大1時間の音声を処理できます。ライセンスは「OpenMDW-1.1」で、無償での商用利用も可能です。

Hugging Faceが公開している音声認識の評価(Open ASR)では、英語の平均単語誤り率(WER)が5.33%、7言語で4.62%、長文で10.98%でした。いずれも競合のオープンウェイトモデルの中で最も良い結果だとされています。数字だけ見ると、どれも誤りがそれなりに残っているように見えます。ただ実際の使い勝手は、録音の質や話者の入れ替わりの多さで大きく変わるので、自分の録音で比べて初めて差が分かるものだと私は見ています。

PR
「王者性能」GEEKOM A7 ミニ PC

「王者性能」GEEKOM A7 ミニ PC

AMD Ryzen 7730U搭載 AI Agent・32GB 大メモリ・128GB 拡張でローカル LLM 対応|USB4×2|4 画面 8K|3 年保証|SD カードスロット|ケンジントンロック|在宅・クリエイター・ゲーミング向け mini pc 32GB+500GB

Amazonで見る

私は、社内や顧客との打ち合わせを、クラウドに送るのは少し抵抗があります。そのため、音声を外に出さずに手元で動かせるかどうかが、今回いちばん気になる点です。

2. 仕組みと歴史的経緯

音声認識は、音を短く区切って文字の候補を並べ、前後のつながりから自然な文を選ぶ流れで動くのが基本です。2022年にOpenAIが公開したWhisperは、多言語に対応し、手元のパソコンでも動かせるオープンモデルとして広く使われてきました。Whisperは30秒ごとの窓で音声を区切って処理するのが基本の設計です。

話者の区別は、長く別のしくみとして扱われてきました。文字起こしのエンジンと話者分離のエンジンを組み合わせて使うことが多く、その継ぎ目で誤りが出やすかったのが実情です。今回のモデルは、文字起こしと話者分離を1つのモデルで扱う点が違います。総パラメータ数は340億ですが、動くときに使われるのは43億ほどの一部だけという混合エキスパート(MoE)型の構成です。継ぎ目を減らし、長い録音の文脈を保つ狙いがあると考えられます。

3. 競合との比較

従来の定番であるWhisperと、今回のNemotron 3.5 Transcribeを、公開情報で確かめられた範囲で並べました。

項目Nemotron 3.5 TranscribeWhisper(OpenAI、2022年公開)
文字起こしの対応言語40言語多言語に対応
話者分離13言語に対応(同じモデル内)本体には機能がなく、別のしくみと組み合わせて使う
音声の区切り方最大1時間まで一度に処理30秒単位の窓で処理(基本の設計)
英語の平均WER(Open ASR)5.33%公開情報なし
7言語の平均WER(Open ASR)4.62%公開情報なし
ライセンスOpenMDW-1.1、商用利用可MITライセンス、商用利用可

表で見ると、話者分離の対応範囲と商用利用の条件は、Nemotron側がはっきり示しています。一方で精度の数字は、Whisperの値が今回確認した資料に載っていないため、直接の比較はできていません。話者の区別そのものには、私はある程度満足しています。だからこそ、精度の差より、どこで処理されるかを重視したいと考えています。

4. シュナちゃんのコーナー🐾

  • Q. 文字起こしって、結局なにが変わるの?
    A. 音声を外に送らずに、手元や社内のサーバーで文字にできる選択肢が増えるのが大きいんだワン。話す人の区別もまとめてできるなら、議事録づくりがぐっと楽になるかもしれないワン。
  • Q. 精度はどのくらい信じていいワン?
    A. 公開された数字は、いい線をいっているんだワン。でも僕なら、まず自分の録音で試してから決めたいワン!

5. 今後どう向き合うか

社内の会議や取材の音声を扱う人は、まず社外に出せない録音がどれくらいあるかを洗い出すと判断しやすくなります。そのうえで文字起こしを任せたい場面を2つか3つに絞り、同じ音声で既存のツールと出力を見比べるのが現実的だと思います。

ローカルで動かすには、GPUのメモリ量が条件になります。発表では、NVIDIA RTX PRO 6000 Blackwell Server EditionのGPUを1基積んだマシンで、100時間分の音声を3分未満で処理できたとされています。ただ、これは高性能なGPUを前提にした数字なので、手元のパソコンで同じ速さが出るとは限りません。

私は、性能よりもセキュリティーが気になります。それでも、外部に送らずに社内で扱えるモデルが商用利用できる形で出たことは、社内データを扱う現場の選択肢を広げるのではないかと思います。

編集後記

一番引っかかったのは、ローカル運用の話でした。会議の録音を外に出さずに文字にできるなら、社内での使い方が現実味を帯びてきます。

正直なところ、文字起こしは外部のクラウドに任せるものだと考えていました。だからこそ、手元で動かせる選択肢が出てきたことは見方を少し変えるきっかけになりました。

次に見ていきたいのは、編集の方法と日本語での精度です。日本語の会議でどこまで実用になるかは、公式の続報や検証記事を待ちたいところです。

PR

この記事が気に入ったら
フォローしてね!

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次