Newest papers

Measuring the Verifier's Floor: How Much Apparent Rare-Word Text-to-Speech Error Is ASR Error?

Kirill Borodin, Vasilii Kudryavtsev, Nikita Vasiliev, Grach Mkrtchian · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31470 · open-access PDF

Vietnamese

Text-to-speech (TTS) thường được đánh giá bằng cách chuyển đổi đầu ra của nó bằng hệ thống nhận dạng tự động (ASR), vì vậy tỷ lệ lỗi từ cũng đếm lỗi nhận dạng. Chúng tôi đo lường những lỗi này trên các bản ghi của con người của các câu thử nghiệm. Trên LibriSpeech và FLEURS, bộ nhận dạng đánh giá bỏ lỡ 33-67% từ rất hiếm ngay cả trong ngôn ngữ của con người, và cả ba bộ nhận dạng bỏ lỡ 22-42%. Kiểm tra mỗi từ với hai gia đình nhận dạng khác làm giảm lỗi TTS rõ ràng trên các từ mà ít nhất một bộ nhận dạng nghe hai đến ba lần (rất hiếm từ LibriSpeech: từ 10-13% đến 3-5%), nhưng rất hiếm

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-speech (TTS) is usually evaluated by transcribing its output with an automatic speech recognition (ASR) system, so the word error rate also counts recognizer errors. We measure these errors on human recordings of the test sentences. On LibriSpeech and FLEURS, the evaluation recognizer misses 33-67% of very rare words even in human speech, and all three recognizers miss 22-42%. Checking every word with two more recognizer families lowers the apparent TTS error on words that at least one recognizer hears two- to three-fold (very rare LibriSpeech words: from 10-13% to 3-5%), yet very rare

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange