Voz
Transcreva 10 minutos de áudio em 2 s em um iPhone, 14x mais rápido que o Whisper, com marcações de tempo precisas por palavra.
Transcreva 10 minutos em 2 segundos.
Transcreva um arquivo de áudio ou vídeo com o Voz e obtenha tempos de início e fim precisos para cada palavra. 10 minutos levam 2 s em um iPhone, no dispositivo, então nada é enviado e nada é cobrado por minuto.
No Apple silicon, o modelo roda no Neural Engine, então transcrever é rápido como um raio e consome menos energia. Em um Mac, um catálogo antigo de podcasts, entrevistas e aulas passa inteiro em uma só passagem, e nada é enviado.
As marcações são precisas o bastante para editar em cima delas. Os inícios de palavra caem a até 83 ms de um alinhador forçado e os finais a até 95 ms, para uma edição precisa baseada em transcrição. O Voz é uma versão do Parakeet TDT 0.6B v3 da NVIDIA otimizada para o Apple Neural Engine, com acurácia comparável à do Whisper large-v3-turbo na maior parte dos áudios, e um download de apenas 467 MB.
14x mais rápido que o Whisper.
10 minutos de narração em 2 s em um iPhone 17 Pro, 1,2 s em um iPhone 18 Pro e 2,1 s em um iPhone 15 Pro. Em um M3 Ultra, 14x mais rápido que o whisper.cpp large-v3-turbo no mesmo podcast de 10 minutos, com uma taxa de erro de palavra de 7,40% em seis conjuntos públicos em inglês onde o Whisper marca 7,00%.
Tempo para transcrever 10 minutos de áudio.
| Dispositivo | Tempo | Tempo real |
|---|---|---|
| M3 Ultra | 0,8 s | 762x |
| iPhone 18 Pro | 1,2 s | 492x |
| M4 Max | 1,3 s | 453x |
| iPhone 17 Pro | 1,8 s | 334x |
| iPhone 15 Pro | 2,1 s | 283x |
| M1 Mac mini | 2,4 s | 251x |
Taxa de erro de palavra nos conjuntos do Open ASR Leaderboard, o Voz com o seu próprio normalizador de texto, os números do Whisper vindos do leaderboard
| Conjunto de dados | Voz | Whisper large-v3-turbo |
|---|---|---|
| LibriSpeech test-clean | 2,19% | 2,13% |
| LibriSpeech test-other | 3,86% | 3,70% |
| GigaSpeech | 9,70% | 8,47% |
| SPGISpeech | 3,86% | 2,79% |
| Earnings-22 | 12,97% | 11,07% |
| AMI | 11,84% | 13,87% |
| Average | 7,40% | 7,00% |
Leia a linha que corresponde ao seu áudio. Fala limpa e captada de perto fica em torno de 2% a 4% (LibriSpeech, SPGISpeech), podcasts e vídeo web em torno de 10% (GigaSpeech), e salas de reunião e chamadas telefônicas de 12% a 13% (AMI, Earnings-22), que é onde o modelo supera o Whisper. Os números por idioma, em 10 minutos de fala lida cada, estão no cartão do modelo, de 3,31% para o italiano a 39,46% para o grego. As medições no iPhone e a comparação com o whisper.cpp são execuções nossas e ainda não estão no cartão.
Casos de uso
Transcreva 10 minutos em 2 segundos.
Transcreva qualquer arquivo de áudio ou vídeo
Grave um podcast ou um vídeo e a transcrição completa fica pronta antes de a exportação terminar. Texto pesquisável com uma marcação de tempo em cada palavra, em qualquer um de 25 idiomas, sem sair do dispositivo.
Processe um acúmulo de gravações
Um acervo de entrevistas, aulas ou gravações de reuniões fica pesquisável em uma só passagem em um Mac. Cem horas passam em 20 minutos, e nada é enviado.
Corte em uma palavra
Cada palavra carrega um início e um fim, então um intervalo selecionado na transcrição é um corte em um editor de vídeo. Combine-o com o Clips para os shorts e com o Title para nomeá-los.
Inspiração
Ideias para construir com o Voz. Copie um prompt para o seu agente de código e comece.
Build a podcast player that transcribes every episode and makes it searchable, on the device.
Build a meeting recorder that hands you a timestamped transcript before you leave the room.
Turn voice memos into searchable, editable text notes, offline.
Generate SRT subtitles for any video file on the Mac.
Add captions to a video player that run on the device.
Build an interview app for journalists where sources never leave the phone.
Build a full podcast studio: transcribe, clip, and title on the device.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
O que o modelo faz
- Inícios de palavra a até 83 ms e finais a até 95 ms de um alinhador forçado, em média, com resolução de quadro de 80 ms.
- 10 minutos de áudio em 2 s em um iPhone 17 Pro, 1,2 s em um iPhone 18 Pro e 2,1 s em um iPhone 15 Pro. Em um M3 Ultra, 0,8 s a 762x o tempo real. Clipes curtos avulsos rodam de 50x a 62x, porque cada clipe paga por uma janela completa de 15 s.
- Taxa de erro de palavra de 7,40% na média de seis conjuntos do Open ASR Leaderboard (Whisper large-v3-turbo: 7,00%), 2,83% em meia hora de narração (Whisper: 2,72%), 11,84% em reuniões do AMI (Whisper: 13,87%).
- O grafo inteiro roda no Neural Engine, sem fallback para CPU ou GPU; o pico de memória não cresce com a duração da gravação.
- 25 idiomas: búlgaro, croata, tcheco, dinamarquês, holandês, inglês, estoniano, finlandês, francês, alemão, grego, húngaro, italiano, letão, lituano, maltês, polonês, português, romeno, russo, eslovaco, esloveno, espanhol, sueco e ucraniano.
- 467 MB em disco, baixado sob demanda e guardado em cache; o primeiro carregamento após um download leva 20 s uma vez, enquanto o Core ML se especializa, e depois 0,2 s. Baixe durante o onboarding.
- Áudio mono em qualquer taxa de amostragem; o SDK reamostra e faz o downmix. Áudios mais longos são cortados em janelas de 15 s nas pausas e unidos pelas palavras em que janelas vizinhas concordam.
- Construído sobre o Parakeet TDT 0.6B v3 da NVIDIA, publicado sob CC BY 4.0. Os pesos não foram alterados; a conversão, a compressão e o runtime para o Neural Engine são nossos.
App de exemplo
Clipper
Feito com Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPrimeiros passos
Adicione reconhecimento de fala ao seu app iOS or macOS or web em poucas linhas de código. Docs do Voz.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")import Voz
let voz = try await Voz()
let result = try await voz.transcribe(url)
result.text // the transcript
result.words.first?.start // 80ms resolution
result.realtimeFactor // seconds of audio per second of wall clockAdd Voz from Desert Ant Labs to this Swift project (iOS, macOS). What it does: fala em texto no dispositivo, no Neural Engine. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0") // target dependency .product(name: "Voz", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/voz/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
npm i @desert-ant-labs/voz onnxruntime-webimport { Voz } from "@desert-ant-labs/voz";
const voz = await Voz.load();
const result = await voz.transcribe(file); // File, Blob, ArrayBuffer, or samples
result.text;
result.words[0]; // { text, start, end }
result.realtimeFactor;Add Voz from Desert Ant Labs to this JavaScript / TypeScript project (Web, Node.js). What it does: fala em texto no dispositivo, no Neural Engine. SDK: JavaScript / TypeScript (Web, Node.js) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme npm i @desert-ant-labs/voz onnxruntime-web Reference: - Model page: https://desertant.com/models/voz/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificações
- Velocidade
- 10 minutos de áudio em 0,8 s a 2,4 s no Mac e no iPhone, 251x a 762x o tempo real; tempos por dispositivo em Desempenho.
- Acurácia
- 7,40% de WER em seis conjuntos do Open ASR Leaderboard; 2,83% em formato longo; erro médio de 83 ms nos inícios de palavra e 95 ms nos finais
- Tamanho no dispositivo
- 467 MB de Core ML compilado, baixado sob demanda
- Idiomas
- 25 idiomas europeus; acurácia de 3,31% (italiano) a 39,46% (grego) em fala lida
- Modelo
- NVIDIA Parakeet TDT 0.6B v3 (CC BY 4.0), convertido para Core ML e comprimido pela Desert Ant Labs: frontend log-mel, encoder conformer, decoder transducer, tudo no Neural Engine
- Plataformas
- iOS, iPadOS, macOS, tvOS, visionOS (Core ML); navegador e Node (WebAssembly, ONNX Runtime)
A velocidade do Neural Engine é só para Apple: no iOS, macOS, tvOS e visionOS o runtime aciona o Core ML para manter o grafo inteiro no Neural Engine. O navegador e o Node rodam o mesmo modelo no WebAssembly e no ONNX Runtime, mais devagar que o Core ML, e não há build nativa para Android.
O Voz não sabe qual dos seus 25 idiomas está ouvindo, e um idioma que ele não cobre produz bobagem com confiança, em vez de um erro, então combine-o com o Ear. A acurácia varia muito por idioma, os finais de palavra são a metade mais difícil das marcações, e 467 MB é um download de verdade durante o onboarding.
FAQ
O que é o Voz?
Transcreva 10 minutos de áudio em 2 s em um iPhone, 14x mais rápido que o Whisper, com marcações de tempo precisas por palavra.
O Voz roda no dispositivo?
Sim. O Voz roda no dispositivo, sem chamada a servidor, então os dados ficam com o usuário.
Quais plataformas o Voz suporta?
O Voz é distribuído como um SDK nativo no dispositivo para Swift, JavaScript / TypeScript.
Quanto custa o Voz?
Cada modelo é gratuito para até 100 mil dispositivos ativos mensais. A inferência é ilimitada. Fale conosco para licenças personalizadas.
Qual a precisão e a velocidade do Voz?
10 minutos de narração em 2 s em um iPhone 17 Pro, 1,2 s em um iPhone 18 Pro e 2,1 s em um iPhone 15 Pro. Em um M3 Ultra, 14x mais rápido que o whisper.cpp large-v3-turbo no mesmo podcast de 10 minutos, com uma taxa de erro de palavra de 7,40% em seis conjuntos públicos em inglês onde o Whisper marca 7,00%.
O Voz roda fora das plataformas Apple?
Sim, no navegador e no Node. O pacote JavaScript roda o mesmo modelo no WebAssembly e no ONNX Runtime, então um app web ou um servidor transcreve sem hardware da Apple, no Windows, no Linux ou até no navegador de um Android. No Apple silicon, o modelo inteiro roda no Neural Engine, que é onde ele é mais rápido. Uma build nativa para Android ainda não está pronta.