Voz

Ispirazione

Idee da costruire con Voz. Copia un prompt nel tuo coding agent e parti.

Cosa fa il modello

• Inizi delle parole entro 83 ms e fini entro 95 ms da un allineatore forzato, in media, con risoluzione di frame di 80 ms.
• 10 minuti di audio in 2 s su un iPhone 17 Pro, 1,2 s su un iPhone 18 Pro e 2,1 s su un iPhone 15 Pro. Su un M3 Ultra, 0,8 s a 762x rispetto al tempo reale. Le singole clip brevi vanno a 50-62x, perché ogni clip paga per una finestra piena di 15 s.
• Tasso di errore per parola del 7,40% mediato su sei set dell'Open ASR Leaderboard (Whisper large-v3-turbo: 7,00%), 2,83% su mezz'ora di narrazione (Whisper: 2,72%), 11,84% sulle riunioni AMI (Whisper: 13,87%).
• L'intero grafo gira sul Neural Engine senza fallback su CPU o GPU; la memoria di picco non cresce con la durata della registrazione.
• 25 lingue: bulgaro, croato, ceco, danese, olandese, inglese, estone, finlandese, francese, tedesco, greco, ungherese, italiano, lettone, lituano, maltese, polacco, portoghese, rumeno, russo, slovacco, sloveno, spagnolo, svedese e ucraino.
• 467 MB su disco, scaricati su richiesta e tenuti in cache; il primo caricamento dopo un download richiede 20 s una volta sola mentre Core ML si specializza, poi 0,2 s. Scaricalo durante l'onboarding.
• Audio mono a qualsiasi frequenza di campionamento; l'SDK ricampiona e fa il downmix. L'audio più lungo viene tagliato in finestre da 15 s nelle pause e ricucito sulle parole su cui le finestre vicine concordano.
• Costruito sul Parakeet TDT 0.6B v3 di NVIDIA, rilasciato sotto CC BY 4.0. I pesi sono invariati; la conversione, la compressione e il runtime per il Neural Engine sono nostri.

App di esempio

brew tap desert-ant-labs/tap
brew install --cask clipper

Per iniziare

Aggiungi riconoscimento vocale alla tua app iOS or macOS or web in poche righe di codice. Documentazione di Voz.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

import Voz

let voz = try await Voz()
let result = try await voz.transcribe(url)
result.text                     // the transcript
result.words.first?.start       // 80ms resolution
result.realtimeFactor           // seconds of audio per second of wall clock

Add Voz from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: da voce a testo on-device sul Neural Engine.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

npm i @desert-ant-labs/voz onnxruntime-web

import { Voz } from "@desert-ant-labs/voz";

const voz = await Voz.load();
const result = await voz.transcribe(file);   // File, Blob, ArrayBuffer, or samples
result.text;
result.words[0];        // { text, start, end }
result.realtimeFactor;

Add Voz from Desert Ant Labs to this JavaScript / TypeScript project (Web, Node.js).

What it does: da voce a testo on-device sul Neural Engine.

SDK:

JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
npm i @desert-ant-labs/voz onnxruntime-web

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Specifiche

Velocità

10 minuti di audio in 0,8 s a 2,4 s su Mac e iPhone, 251x a 762x rispetto al tempo reale; tempi per dispositivo in Prestazioni

Accuratezza

7,40% di WER su sei set dell'Open ASR Leaderboard; 2,83% sul formato lungo; errore medio di 83 ms sugli inizi delle parole, 95 ms sulle fini

Dimensione sul dispositivo

467 MB di Core ML compilato, scaricato su richiesta

Lingue

25 lingue europee; accuratezza dal 3,31% (italiano) al 39,46% (greco) su parlato letto

Modello

NVIDIA Parakeet TDT 0.6B v3 (CC BY 4.0), convertito in Core ML e compresso da Desert Ant Labs: frontend log-mel, encoder conformer, decoder transducer, tutto sul Neural Engine

Piattaforme

iOS, iPadOS, macOS, tvOS, visionOS (Core ML); browser e Node (WebAssembly, ONNX Runtime)

FAQ

Risorse

• Documentazione di Voz
• Pesi del modello su Hugging Face
• Modelli Swift
• Modelli JS