Voz

Inspiration

Ideen zum Bauen mit Voz. Kopieren Sie einen Prompt in Ihren Coding-Agenten und los.

Was das Modell macht

• Wortanfänge innerhalb von 83 ms und Wortenden innerhalb von 95 ms eines Forced Aligners, im Mittel, bei 80 ms Frame-Auflösung.
• 10 Minuten Audio in 2 s auf einem iPhone 17 Pro, 1,2 s auf einem iPhone 18 Pro und 2,1 s auf einem iPhone 15 Pro. Auf einem M3 Ultra 0,8 s bei 762x Echtzeit. Einzelne kurze Clips laufen mit 50–62x, weil jeder Clip ein volles 15-s-Fenster bezahlt.
• 7,40 % Wortfehlerrate im Mittel über sechs Open-ASR-Leaderboard-Sätze (Whisper large-v3-turbo: 7,00 %), 2,83 % bei einer halben Stunde Erzählung (Whisper: 2,72 %), 11,84 % bei AMI-Meetings (Whisper: 13,87 %).
• Der gesamte Graph läuft auf der Neural Engine ohne CPU- oder GPU-Fallback; der Spitzenspeicher wächst nicht mit der Länge der Aufnahme.
• 25 Sprachen: Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Slowakisch, Slowenisch, Spanisch, Schwedisch und Ukrainisch.
• 467 MB auf der Festplatte, bei Bedarf geladen und im Cache gehalten; der erste Ladevorgang nach einem Download dauert einmalig 20 s, während Core ML spezialisiert, danach 0,2 s. Laden Sie beim Onboarding herunter.
• Mono-Audio in beliebiger Abtastrate; das SDK rechnet die Abtastrate um und mischt herunter. Längeres Audio wird an Pausen in 15-s-Fenster geschnitten und an den Wörtern zusammengefügt, auf die sich benachbarte Fenster einigen.
• Basiert auf NVIDIAs Parakeet TDT 0.6B v3, veröffentlicht unter CC BY 4.0. Die Gewichte sind unverändert; die Konvertierung, die Kompression und die Neural-Engine-Laufzeit stammen von uns.

Beispiel-App

brew tap desert-ant-labs/tap
brew install --cask clipper

Erste Schritte

Fügen Sie spracherkennung mit wenigen Zeilen Code zu Ihrer iOS or macOS or web-App hinzu. Voz Docs.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

import Voz

let voz = try await Voz()
let result = try await voz.transcribe(url)
result.text                     // the transcript
result.words.first?.start       // 80ms resolution
result.realtimeFactor           // seconds of audio per second of wall clock

Add Voz from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: On-Device-Sprache-zu-Text auf der Neural Engine.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

npm i @desert-ant-labs/voz onnxruntime-web

import { Voz } from "@desert-ant-labs/voz";

const voz = await Voz.load();
const result = await voz.transcribe(file);   // File, Blob, ArrayBuffer, or samples
result.text;
result.words[0];        // { text, start, end }
result.realtimeFactor;

Add Voz from Desert Ant Labs to this JavaScript / TypeScript project (Web, Node.js).

What it does: On-Device-Sprache-zu-Text auf der Neural Engine.

SDK:

JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
npm i @desert-ant-labs/voz onnxruntime-web

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Technische Daten

Geschwindigkeit

10 Minuten Audio in 0,8 s bis 2,4 s auf Mac und iPhone, 251x bis 762x Echtzeit; Zeiten pro Gerät unter Leistung

Genauigkeit

7,40 % WER über sechs Open-ASR-Leaderboard-Sätze; 2,83 % Langform; Wortanfänge 83 ms, Enden 95 ms mittlerer Fehler

Größe auf dem Gerät

467 MB kompiliertes Core ML, bei Bedarf geladen

Sprachen

25 europäische Sprachen; Genauigkeit von 3,31 % (Italienisch) bis 39,46 % (Griechisch) bei gelesener Sprache

Modell

NVIDIA Parakeet TDT 0.6B v3 (CC BY 4.0), von Desert Ant Labs zu Core ML konvertiert und komprimiert: Log-Mel-Frontend, Conformer-Encoder, Transducer-Decoder, alles auf der Neural Engine

Plattformen

iOS, iPadOS, macOS, tvOS, visionOS (Core ML); Browser und Node (WebAssembly, ONNX Runtime)

FAQ

Ressourcen

• Voz Docs
• Modellgewichte auf Hugging Face
• Swift-Modelle
• JS-Modelle