Voz

Inspiration

Des idées à construire avec Voz. Copiez un prompt dans votre agent de code et lancez-vous.

Ce que fait le modèle

• Débuts de mots à 83 ms et fins de mots à 95 ms d'un aligneur forcé, en moyenne, à une résolution d'image de 80 ms.
• 10 minutes d'audio en 2 s sur un iPhone 17 Pro, 1,2 s sur un iPhone 18 Pro et 2,1 s sur un iPhone 15 Pro. Sur un M3 Ultra, 0,8 s à 762x en temps réel. Les clips courts isolés tournent à 50-62x, parce que chaque clip paie une fenêtre complète de 15 s.
• 7,40 % de taux d'erreur sur les mots en moyenne sur six jeux de l'Open ASR Leaderboard (Whisper large-v3-turbo : 7,00 %), 2,83 % sur une demi-heure de narration (Whisper : 2,72 %), 11,84 % sur les réunions AMI (Whisper : 13,87 %).
• Tout le graphe tourne sur le Neural Engine sans repli CPU ou GPU ; la mémoire de pointe ne croît pas avec la durée de l'enregistrement.
• 25 langues : bulgare, croate, tchèque, danois, néerlandais, anglais, estonien, finnois, français, allemand, grec, hongrois, italien, letton, lituanien, maltais, polonais, portugais, roumain, russe, slovaque, slovène, espagnol, suédois et ukrainien.
• 467 MB sur le disque, téléchargé à la demande et mis en cache ; le premier chargement après un téléchargement prend 20 s une fois pendant que Core ML se spécialise, puis 0,2 s. Téléchargez pendant l'onboarding.
• Audio mono à n'importe quelle fréquence d'échantillonnage ; le SDK rééchantillonne et remixe. L'audio plus long est découpé en fenêtres de 15 s aux pauses et raccordé sur les mots que les fenêtres voisines confirment.
• Bâti sur le Parakeet TDT 0.6B v3 de NVIDIA, publié sous CC BY 4.0. Les poids sont inchangés ; la conversion, la compression et le runtime Neural Engine sont les nôtres.

Application d’exemple

brew tap desert-ant-labs/tap
brew install --cask clipper

Prise en main

Ajoutez reconnaissance vocale à votre application iOS or macOS or web en quelques lignes de code. Docs Voz.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

import Voz

let voz = try await Voz()
let result = try await voz.transcribe(url)
result.text                     // the transcript
result.words.first?.start       // 80ms resolution
result.realtimeFactor           // seconds of audio per second of wall clock

Add Voz from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: Voz : reconnaissance vocale sur l'appareil, sur le Neural Engine.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

npm i @desert-ant-labs/voz onnxruntime-web

import { Voz } from "@desert-ant-labs/voz";

const voz = await Voz.load();
const result = await voz.transcribe(file);   // File, Blob, ArrayBuffer, or samples
result.text;
result.words[0];        // { text, start, end }
result.realtimeFactor;

Add Voz from Desert Ant Labs to this JavaScript / TypeScript project (Web, Node.js).

What it does: Voz : reconnaissance vocale sur l'appareil, sur le Neural Engine.

SDK:

JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
npm i @desert-ant-labs/voz onnxruntime-web

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Spécifications

Vitesse

10 minutes d'audio en 0,8 s à 2,4 s sur Mac et iPhone, 251x à 762x en temps réel ; temps par appareil dans Performances

Exactitude

7,40 % de WER sur six jeux de l'Open ASR Leaderboard ; 2,83 % en forme longue ; débuts de mots à 83 ms, fins à 95 ms d'erreur moyenne

Taille sur l'appareil

467 MB de Core ML compilé, téléchargé à la demande

Langues

25 langues européennes ; exactitude de 3,31 % (italien) à 39,46 % (grec) sur de la parole lue

Modèle

NVIDIA Parakeet TDT 0.6B v3 (CC BY 4.0), converti en Core ML et compressé par Desert Ant Labs : frontend log-mel, encodeur conformer, décodeur transducer, tout sur le Neural Engine

Plateformes

iOS, iPadOS, macOS, tvOS, visionOS (Core ML) ; navigateur et Node (WebAssembly, ONNX Runtime)

FAQ

Ressources

• Docs Voz
• Poids du modèle sur Hugging Face
• Modèles Swift
• Modèles JS