Voz

Inspiración

Ideas para crear con Voz. Copia un prompt en tu agente de código y adelante.

Qué hace el modelo

• Los inicios de palabra caen a menos de 83 ms y los finales a menos de 95 ms de un alineador forzado, de media, con una resolución de trama de 80 ms.
• 10 minutos de audio en 2 s en un iPhone 17 Pro, 1,2 s en un iPhone 18 Pro y 2,1 s en un iPhone 15 Pro. En un M3 Ultra, 0,8 s a 762x en tiempo real. Los clips cortos sueltos van a 50-62x, porque cada clip paga una ventana completa de 15 s.
• Tasa de error de palabra del 7,40% de media en seis conjuntos del Open ASR Leaderboard (Whisper large-v3-turbo: 7,00%), 2,83% en media hora de narración (Whisper: 2,72%), 11,84% en las reuniones de AMI (Whisper: 13,87%).
• Todo el grafo se ejecuta en el Neural Engine sin recurrir a la CPU ni a la GPU; la memoria máxima no crece con la duración de la grabación.
• 25 idiomas: búlgaro, croata, checo, danés, neerlandés, inglés, estonio, finés, francés, alemán, griego, húngaro, italiano, letón, lituano, maltés, polaco, portugués, rumano, ruso, eslovaco, esloveno, español, sueco y ucraniano.
• 467 MB en disco, descargado bajo demanda y guardado en caché; la primera carga tras la descarga tarda 20 s una vez mientras Core ML se especializa, y luego 0,2 s. Descárgalo durante la incorporación.
• Audio mono a cualquier frecuencia de muestreo; el SDK remuestrea y mezcla a mono. El audio más largo se divide en ventanas de 15 s en las pausas y se une por las palabras en las que coinciden las ventanas contiguas.
• Construido sobre Parakeet TDT 0.6B v3 de NVIDIA, publicado bajo CC BY 4.0. Los pesos no se modifican; la conversión, la compresión y el runtime para el Neural Engine son nuestros.

Aplicación de ejemplo

brew tap desert-ant-labs/tap
brew install --cask clipper

Primeros pasos

Añade reconocimiento de voz a tu app de iOS or macOS or web con unas pocas líneas de código. Docs de Voz.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

import Voz

let voz = try await Voz()
let result = try await voz.transcribe(url)
result.text                     // the transcript
result.words.first?.start       // 80ms resolution
result.realtimeFactor           // seconds of audio per second of wall clock

Add Voz from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: voz a texto en el dispositivo en el Neural Engine.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

npm i @desert-ant-labs/voz onnxruntime-web

import { Voz } from "@desert-ant-labs/voz";

const voz = await Voz.load();
const result = await voz.transcribe(file);   // File, Blob, ArrayBuffer, or samples
result.text;
result.words[0];        // { text, start, end }
result.realtimeFactor;

Add Voz from Desert Ant Labs to this JavaScript / TypeScript project (Web, Node.js).

What it does: voz a texto en el dispositivo en el Neural Engine.

SDK:

JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
npm i @desert-ant-labs/voz onnxruntime-web

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Especificaciones

Velocidad

10 minutos de audio en 0,8 s a 2,4 s en Mac y iPhone, 251x a 762x en tiempo real; tiempos por dispositivo en Rendimiento

Exactitud

7,40% de WER en seis conjuntos del Open ASR Leaderboard; 2,83% en formato largo; error medio de 83 ms en los inicios de palabra y 95 ms en los finales

Tamaño en el dispositivo

467 MB de Core ML compilado, descargado bajo demanda

Idiomas

25 idiomas europeos; exactitud del 3,31% (italiano) al 39,46% (griego) en habla leída

Modelo

NVIDIA Parakeet TDT 0.6B v3 (CC BY 4.0), convertido a Core ML y comprimido por Desert Ant Labs: frontend log-mel, codificador conformer, decodificador transductor, todo en el Neural Engine

Plataformas

iOS, iPadOS, macOS, tvOS, visionOS (Core ML); navegador y Node (WebAssembly, ONNX Runtime)

Preguntas frecuentes

Recursos

• Docs de Voz
• Pesos del modelo en Hugging Face
• Modelos de Swift
• Modelos de JS