Voz

Inspiration

Idéer att bygga med Voz. Kopiera en prompt till din kodningsagent och kör.

Vad modellen gör

• Ordstarter inom 83 ms och ordslut inom 95 ms från en forced aligner, i genomsnitt, vid 80 ms ramupplösning.
• 10 minuter ljud på 2 s på en iPhone 17 Pro, 1,2 s på en iPhone 18 Pro och 2,1 s på en iPhone 15 Pro. På en M3 Ultra, 0,8 s vid 762x realtid. Enskilda korta klipp körs 50–62x, eftersom varje klipp betalar för ett helt 15 s-fönster.
• 7,40% ordfelfrekvens i genomsnitt över sex uppsättningar från Open ASR Leaderboard (Whisper large-v3-turbo: 7,00%), 2,83% på en halvtimmes berättarröst (Whisper: 2,72%), 11,84% på AMI-möten (Whisper: 13,87%).
• Hela grafen körs på Neural Engine utan CPU- eller GPU-reserv; toppminnet växer inte med inspelningens längd.
• 25 språk: bulgariska, kroatiska, tjeckiska, danska, nederländska, engelska, estniska, finska, franska, tyska, grekiska, ungerska, italienska, lettiska, litauiska, maltesiska, polska, portugisiska, rumänska, ryska, slovakiska, slovenska, spanska, svenska och ukrainska.
• 467 MB på disk, nedladdad vid behov och cachad; den första laddningen efter en nedladdning tar 20 s en gång medan Core ML specialiserar, sedan 0,2 s. Ladda ned under onboarding.
• Monoljud i valfri samplingsfrekvens; SDK:n omsamplar och nedmixar. Längre ljud klipps i 15 s-fönster vid pauser och fogas samman på de ord som angränsande fönster är överens om.
• Byggd på NVIDIA:s Parakeet TDT 0.6B v3, släppt under CC BY 4.0. Vikterna är oförändrade; konverteringen, kompressionen och Neural Engine-runtimen är våra.

Exempelapp

brew tap desert-ant-labs/tap
brew install --cask clipper

Kom igång

Lägg till taligenkänning i din iOS or macOS or web-app med några rader kod. Voz-dokumentation.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

import Voz

let voz = try await Voz()
let result = try await voz.transcribe(url)
result.text                     // the transcript
result.words.first?.start       // 80ms resolution
result.realtimeFactor           // seconds of audio per second of wall clock

Add Voz from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: Tal till text på enheten på Neural Engine.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

npm i @desert-ant-labs/voz onnxruntime-web

import { Voz } from "@desert-ant-labs/voz";

const voz = await Voz.load();
const result = await voz.transcribe(file);   // File, Blob, ArrayBuffer, or samples
result.text;
result.words[0];        // { text, start, end }
result.realtimeFactor;

Add Voz from Desert Ant Labs to this JavaScript / TypeScript project (Web, Node.js).

What it does: Tal till text på enheten på Neural Engine.

SDK:

JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
npm i @desert-ant-labs/voz onnxruntime-web

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Specifikationer

Hastighet

10 minuter ljud på 0,8–2,4 s på Mac och iPhone, 251–762x realtid; tider per enhet under Prestanda

Noggrannhet

7,40% WER över sex uppsättningar från Open ASR Leaderboard; 2,83% långform; ordstarter 83 ms, ordslut 95 ms genomsnittligt fel

Storlek på enheten

467 MB kompilerad Core ML, nedladdad vid behov

Språk

25 europeiska språk; noggrannhet från 3,31% (italienska) till 39,46% (grekiska) på uppläst tal

Modell

NVIDIA Parakeet TDT 0.6B v3 (CC BY 4.0), konverterad till Core ML och komprimerad av Desert Ant Labs: log-mel-frontend, conformer-encoder, transducer-decoder, allt på Neural Engine

Plattformar

iOS, iPadOS, macOS, tvOS, visionOS (Core ML); webbläsare och Node (WebAssembly, ONNX Runtime)

Vanliga frågor

Resurser

• Voz-dokumentation
• Modellvikter på Hugging Face
• Swift-modeller
• JS-modeller