Uhm: on-device detectie van vulwoorden voor audio en video
On-device detectie van vulwoorden die 'uh', 'eh', 'hmm' en andere vulwoorden rechtstreeks uit de golfvorm vindt, nauwkeurig tot op 20 milliseconden.
Uhm is een frame-precieze classifier die vulwoorden rechtstreeks in audio vindt, nauwkeurig tot op 20 milliseconden. Uhm leest de golfvorm, dus er is geen transcript nodig, wat normaal de prijs is van het opsporen van haperingen.
Uhm is getraind op Engels en gaat akoestisch over naar Spaans, Frans, Duits en Nederlands zonder hertraining. Een transcript zou zelfs niet helpen: modellen zoals Whisper laten vulwoorden weg uit hun output, dus de uh's verschijnen nooit in de tekst om te vinden of te knippen. Uhm analyseert de audio en detecteert ze op het apparaat, zonder upload en zonder kosten per minuut.
Demo
Prestaties
Scant audio op 296x realtime, op het apparaat, met voorspellingen nauwkeurig tot op 20 ms.
Realtime-factor (audioduur gedeeld door analysetijd), fp16 Core ML, warm (intern)
| Apparaat | Realtime-factor |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
Interne benchmarks. Getraind op Engels; gaat akoestisch over naar Spaans, Frans, Duits en Nederlands.
Toepassingen
Podcasts en video monteren
Vind elk vulwoord om te knippen of aan te scherpen, zonder eerst een transcriptie te draaien.
Transcripties opschonen
Markeer haperingen akoestisch, zodat transcripten verderop schoon leesbaar zijn.
Geen kosten per minuut
Detecteer vulwoorden op het apparaat in plaats van WhisperX aan regex te plakken of per minuut te betalen voor cloud-speech-to-text.
Feedback op spreken
Meet de frequentie van vulwoorden in opgenomen spraak voor oefen- en coachingtools.
Wat het doet
- Frame-precies: nauwkeurig tot op 20 ms.
- Akoestische detectie: werkt rechtstreeks op de golfvorm, geen transcript nodig.
Bias-preset: precision, balanced of recall.- Getraind op Engels, gaat over naar Spaans, Frans, Duits en Nederlands zonder hertraining.
Platforms en installatie
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }Add Uhm from Desert Ant Labs to this project. On-device detectie van vulwoorden die 'uh', 'eh', 'hmm' en andere vulwoorden rechtstreeks uit de golfvorm vindt, nauwkeurig tot op 20 milliseconden. SDKs (use the one that matches this project's platform): Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/uhm-swift // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0") Reference: - Model page: https://desertant.com/models/uhm/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK that matches this project's platform, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specs
- Resolutie
- Frameresolutie van 20 ms
- Aanpak
- Akoestisch, zonder transcript
- Talen
- Engels, gaat over naar ES, FR, DE, NL
- Privacy
- Draait op het apparaat; audio verlaat nooit het apparaat
FAQ
Wat is Uhm?
On-device detectie van vulwoorden die 'uh', 'eh', 'hmm' en andere vulwoorden rechtstreeks uit de golfvorm vindt, nauwkeurig tot op 20 milliseconden.
Draait Uhm op het apparaat?
Ja. Uhm draait volledig op het apparaat: inferentie gebeurt lokaal, zonder serveraanroep, dus data verlaat nooit het apparaat.
Welke platforms ondersteunt Uhm?
Uhm wordt geleverd als native on-device SDK's voor Swift.
Hoeveel kost Uhm?
Elk model is gratis voor maximaal 100k maandelijks actieve apparaten per SDK. Onbeperkte inferentie per gebruiker. Neem contact op voor aangepaste licenties.
Hoe nauwkeurig of snel is Uhm?
Scant audio op 296x realtime, op het apparaat, met voorspellingen nauwkeurig tot op 20 ms.