Uhm: rilevamento delle parole riempitive on-device per audio e video
Rilevamento delle parole riempitive on-device che individua «ehm», «uh», «mmh» e altri riempitivi direttamente dalla forma d'onda, con una precisione di 20 millisecondi.
Uhm è un classificatore preciso al frame che individua i riempitivi direttamente nell'audio, con una precisione di 20 millisecondi. Uhm legge la forma d'onda, quindi non serve prima una trascrizione, che è il costo abituale per individuare le disfluenze.
Uhm è stato addestrato sull'inglese e si trasferisce a livello acustico a spagnolo, francese, tedesco e olandese senza riaddestramento. Una trascrizione non aiuterebbe nemmeno: modelli come Whisper omettono i riempitivi dal loro output, quindi gli «ehm» non compaiono mai nel testo da individuare o tagliare. Uhm analizza l'audio e li rileva sul dispositivo, senza upload e senza costi al minuto.
Demo
Prestazioni
Analizza l'audio a 296x rispetto al tempo reale, sul dispositivo, con previsioni accurate a 20 ms.
Fattore di tempo reale (durata dell'audio sul tempo di analisi), Core ML fp16, a caldo (interno)
| Dispositivo | Fattore di tempo reale |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
Benchmark interni. Addestrato sull'inglese; si trasferisce a livello acustico a spagnolo, francese, tedesco e olandese.
Casi d'uso
Montaggio di podcast e video
Individua ogni riempitivo da tagliare o accorciare, senza eseguire prima un passaggio di trascrizione.
Pulizia della trascrizione
Segnala le disfluenze a livello acustico, così le trascrizioni a valle risultano pulite.
Nessun costo al minuto
Rileva i riempitivi sul dispositivo invece di mettere insieme WhisperX più regex o pagare uno speech-to-text in cloud al minuto.
Feedback sul parlato
Misura la frequenza dei riempitivi nel parlato registrato per strumenti di esercitazione e coaching.
Cosa fa
- Preciso al frame: accurato a 20 ms.
- Rilevamento acustico: funziona direttamente sulla forma d'onda, senza trascrizione.
- Preset
Bias: precisione, bilanciato o recall. - Addestrato sull'inglese, si trasferisce a spagnolo, francese, tedesco e olandese senza riaddestramento.
Piattaforme e installazione
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }Add Uhm from Desert Ant Labs to this project. Rilevamento delle parole riempitive on-device che individua «ehm», «uh», «mmh» e altri riempitivi direttamente dalla forma d'onda, con una precisione di 20 millisecondi. SDKs (use the one that matches this project's platform): Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/uhm-swift // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0") Reference: - Model page: https://desertant.com/models/uhm/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK that matches this project's platform, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifiche
- Risoluzione
- Risoluzione di 20 ms
- Approccio
- Acustico, senza trascrizione
- Lingue
- Inglese, si trasferisce a ES, FR, DE, NL
- Privacy
- Funziona sul dispositivo; l'audio non lascia mai il dispositivo
FAQ
Cos'è Uhm?
Rilevamento delle parole riempitive on-device che individua «ehm», «uh», «mmh» e altri riempitivi direttamente dalla forma d'onda, con una precisione di 20 millisecondi.
Uhm funziona sul dispositivo?
Sì. Uhm funziona interamente sul dispositivo: l'inferenza avviene in locale senza alcuna chiamata a un server, quindi i dati non lasciano mai il dispositivo.
Quali piattaforme supporta Uhm?
Uhm è distribuito come SDK nativi on-device per Swift.
Quanto costa Uhm?
Ogni modello è gratuito fino a 100k dispositivi attivi mensili per SDK. Inferenza illimitata per utente. Contattaci per licenze personalizzate.
Quanto è preciso o veloce Uhm?
Analizza l'audio a 296x rispetto al tempo reale, sul dispositivo, con previsioni accurate a 20 ms.