Tongue: identificazione della lingua on-device
Identificazione della lingua on-device che legge un breve frammento di testo e ne nomina la lingua, tra 84 lingue, in decine di microsecondi.
Tongue legge una parola, un'espressione o una frase e restituisce la lingua in cui è scritta, da "kann ich das haben" in tedesco a "안녕하세요" in coreano. È tarato sul testo breve, come campi di ricerca, messaggi di chat e digitazione da tastiera: il caso più difficile e più utile del riconoscimento della lingua su un dispositivo.
Il lavoro avviene in due fasi. Un router degli script senza parametri decide il testo la cui scrittura appartiene a una sola lingua: hangul, greco, thai e altre 22 vengono risolte subito, senza modello. Per le scritture condivise, n-grammi di caratteri con hash alimentano un modello int8 da 2 MB. Non c'è tokenizer, né file di vocabolario, né runtime di inferenza, e quando un input breve è davvero ambiguo Tongue dice di non essere sicuro invece di tirare a indovinare.
Demo
Prestazioni
Con 2 MB tiene testa a rilevatori fino a 130 volte più grandi.
Misurato sui pesi int8 distribuiti, su tre benchmark pubblici, con gli altri rilevatori eseguiti sulle stesse righe e sugli stessi sottoinsiemi di lingue. Tabelle complete e modalità di errore sulla scheda del modello.
Casi d'uso
Instradare il testo per lingua
Scegliere il modello di traduzione, l'analizzatore o la coda di supporto giusti dalle prime parole digitate, interamente sul dispositivo.
Tastiere e input
Rilevare la lingua a metà frase per cambiare correzione automatica, suggerimenti o layout, al costo di decine di microsecondi per battuta.
Ricerca e pipeline di contenuti
Etichettare stringhe brevi con la lingua prima dell'indicizzazione o della moderazione, senza round-trip di rete né un servizio per richiesta.
Incertezza onesta
"la casa" si legge allo stesso modo in italiano e in spagnolo. Tongue segnala un pareggio invece di incoronarne una, così il prodotto può chiedere altro testo.
Cosa fa
- 84 lingue: 59 decodificate dal modello, 25 risolte dalla sola scrittura.
- Pesi int8 da 2 MB, inclusi nel pacchetto; non viene scaricato nulla.
- Decine di microsecondi per rilevamento, sul thread principale.
- Risposte identiche su Swift, Kotlin e JavaScript, vincolate a golden vectors condivisi.
- Riporta l'affidabilità e i pareggi troppo stretti invece di indovinare.
Piattaforme e installazione
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")import Tongue
let tongue = try Tongue()
tongue.detect("kann ich das haben").language
// "de"// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")import ai.desertant.tongue.Tongue
val tongue = Tongue.bundled(context)
tongue.detect("kann ich das haben").language
// "de"npm i @desert-ant-labs/tongueimport { Tongue } from "@desert-ant-labs/tongue";
const tongue = await Tongue.load();
tongue.detect("kann ich das haben").language;
// "de"Add Tongue from Desert Ant Labs to this project.
Identificazione della lingua on-device che legge un breve frammento di testo e ne nomina la lingua, tra 84 lingue, in decine di microsecondi.
SDKs (use the one that matches this project's platform):
Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/tongue
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")
Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/tongue
// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")
JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/tongue
npm i @desert-ant-labs/tongue
Reference:
- Model page: https://desertant.com/models/tongue/
- Full catalog and other models: https://desertant.com/llms.txt
Add the SDK that matches this project's platform, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifiche
- Lingue
- 84, su 31 scritture
- Dimensione on-device
- Pesi int8 da 2,1 MB, dentro il pacchetto
- Latenza
- Decine di microsecondi per rilevamento
- Approccio
- Router degli script più n-grammi di caratteri con hash verso una testa lineare int8
FAQ
Cos'è Tongue?
Identificazione della lingua on-device che legge un breve frammento di testo e ne nomina la lingua, tra 84 lingue, in decine di microsecondi.
Tongue funziona sul dispositivo?
Sì. Tongue funziona interamente sul dispositivo: l'inferenza avviene in locale senza alcuna chiamata a un server, quindi i dati non lasciano mai il dispositivo.
Quali piattaforme supporta Tongue?
Tongue è distribuito come SDK nativi on-device per Swift, Kotlin, JavaScript / TypeScript.
Quanto costa Tongue?
Ogni modello è gratuito fino a 100k dispositivi attivi mensili per SDK. Inferenza illimitata per utente. Contattaci per licenze personalizzate.
Quanto è preciso o veloce Tongue?
Con 2 MB tiene testa a rilevatori fino a 130 volte più grandi.