Tongue: språkidentifiering på enheten
Språkidentifiering på enheten som läser en kort bit text och namnger dess språk, bland 84 språk, på några tiotal mikrosekunder.
Tongue läser ett ord, en fras eller en mening och returnerar språket den är skriven på, från "kann ich das haben" på tyska till "안녕하세요" på koreanska. Det är avstämt för kort text, som sökfält, chattmeddelanden och tangentbordsinmatning: det svåraste och mest användbara fallet för språkdetektering på en enhet.
Arbetet sker i två steg. En skriftrouter utan parametrar avgör text vars skrift bara ett språk använder: hangul, grekiska, thai och 22 till avgörs direkt, utan modell. För delade skrifter matar hashade tecken-n-gram en int8-modell på 2 MB. Det finns ingen tokenizer, ingen vokabulärfil och ingen inferensruntime, och när kort inmatning verkligen är tvetydig säger Tongue att det är osäkert i stället för att gissa.
Demo
Prestanda
Med 2 MB står den sig mot detektorer upp till 130 gånger så stora.
Uppmätt på de levererade int8-vikterna över tre publika riktmärken, med de andra detektorerna körda på identiska rader och språkdelmängder. Fullständiga tabeller och felmoder finns på modellkortet.
Användningsfall
Dirigera text efter språk
Välj rätt översättningsmodell, analysator eller supportkö redan från de första orden en användare skriver, helt på enheten.
Tangentbord och inmatning
Upptäck språket mitt i meningen för att växla autokorrigering, förslag eller layout, till en kostnad av några tiotal mikrosekunder per tangenttryckning.
Sök och innehållspipelines
Märk korta strängar med språk före indexering eller moderering, utan nätverksrundresa eller en tjänst per förfrågan.
Ärlig osäkerhet
"la casa" läses lika gärna som italienska som spanska. Tongue rapporterar oavgjort i stället för att kröna ett språk, så att produkten kan be om mer text.
Vad den gör
- 84 språk: 59 avkodas av modellen, 25 avgörs av skriften ensam.
- 2 MB int8-vikter, medföljer i paketet; inget laddas ned.
- Några tiotal mikrosekunder per detektering, på huvudtråden.
- Identiska svar i Swift, Kotlin och JavaScript, hållna av delade golden vectors.
- Rapporterar tillförlitlighet och alltför jämna lägen i stället för att gissa.
Plattformar och installation
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")import Tongue
let tongue = try Tongue()
tongue.detect("kann ich das haben").language
// "de"// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")import ai.desertant.tongue.Tongue
val tongue = Tongue.bundled(context)
tongue.detect("kann ich das haben").language
// "de"npm i @desert-ant-labs/tongueimport { Tongue } from "@desert-ant-labs/tongue";
const tongue = await Tongue.load();
tongue.detect("kann ich das haben").language;
// "de"Add Tongue from Desert Ant Labs to this project.
Språkidentifiering på enheten som läser en kort bit text och namnger dess språk, bland 84 språk, på några tiotal mikrosekunder.
SDKs (use the one that matches this project's platform):
Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/tongue
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")
Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/tongue
// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")
JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/tongue
npm i @desert-ant-labs/tongue
Reference:
- Model page: https://desertant.com/models/tongue/
- Full catalog and other models: https://desertant.com/llms.txt
Add the SDK that matches this project's platform, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifikationer
- Språk
- 84, över 31 skrifter
- Storlek på enheten
- 2,1 MB int8-vikter, i paketet
- Latens
- Några tiotal mikrosekunder per detektering
- Metod
- Skriftrouter plus hashade tecken-n-gram in i ett linjärt int8-huvud
Vanliga frågor
Vad är Tongue?
Språkidentifiering på enheten som läser en kort bit text och namnger dess språk, bland 84 språk, på några tiotal mikrosekunder.
Körs Tongue lokalt på enheten?
Ja. Tongue körs helt lokalt på enheten: inferensen sker lokalt utan något serveranrop, så data lämnar aldrig enheten.
Vilka plattformar stöder Tongue?
Tongue levereras som nativa on-device-SDK:er för Swift, Kotlin, JavaScript / TypeScript.
Vad kostar Tongue?
Varje modell är gratis för upp till 100k månadsaktiva enheter per SDK. Obegränsad inferens per användare. Kontakta oss för anpassade licenser.
Hur träffsäker eller snabb är Tongue?
Med 2 MB står den sig mot detektorer upp till 130 gånger så stora.