Tongue: identificación de idioma en el dispositivo
Identificación de idioma en el dispositivo que lee un fragmento corto de texto y nombra su idioma, entre 84 idiomas, en decenas de microsegundos.
Tongue lee una palabra, una frase o una oración y devuelve el idioma en que está escrita, desde "kann ich das haben" en alemán hasta "안녕하세요" en coreano. Está afinado para texto corto, como cuadros de búsqueda, mensajes de chat y escritura en el teclado: el caso más difícil y más útil de la detección de idioma en un dispositivo.
Dos etapas hacen el trabajo. Un enrutador de escrituras sin parámetros resuelve el texto cuya escritura usa un solo idioma: hangul, griego, tailandés y 22 más se deciden directamente, sin modelo. Para las escrituras compartidas, n-gramas de caracteres con hash alimentan un modelo int8 de 2 MB. No hay tokenizador, ni archivo de vocabulario, ni runtime de inferencia, y cuando una entrada corta es realmente ambigua, Tongue dice que no está seguro en lugar de adivinar.
Demo
Rendimiento
Con 2 MB, planta cara a detectores hasta 130 veces más grandes.
Medido con los pesos int8 distribuidos en tres benchmarks públicos, con los demás detectores ejecutados sobre las mismas filas y subconjuntos de idiomas. Las tablas completas y los modos de fallo están en la ficha del modelo.
Casos de uso
Enrutar texto por idioma
Elegir el modelo de traducción, el analizador o la cola de soporte correctos desde las primeras palabras que escribe el usuario, íntegramente en el dispositivo.
Teclados y escritura
Detectar el idioma a mitad de frase para cambiar la autocorrección, las sugerencias o la disposición, a un coste de decenas de microsegundos por pulsación.
Búsqueda y pipelines de contenido
Etiquetar cadenas cortas con su idioma antes de indexar o moderar, sin ida y vuelta por la red ni un servicio por petición.
Incertidumbre honesta
"la casa" se lee igual en italiano y en español. Tongue informa de un empate en lugar de coronar a uno, para que el producto pueda pedir más texto.
Qué hace
- 84 idiomas: 59 los decodifica el modelo y 25 los resuelve la escritura por sí sola.
- Pesos int8 de 2 MB, incluidos en el paquete; no se descarga nada.
- Decenas de microsegundos por detección, en el hilo principal.
- Respuestas idénticas en Swift, Kotlin y JavaScript, sujetas a golden vectors compartidos.
- Informa de la fiabilidad y de los empates demasiado ajustados en lugar de adivinar.
Plataformas e instalación
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")import Tongue
let tongue = try Tongue()
tongue.detect("kann ich das haben").language
// "de"// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")import ai.desertant.tongue.Tongue
val tongue = Tongue.bundled(context)
tongue.detect("kann ich das haben").language
// "de"npm i @desert-ant-labs/tongueimport { Tongue } from "@desert-ant-labs/tongue";
const tongue = await Tongue.load();
tongue.detect("kann ich das haben").language;
// "de"Add Tongue from Desert Ant Labs to this project.
Identificación de idioma en el dispositivo que lee un fragmento corto de texto y nombra su idioma, entre 84 idiomas, en decenas de microsegundos.
SDKs (use the one that matches this project's platform):
Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/tongue
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")
Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/tongue
// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")
JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/tongue
npm i @desert-ant-labs/tongue
Reference:
- Model page: https://desertant.com/models/tongue/
- Full catalog and other models: https://desertant.com/llms.txt
Add the SDK that matches this project's platform, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificaciones
- Idiomas
- 84, en 31 escrituras
- Tamaño en el dispositivo
- Pesos int8 de 2,1 MB, dentro del paquete
- Latencia
- Decenas de microsegundos por detección
- Enfoque
- Enrutador de escrituras más n-gramas de caracteres con hash hacia una cabeza lineal int8
Preguntas frecuentes
¿Qué es Tongue?
Identificación de idioma en el dispositivo que lee un fragmento corto de texto y nombra su idioma, entre 84 idiomas, en decenas de microsegundos.
¿Tongue se ejecuta en el dispositivo?
Sí. Tongue se ejecuta por completo en el dispositivo: la inferencia ocurre localmente sin ninguna llamada a servidor, así que los datos nunca salen del dispositivo.
¿Qué plataformas admite Tongue?
Tongue se distribuye como SDK nativos en el dispositivo para Swift, Kotlin, JavaScript / TypeScript.
¿Cuánto cuesta Tongue?
Todos los modelos son gratis hasta 100 000 dispositivos activos mensuales por SDK. Inferencia ilimitada por usuario. Contáctanos para licencias personalizadas.
¿Qué precisión o velocidad tiene Tongue?
Con 2 MB, planta cara a detectores hasta 130 veces más grandes.