Tongue: identificação de língua no dispositivo
Identificação de língua no dispositivo que lê um excerto curto de texto e nomeia a língua, entre 84 línguas, em dezenas de microssegundos.
O Tongue lê uma palavra, uma expressão ou uma frase e devolve a língua em que está escrita, de "kann ich das haben" em alemão a "안녕하세요" em coreano. Está afinado para texto curto, como caixas de pesquisa, mensagens de chat e escrita no teclado: o caso mais difícil e mais útil da deteção de língua num dispositivo.
Duas fases fazem o trabalho. Um router de sistemas de escrita sem parâmetros resolve o texto cuja escrita pertence a uma única língua: hangul, grego, tailandês e mais 22 são decididos de imediato, sem modelo. Para escritas partilhadas, n-gramas de caracteres com hash alimentam um modelo int8 de 2 MB. Não há tokenizer, nem ficheiro de vocabulário, nem runtime de inferência, e quando uma entrada curta é genuinamente ambígua, o Tongue diz que não tem a certeza em vez de adivinhar.
Demonstração
Desempenho
Com 2 MB, enfrenta detetores até 130 vezes maiores.
Medido nos pesos int8 distribuídos, em três benchmarks públicos, com os outros detetores executados nas mesmas linhas e nos mesmos subconjuntos de línguas. As tabelas completas e os modos de falha estão na ficha do modelo.
Casos de uso
Encaminhar texto por língua
Escolher o modelo de tradução, o analisador ou a fila de apoio certos logo nas primeiras palavras escritas, inteiramente no dispositivo.
Teclados e escrita
Detetar a língua a meio da frase para trocar a correção automática, as sugestões ou a disposição, ao custo de dezenas de microssegundos por tecla.
Pesquisa e pipelines de conteúdo
Etiquetar cadeias curtas com uma língua antes da indexação ou da moderação, sem ida e volta pela rede nem um serviço por pedido.
Incerteza honesta
"la casa" lê-se igualmente em italiano e em espanhol. O Tongue comunica um empate em vez de coroar uma delas, para que o produto possa pedir mais texto.
O que faz
- 84 línguas: 59 descodificadas pelo modelo, 25 resolvidas só pela escrita.
- Pesos int8 de 2 MB, incluídos no pacote; nada é descarregado.
- Dezenas de microssegundos por deteção, na thread principal.
- Respostas idênticas em Swift, Kotlin e JavaScript, garantidas por golden vectors partilhados.
- Comunica a fiabilidade e os empates demasiado renhidos em vez de adivinhar.
Plataformas e instalação
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")import Tongue
let tongue = try Tongue()
tongue.detect("kann ich das haben").language
// "de"// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")import ai.desertant.tongue.Tongue
val tongue = Tongue.bundled(context)
tongue.detect("kann ich das haben").language
// "de"npm i @desert-ant-labs/tongueimport { Tongue } from "@desert-ant-labs/tongue";
const tongue = await Tongue.load();
tongue.detect("kann ich das haben").language;
// "de"Add Tongue from Desert Ant Labs to this project.
Identificação de língua no dispositivo que lê um excerto curto de texto e nomeia a língua, entre 84 línguas, em dezenas de microssegundos.
SDKs (use the one that matches this project's platform):
Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/tongue
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/tongue", from: "0.1.2")
Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/tongue
// build.gradle.kts (Maven Central)
implementation("ai.desertant:tongue:0.1.2")
JavaScript / TypeScript (Web, Node.js)
Repo: https://github.com/Desert-Ant-Labs/tongue
npm i @desert-ant-labs/tongue
Reference:
- Model page: https://desertant.com/models/tongue/
- Full catalog and other models: https://desertant.com/llms.txt
Add the SDK that matches this project's platform, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificações
- Línguas
- 84, em 31 sistemas de escrita
- Tamanho no dispositivo
- Pesos int8 de 2,1 MB, dentro do pacote
- Latência
- Dezenas de microssegundos por deteção
- Abordagem
- Router de sistemas de escrita mais n-gramas de caracteres com hash para uma cabeça linear int8
FAQ
O que é o Tongue?
Identificação de língua no dispositivo que lê um excerto curto de texto e nomeia a língua, entre 84 línguas, em dezenas de microssegundos.
O Tongue é executado no dispositivo?
Sim. O Tongue é executado inteiramente no dispositivo: a inferência acontece localmente, sem qualquer chamada a servidores, por isso os dados nunca saem do dispositivo.
Que plataformas o Tongue suporta?
O Tongue é disponibilizado como SDKs nativos, executados no dispositivo, para Swift, Kotlin, JavaScript / TypeScript.
Quanto custa o Tongue?
Todos os modelos são gratuitos para até 100k dispositivos ativos mensais por SDK. Inferência ilimitada por utilizador. Contacte-nos para licenças personalizadas.
Qual é a precisão ou a rapidez do Tongue?
Com 2 MB, enfrenta detetores até 130 vezes maiores.