Desert Ant Labs

Toxic：オンデバイスの多言語ヘイトスピーチ検出

コンテンツモデレーションクローズドベータ

英語、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語、ポーランド語、オランダ語にわたり、ヘイト、ハラスメント、脅迫、性的、自傷にかかわるコンテンツをフラグ付けするオンデバイスのマルチラベル分類器。疑わしいテキストを、デバイスから出る前にトリアージできます。

Toxic は 8 言語（英語、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語、ポーランド語、オランダ語）にわたる、ヘイトスピーチ、ハラスメント、脅迫、性的ハラスメント、自傷のオンデバイス・マルチラベル分類器です。ヘイトのヘッドが発火すると、10 個のターゲットヘッドが、テキストがどの保護属性を対象としているかを特定します。人種、肌の色、宗教、家系、国籍または民族的出自、性的指向、ジェンダー、障害、年齢、その他です。

強みは、サイズに対する品質です。Toxic は 7 つの EU 言語で Llama-Guard-3-1B と Qwen3Guard-Gen-0.6B をマクロ F1 で 13〜17 ポイント、Detoxify を 30 ポイント上回り、ディスク上のサイズはそれらのごく一部です（75.5 MB の LiteRT、66.7 MB の Core ML に対し、ガードモデル系はおよそ 500 MB〜1 GB）。学習データは商用として問題のないもの（CC0、CC-BY、MIT、Apache-2.0 のみ）で、スクレイピングされたヘイトスピーチのコーパスに伴うライセンスリスクなしに、製品に組み込めます。

モデルカード
Toxic はクローズドベータです。 モデルカードと重みは公開されています。早期アクセスはリクエスト制です。

パフォーマンス

7 つの EU 言語で Llama-Guard-3-1B と Qwen3Guard-Gen-0.6B をマクロ F1 で 13〜17 ポイント上回り、サイズは 6〜14 倍小さく収まります。75.5 MB の LiteRT に対し、ガードモデル系はおよそ 500 MB〜1 GB です。

0.786
マクロ F1
0.881
ヘイトの再現率
66.7 MB
オンデバイス
2.82 ms
1 回の順伝播あたり

同じ HateCheck ハーネスによる、しきい値 0.40 でのマクロ F1（社内計測）。7-EU の列は、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語、ポーランド語、オランダ語の平均です。Toxic は 8 言語中 7 言語で優位に立ちます。Llama-Guard がリードするのは英語のみです。

モデル7-EU F1EN F1サイズ
Toxic (LiteRT int4)0.7860.78775.5 MB
Toxic (Core ML 4-bit)0.7770.77166.7 MB
Qwen3Guard-Gen-0.6B (bf16)0.6520.770server
Llama-Guard-3-1B (bf16)0.6490.814server
Llama-Guard-3-1B (int4)0.6330.794955 MB
Qwen3Guard-Gen-0.6B (int4)0.6220.750484 MB
Detoxify multilingual (fp32)0.4870.642~280 MB

HateCheck スイート（1 言語あたり約 3,700 件の手書きテストケース）による社内評価で、学習には一切使用していません。競合は同じハーネスで再実行しています。

ユースケース

メッセージ送信前のトリアージ

送信するメッセージを、端末を離れる前にオンデバイスでスコアリングします。ヘイト、脅迫、ハラスメントに該当するコンテンツがあれば、サーバーに届く前に、インラインの警告やレビュー経路をトリガーできます。

サーバー不要のコメント選別

受信したコメントをすべてクライアント側で Toxic に通してローカルに処理し、ヘイトスピーチの可能性が高いものをモデレーターキューに送り、フラグ付きのテキストのみを人間にエスカレーションします。メッセージごとにクラウドを呼び出すことなく、中央でのモデレーション量を減らせます。

自傷や脅迫のシグナルを支援につなぐ

自傷と脅迫のヘッドはヘイトのヘッドと分かれているため、どちらのシグナルもヘイトと混同することなく、クライアントから危機対応リソースやエスカレーション経路を提示できます。

1 つのモデルで 8 言語

75 MB の単一のアーティファクトで、英語、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語、ポーランド語、オランダ語をカバーします。1 つの統合で 8 言語に対応し、言語ごとのパイプラインも、別途の言語判定ステップも不要です。

できること

  • 5 つのマルチラベル・コンテンツヘッド：ヘイト、ハラスメント、脅迫、性的、自傷。
  • ヘイトのヘッドの上に 10 個のターゲットヘッド：人種、肌の色、宗教、家系、国籍または民族的出自、性的指向、ジェンダー、障害、年齢、その他。
  • 単一のアーティファクトで 8 言語：英語、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語、ポーランド語、オランダ語。言語ごとのしきい値メニューはモデルメタデータに同梱。
  • 寛容なライセンスのコーパス（CC0、CC-BY、MIT、Apache-2.0）のみで学習しているため、商用製品に組み込めます。
  • 完全にオンデバイスで動作：66.7 MB の Core ML（4-bit、Apple Neural Engine 最適化）または 75.5 MB の LiteRT（int4 blockwise-32）。

仕様

対応言語
8 言語：英語、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語、ポーランド語、オランダ語
オンデバイスのサイズ
66.7 MB の Core ML（4-bit）、75.5 MB の LiteRT（int4 blockwise-32）
バックボーン
XLM-R-base、60,728 ピースにトリムした語彙、12 層、隠れ層 768、約 133M パラメータ
精度
8 言語でマクロ F1 0.786（LiteRT int4）、0.777（Core ML 4-bit）

モデレーションのトリアージ補助であり、判定そのものではありません。自動削除ではなく、フラグは人間のレビュアーやより重いローカル階層にエスカレーションしてください。敵対的なテストでは、Toxic はカウンタースピーチ、否定されたヘイト、再獲得された蔑称、短い属性への言及を、無視できない割合で誤ってフラグ付けすることがあります。特に英語とドイツ語で顕著です。オランダ語、ドイツ語、ポーランド語では、単独の蔑称を取りこぼさないよう、言語ごとの蔑称ワードリストと併用してください。

FAQ

Toxic とは？

英語、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語、ポーランド語、オランダ語にわたり、ヘイト、ハラスメント、脅迫、性的、自傷にかかわるコンテンツをフラグ付けするオンデバイスのマルチラベル分類器。疑わしいテキストを、デバイスから出る前にトリアージできます。

Toxic はオンデバイスで動作しますか？

はい。Toxic は完全にオンデバイスで動作します。推論はローカルで行われ、サーバーへの通信は発生しないため、データがデバイスの外に出ることはありません。

Toxic はもう利用できますか？

Toxic はクローズドベータです。このページから早期アクセスをリクエストできます。

Toxic の料金はいくらですか？

すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。ユーザーあたりの推論は無制限です。 カスタムライセンスについては、お問い合わせください。

Toxic の精度や速度はどれくらいですか？

7 つの EU 言語で Llama-Guard-3-1B と Qwen3Guard-Gen-0.6B をマクロ F1 で 13〜17 ポイント上回り、サイズは 6〜14 倍小さく収まります。75.5 MB の LiteRT に対し、ガードモデル系はおよそ 500 MB〜1 GB です。

早期アクセス

開発中のプロダクトについてお聞かせください。セットアップをお手伝いします。

早期アクセスのお問い合わせHugging Face のモデルカード