shisa.ai
Qwen4 Max の​提供を​開始しました!​Jouzu で​使えます — 日本向けに​開発した​ CLI エージェント型コーディングハーネス。​60 秒で​接続できます。詳細を​見る

Shisa DE-2.1

日本語の業務フローに、判断モデルを

文章やレコード、画像について質問すると、はい・いいえ、選択肢、段階評価のいずれかを、ソフトウェアで使える確率とともに返します。

テキストに基づく判断

「今回はちょっと難しそうです。」

やんわりと断っていますか?

はいyes: 0.91 / no: 0.09
画像とテキストに基づく判断
喫茶みどり

登録名: 喫茶みどり

看板の店名は登録名と一致しますか?

はいyes: 0.94 / no: 0.06

東京からの応答時間

東京都心から約30 ms

Jevを使った日本での運用を拡大するなら、同じリクエストをShisaでも試し、想定負荷で応答時間の中央値と遅いケースを比較してください。

Tokyo internal measurements · Hosted APIms
  • Shisa API~30 ms
  • TypeSafe Jev API≥220 ms

Shisa APIは最適化後に測定しました。Jevの値は以前のホストAPI測定の中央値で、再測定はしていません。

できることと、使うときの注意点

はい/いいえ

与えた根拠が条件を満たすか判定します。たとえば、店舗の看板と登録名を照合できます。

選択肢から選ぶ

テキストでは最大256の選択肢から分類します。SDKの画像質問は最大26の選択肢に対応します。

段階評価

指定した尺度で評価します。処理を進めるか、人が確認するかは業務フロー側で決めます。

文章の生成、判断理由の説明、根拠の独立した検証は行いません。画像の確率は校正されていません。

評価

DE-2.1の比較結果

Shisaの日本語ニュアンスと婉曲な断りの評価で、DE-2.1はJev 1.13.0を上回りました。

Shisaによる1回読み取りの評価です。AUROCは陽性例と陰性例をスコアで区別する性能を示す指標で、正解率とは異なります。 評価方法と出典

Japanese nuanceAUROC
  • DE-2.10.974
  • DE-20.965
  • Jev 1.13.00.921
  • OpenAI Decisions0.898
Japanese indirect refusalsAUROC
  • DE-2.10.926
  • DE-20.919
  • Jev 1.13.00.844
  • OpenAI Decisions0.806
Japanese leakage v3AUROC
  • DE-2.10.986
  • DE-20.983
  • Jev 1.13.00.951
  • OpenAI Decisions0.955

実際の業務フローで評価する

Apache-2.0のモデル重みとPython SDKでセルフホストするか、日本でのホスト評価についてShisaにご相談ください。