Shisa DE-2.1
日本語の業務フローに、判断モデルを
文章やレコード、画像について質問すると、はい・いいえ、選択肢、段階評価のいずれかを、ソフトウェアで使える確率とともに返します。
「今回はちょっと難しそうです。」
やんわりと断っていますか?
はい
yes: 0.91 / no: 0.09登録名: 喫茶みどり
看板の店名は登録名と一致しますか?
はい
yes: 0.94 / no: 0.06東京からの応答時間
東京都心から約30 ms
Jevを使った日本での運用を拡大するなら、同じリクエストをShisaでも試し、想定負荷で応答時間の中央値と遅いケースを比較してください。
Shisa APIは最適化後に測定しました。Jevの値は以前のホストAPI測定の中央値で、再測定はしていません。
できることと、使うときの注意点
はい/いいえ
与えた根拠が条件を満たすか判定します。たとえば、店舗の看板と登録名を照合できます。
選択肢から選ぶ
テキストでは最大256の選択肢から分類します。SDKの画像質問は最大26の選択肢に対応します。
段階評価
指定した尺度で評価します。処理を進めるか、人が確認するかは業務フロー側で決めます。
文章の生成、判断理由の説明、根拠の独立した検証は行いません。画像の確率は校正されていません。
評価
DE-2.1の比較結果
Shisaの日本語ニュアンスと婉曲な断りの評価で、DE-2.1はJev 1.13.0を上回りました。
Shisaによる1回読み取りの評価です。AUROCは陽性例と陰性例をスコアで区別する性能を示す指標で、正解率とは異なります。 評価方法と出典
実際の業務フローで評価する
Apache-2.0のモデル重みとPython SDKでセルフホストするか、日本でのホスト評価についてShisaにご相談ください。
