「今回はちょっと難しそうです。」
这是委婉拒绝吗?
是
yes: 0.91 / no: 0.09登记名称: 喫茶みどり
招牌上的名称与登记名称一致吗?
是
yes: 0.94 / no: 0.06东京延迟
从东京市中心发起请求,约 30 ms
如果您正在用 Jev 扩展日本业务,请用相同的请求测试 Shisa,并在预期流量下比较中位数和尾部延迟。
Shisa API 的数据来自优化后的测量。Jev 的数据是此前托管 API 测试的中位数,未重新测量。
功能与边界
是/否
用给定证据判断是否满足条件,例如核对店铺招牌和登记名称。
单项选择
从最多 256 个文本选项中选择类别;SDK 的图像问题最多支持 26 个选项。
评分
按您定义的量表评分。何时执行或交人工复核,由您的工作流决定。
它不会生成文章、解释选择或独立核验证据。图像概率未校准。
评估
DE-2.1 对比结果
在 Shisa 的日语细微语义和委婉拒绝评估中,DE-2.1 得分高于 Jev 1.13.0。
Shisa 单次读取评估。AUROC 衡量分数区分正负样本的能力,并非准确率。 方法与来源
用您的工作流评估
用 Apache-2.0 权重和 Python SDK 自行部署,或联系 Shisa 讨论在日本的托管评估。
