開発者がBox Extract APIの使用時に構造化エンドポイントを使用して信頼度スコアを含める機能をリリースしました。 信頼度スコアとは、抽出されたフィールド値が正確であるという度合いを推定した、0から1の間の数値です。 APIレスポンスには、信頼度スコアが小数点形式で含まれます。 例えば、値が0.875の場合、エージェントは抽出した値を87.5%信頼していることを意味します。 また、APIレスポンスにも、抽出結果の信頼度レベル (Low、Medium、High) が含まれます。 このスコアは、実際の正確さの確率に近似するよう調整されており、複数のLLMの応答を集約して一貫性を測定することで生成されます。これにより、推定される抽出精度に基づいた、自動化された意思決定とヒューマンインザループワークフローが実現します。
信頼度スコア、信頼度レベル、推奨される対応は、リスク許容度、ユースケースの致命度、および抽出結果のテストと検証の程度に基づいて解釈する必要があります。 Boxでは、特定のドキュメントタイプおよび精度要件に対して信頼度スコアのしきい値を検証することをお勧めします。 開発者は、抽出された特定の値が特定の数値しきい値を下回る場合に、信頼度スコアを使用して、人間によるレビューの対象になるようその値にフラグを設定できます。
Boxでは、出発点として以下のしきい値をお勧めします。
- スコアが0.90以上の場合は、信頼度が高いことを示します。これらの抽出は通常、最小限の確認で済みます。
- スコアが0.70～0.89の場合は、信頼度が中程度であることを示します。これらの抽出は通常、軽い確認が必要です。
- スコアが0.70未満の場合は、信頼度が低いことを示します。このような場合は、手動による確認が推奨されます。
信頼度スコアは、以下のGoogle Gemini LLMをサポートします。
- gemini-2.5-flash
- gemini-2.5-pro
このリリースの詳細については、Metadata confidence level (英語) を参照してください。