Box Skillsは、業界をリードするさまざまなサードパーティ製プロバイダの人工知能テクノロジと機械学習テクノロジを利用してBox内のコンテンツを処理するフレームワークです。 これらのテクノロジには、画像認識、音声変換、顔検出などが含まれます。 これらのテクノロジを利用することで、画像ファイルやメディアファイルなどの非構造化データからインサイトを導き出したり、非構造化データにさまざまなメタデータを追加したりすることができます。
Box Skillsは、Business Plusレベル以上のアカウントに限定されたアドオンです。
Box Skillsとは?
Box Skillsは、Box内のフォルダを操作するコードの集合です。 これらのコードをフォルダに適用すると、Box Skillsによりそのフォルダ内に配置されている各ファイルが分析され、分析結果がメタデータとしてファイルに書き込まれます。 たとえば、音声スキルを適用したフォルダに音声ファイルを配置すると、音声から書き起こされたテキストが音声ファイルに追加されます。 ユーザーがBoxウェブアプリでこのファイルをプレビューすると、書き起こされたテキストも表示されます。 また、これらのメタデータは、検索を始めとする他のBox機能でも活用されます。
開発者は、Box Skills Kitを使用して独自のBox Skillアプリケーションを作成できます。 その後、Boxプライマリ管理者が作成されたBox Skillを有効化して、そのBox Skillで処理できるフォルダを設定します。
Box Skillsの仕組みについて教えてください。
Box Skillsフレームワークには4種類の主要コンポーネントがあります。
- トリガー: Box Skillを起動します。 トリガーの種類には、Box Skillsが設定されているフォルダへのファイルのアップロード、コピー、移動などがあります。
- イベントポンプ: Box内のアクティビティに関する通知を送信します。 トリガーされると、イベントポンプからBox Skillsアプリケーションに通知が送信されます。
- Box Skillsアプリケーション: Boxから受信したイベントを処理して、Boxからファイルを取得し、サードパーティサービスを使用してファイルを処理し、Box Skillsメタデータに書き戻します。
- Box Skillsメタデータ: (サードパーティ処理によって) 抽出されたファイル関連情報をBoxウェブアプリで直接表示する事前定義済みのグローバルテンプレートです。
Box Skillsは、トリガーが発生すると自動的に実行されます。 これらは、Boxからのイベントペイロードを使用してファイルを処理し、メタデータをそれらのファイルに適用します。
一般的なBox Skillの一連の流れを以下に示します。
- トリガーイベントが発生すると、イベントポンプからBox Skillsアプリケーションにイベント通知が送信されます。
- イベントポンプから、Box SkillsアプリケーションをBoxで登録するときに指定されたURLに、イベントが送信されます。
- このURLは、Box Skillsアプリケーションが実行されるサーバーのウェブアドレスになります。
- イベントペイロードには、ファイルオブジェクトとそのオブジェクトのBox内での場所など、アップロードイベントに関する情報が含まれます。
- また、イベントペイロードには、Box Skillsアプリケーションで使用できる2つの一時アクセストークンも含まれています。1つはBoxからファイルを取得するためのトークンで、もう1つはメタデータへの書き込みを行うためのトークンです。
- Box Skillsアプリケーションが受信したイベントを解釈し、ペイロードに含まれるアクセストークンの1つを使用してBoxから目的のファイルを取得します。
- Box Skillsアプリケーションが取得したファイルを処理します。 Skillsでは独自の処理も実行できます。
- 処理が完了すると、Box Skillsアプリケーションが処理の出力を取得します。
- Box Skillsアプリケーションが取得した出力を調整して、メタデータテンプレートに書き込みます。 このテンプレートが2番目のアクセストークンを使用してBox Skillsメタデータカードを生成します。
Box Skillsメタデータ
通常、Box Skillsによるメタデータの書き込みは、Box内のファイルに対して行われます。 Skillによって処理されたBox内のファイルをプレビューすると、Skillによって書き込まれたメタデータがBoxウェブアプリの右側のサイドバーに直接表示されます。 メタデータは、事前設計済みのさまざまなカードを使用して視覚化されます。 これらのカードには、サードパーティのAI/MLサービスに共通する出力の一部が表示されます。 これらの情報は、Box Skillsアプリケーションからグローバルに利用できる事前設計済みのメタデータテンプレートに書き込みを行い、動的にカードを生成することで表示できます。
事前設計済みのカードには次の4種類があります。
- トピックカード: メディアファイルに含まれるキーワード (ラベルやタグなど) のリストと関連タイムスタンプ (省略可能) を表示します。
- フェイスカード: メディアファイルに含まれる (顔などの) 一連の画像と関連タイムスタンプ (省略可能) を表示します。
- トランスクリプトカード: メディアファイルの音声から書き起こされたテキストと関連タイムスタンプを表示します。 このカードには、タイムスタンプなしでテキストを保存することも可能です。
- ステータスカード: Box Skillsアプリケーションのステータスとエラーを表示します。
Box Skillsアプリケーションでは、上記のカードを自由に組み合わせて使用することができ、同じカードを複数表示することもできます。
関連リンク
Developerドキュメント: