自然言語による動画検索
人物、場所、シーン、引用、瞬間を自然な言葉で指定すると、Jockey が接続された動画ライブラリから一致するクリップを返します。
概要
Jockeyは TwelveLabs の動画インテリジェンスエージェントです。ホームページでは、動画の理解のためのエージェント層として説明されており、動画ライブラリ全体を整理、検索、編集できるとされています。現在は research preview です。
この製品は、動画との自然言語インタラクションを中心に位置付けられています。ユーザーは質問をしたり、特定のクリップや引用を見つけたり、要約やハイライトリールを生成したりできます。ページには Jockey が Claude と接続されている様子も表示されており、TwelveLabs API と SDK を通じた開発者向けの利用経路も示されています。また、検索と動画言語推論のために TwelveLabs の Marengo と Pegasus モデルに関連付けられています。
サイトに表示されている主な機能
クリップ単位の検索
フォルダをたどったり、すべてのファイルを開いたりせずに、広い質問から具体的な瞬間へとアシスタントを使って絞り込めます。
即時ハイライトリール作成
トピックを Jockey に指定すると、関連する瞬間をまとめた編集用のカットを受け取れます。ハイライトリールの例も表示されています。
アシスタントベースのワークフロー
Jockey を Claude に接続し、すでに使っているチャットインターフェースから直接質問できます。ページには ChatGPT は近日公開予定と記載されています。
API と SDK からのアクセス
開発者向けの例を使い、モデル名、knowledge store ID、session ID を指定して TwelveLabs SDK 経由で製品をクエリできます。
タイムスタンプ付き出力
プラットフォーム全体のページに基づき、機械可読なタイムスタンプ付きメタデータとフレーム精度の結果を、下流の製品や再生リンク向けに返します。
ページで示されている実用例
マーケティングクリエイティブのレビュー
クリエイティブアーカイブから、フック、出演者、ロゴ、形式、トーンを手がかりに広告を検索し、次の撮影を計画する前にライブラリ全体の傾向を比較します。
クリエイター向けハイライト抽出
映像アーカイブの中で最も強い場面を尋ね、ラフな編集用ハイライトリールにまとめます。
アーカイブ検索
大規模なメディアアーカイブから、ファイルを一つずつ開かずに、引用、特定のシーン、指定した人物を見つけます。
開発者統合
ページに表示されている API の例と knowledge-store パターンを使って、動画理解を製品検索や分析ワークフローに組み込みます。
アシスタントネイティブなライブラリ検索
ホームページに表示されている統合ワークフローを通じてライブラリを接続した後、Claude 内で人物、場所、シーン、瞬間を直接尋ねます。
Pros and Cons
Pros
- ファイル名や手動ブラウジングではなく、意味や自然言語の質問で動画を検索できます。
- 引用の検索、クリップ取得、要約、ハイライトリール作成など、サイトで示されている複数のワークフローに対応しています。
- Claude 経由でも、開発者向けの SDK/API パターン経由でも利用できます。
- 検索、埋め込み、動画言語分析のために個別に説明されている TwelveLabs のモデル上に構築されています。
Cons
- Jockey は research preview であり、ホームページでは限定的なサインアップを受け付けていると案内されています。
- ソースでは ChatGPT サポートは利用可能ではなく、近日公開予定として表示されています。
- 公開ページには、表示されている例以外の対応ワークフロー、権限、連携について、完全で詳細な仕様は記載されていません。
FAQ
Jockeyは一般提供されていますか？
Jockeyは研究プレビューとして提供されています。ホームページでは現在、限定的なサインアップを受け付けており、無料トライアルのような प्रवेश口があると案内されています。また、価格ページでは TwelveLabs のより広いプラットフォーム向けに Free、Developer、Enterprise の API プランがあることが示されています。
Jockeyは何をするものですか？
ホームページによると、Jockeyは動画ライブラリ全体を横断して整理、検索、編集を行えるとされています。例では、自然言語検索、引用箇所の発見、ハイライトリール作成、クリップ単位の結果を返す分析が示されています。
どのアシスタントや連携が示されていますか？
ホームページでは、2つのアシスタント連携が示されています。Claude はすでに接続されており、ChatGPT は近日公開予定と記載されています。また、Jockey 用の MCP エンドポイントも表示されています。
Jockeyはチャット画面だけですか、それとも開発者はコードで使えますか？
ページでは、Jockey はチャット形式のインターフェースで使われ、ユーザーがクリップ、要約、モーメントの一覧を依頼できることが示されています。また、TwelveLabs クライアント経由で Jockey モデルを呼び出すための SDK サンプルコードも含まれています。
Jockeyはどのモデルを使いますか？
ソースでは、Jockey は TwelveLabs の Marengo と Pegasus モデルに結び付けられています。モデルページでは、Marengo は検索および埋め込みモデル、Pegasus は説明と分析のための動画言語モデルとして説明されています。
Quick Facts
- カテゴリ
- 動画インテリジェンスエージェント
- 主な用途
- 動画ライブラリの検索・整理・編集
- インターフェース
- チャット形式のアシスタント + API/SDK
- 表示されている連携
- Claude; ChatGPT 近日公開予定
- 基盤モデル
- Marengo と Pegasus
- ウェブサイト
- twelvelabs.io
Jockeyの代替品
RLAMA
RLAMAは、macOS、Linux、WindowsでRAGシステムとインテリジェントエージェントを構築できるローカルAIプラットフォーム。ローカル処理、対話型ターミナル、HTTP APIに対応。
Crossing Minds
Crossing Minds は、正確・安全・拡張性の高い AI アプリケーション構築のための retrieval platform。OpenAI にチーム参加の発表もありました。
Orca
Orcaは、コードエージェントでの開発・実装を支援するAgent Development Environment。分離されたworktree上で複数のCLIエージェントを並列実行し、デスクトップとモバイルの連携ワークフローに対応します。
AI Magicx
AI Magicxは、チャット、画像、動画、音声、音楽、メール、開発タスクを1か所で扱える統合AIワークスペース。複数モデルを使い分ける手間を減らします。
Paper
Paperは、キャンバス、コード、AIエージェントをつなぎ、チームが1つのワークフローで作成・共有・出荷できるデザインツール。デスクトップアプリ、MCP対応のエージェントアクセス、実コンテンツとデザイントークンのワークフローに対応。
blop
blop は、リポジトリ内でブラウザテストをコードとして記述し、CIで実行、失敗をクラスタリングし、壊れたテスト修正用のPRも開けるQA agentです。