モデルを並べて比較
ユーザーはモデルと会話し、応答を横並びで比較したうえで、より良いと思う回答に投票できます。これにより、日常的なプロンプトが公開評価ワークフローになります。
Arena
認証するArenaは、AIモデルを比較・ランキングできる公開プラットフォーム。モデルと会話し、回答に投票し、text、vision、code、search、video、agentの各タスク別リーダーボードを閲覧できます。
概要
Arenaは、AIモデルを比較・ランキングできる公開プラットフォームです。最先端のモデルと会話し、応答を比較し、より良い回答に投票し、large language models、image models、code models、その他のタスク別 arena に関するコミュニティのリーダーボード形成に参加できます。
このサイトは、実世界の評価設定におけるモデルのベンチマークを行う公式リーダーボードとして位置づけられています。専用のリーダーボードページでは、text、vision、document understanding、image generation and editing、web development、search、text-to-video、image-to-video、video editing、agent タスクを扱っています。
特徴
マルチモーダルなリーダーボード
Arena は、text、vision、document、image generation、image editing、web development、search、video など複数の arena にわたるリーダーボード表示を維持しています。各表示では、順位付きのモデルとスコア差が確認できます。
agent 性能ランキング
Agent Arena ページでは、ツールの信頼性、タスク完了、操作しやすさなどのシグナルを用いて、実世界の agent タスクにおけるモデルを順位付けします。これにより、会話品質だけでなく、オーケストレーションの評価にも役立ちます。
チャット履歴検索
サイトには、過去の会話を検索できるチャット履歴エリアがあり、Agent、Battles、Search、Code、Image、Video、Archived の各チャット用タブが用意されています。これにより、以前の評価や例を見返しやすくなっています。
詳細に掘り下げられるリーダーボード表示
リーダーボードページでは、概要のスナップショットと詳細ビューへのリンクが提供されているため、まず全体を素早く確認し、必要に応じて特定の arena に掘り下げることができます。
ユースケース
チャットモデルをベンチマークする
複数の最先端モデルの応答を比較し、特定のプロンプトに対してどの出力が最も役立つかを判断します。これは、汎用チャット品質を評価する人向けの中核的なワークフローです。
タスクに応じてモデルを選ぶ
vision、document understanding、search、web development、video generation の作業向けにモデルを選ぶ際は、タスク別ランキングを確認します。専用の arena により、同種同士の比較がしやすくなっています。
agent ワークフローを評価する
Agent Arena のリーダーボードを使って、モデルがツールをオーケストレーションし、複数ステップの作業を完了する際の性能を確認します。ランキングでは、信頼性、完了率、操作しやすさが重視されています。
保存済みチャットを見返す
保存済みの会話やバトルを検索し、例を見直したり、以前のプロンプトを比較したり、異なるカテゴリにまたがる過去の評価を追跡したりできます。
Pros and Cons
Pros
- チャット、比較、投票、リーダーボードを 1 つの製品にまとめています。
- text チャットだけでなく、幅広いモデルカテゴリとタスク種別をカバーしています。
- 専用の agent リーダーボードを含む、タスク別のランキングページを提供しています。
- 過去のやり取りやバトルを見返せる検索可能なチャット履歴があります。
Cons
- 料金ページは現在利用できず、公開サイトではプランの詳細が明確に示されていません。
- ホームページには、会話や一部の個人情報が公開される可能性がある、またはモデル提供者に開示される可能性があるというプライバシー警告があります。
FAQ
Arenaは何に使われますか？
Arenaでは、会話を開始し、モデルの応答を比較し、どの回答がより良いかに投票できます。また、保存済みチャットの検索や、agent、text、image、その他のモデルカテゴリ向けの専用リーダーボードも提供しています。
サイト上で料金は確認できますか？
公開サイトにはリーダーボードページとチャットインターフェースがありますが、`/pricing` の料金ページは現在 404 を返します。利用可能な情報に基づくと、料金の詳細は公開されていません。
チャットは非公開ですか？
表示されるホームページでは、入力は第三者のAIによって処理され、会話や一部の個人情報がAIプロバイダーに開示される場合があり、またそれ以外の方法で公開される可能性があると警告しています。共有したくない機密情報は送信しないよう案内されています。
Arenaはどのようなモデルやタスクをランキングしますか？
リーダーボードページは、text、web development、vision、document、text-to-image、image edit、image-to-webdev、search、text-to-video、image-to-video、video edit などのタスク種別ごとに整理されています。agent リーダーボードでは、ツール利用、タスク完了、信頼性、操作しやすさに関する性能が強調されています。
Quick Facts
- カテゴリ
- AIモデルのリーダーボード
- 主な用途
- AIモデルの出力を比較・ランキング・投票する
- ソースドメイン
- arena.ai
- 対応タスク
- text、image、vision、document、search、web dev、video、agents
- 料金ページ
- 公開された料金情報は利用できず、`/pricing` は 404 を返しました
- プライバシーに関する注意
- ユーザー入力はAIプロバイダーに開示される可能性があり、公開される場合があります
Arenaの代替品
书生
書生は、言語・多模態・気象海洋・工業設計・三次元空間・金融・科学発見に対応する通用大規模モデル体系。価格や導入手順の公開情報は未掲載。
OpenAI
OpenAIは、ChatGPT、API、Platformツール、Codexを中心にしたAI研究・展開企業です。会話型AI、モデル開発、製品と研究の最新情報を確認できます。
小艺
小艺は華为が自社開発したAI智慧アシスタント。知識Q&A、文章作成、文書閲覧、コード補助、画像認識に対応し、日常検索やコンテンツ処理、HarmonyOS開発まで幅広く活用できます。
AI Magicx
AI Magicxは、チャット、画像、動画、音声、音楽、メール、開発タスクを1か所で扱える統合AIワークスペース。複数モデルを使い分ける手間を減らします。
Hypertype
Hypertypeは、産業分野のサポートチーム向けAI agent。既存ツールと連携し、企業選定データを活用しながら、反復業務を減らす導入を支援します。
bible.ai
Bible.ai is a Christian AI app for scripture-based conversations, faith questions, and biblical guidance through voice or text. It is positioned for believers and the Christian community rather than general-purpose AI use.