AIの案が4つあるのに、どれが良いのか説明しにくいなら
複数のAIモデルにWebサイトやロゴを任せると、結果はすぐにたまります。問題はその後です。ある案はすっきりしていてもブランドに合わず、別の案は目を引くものの情報の階層が曖昧です。結局、モデル名や第一印象に頼って一つを選びがちです。
DesignArenaが掘り下げたのは、まさにこの曖昧な選択です。同じプロンプトで作った結果からモデル名を隠し、二つずつ繰り返し選ばせ、その選択をランキングデータに変えます。「好み」を説明するよう求める代わりに、二つのうちどちらを選んだかを集める仕組みです。
この方法はモデル候補を絞るのに役立ちますが、1位だからといってアクセシビリティやコンバージョン率まで最も優れているとは限りません。DesignArenaのランキングが測っているのは、参加者が比較の場面で示した選好だからです。
1回の評価には5回の選択が含まれます
公式の方法論を見ると、単純な人気投票よりも緻密な構造です。1セッションで異なる4つのモデルが同じプロンプトを受け、ユーザーはモデル名を知らない状態で二つの結果を比較します。最初の2回の選択で勝者と敗者を分け、続く対戦とタイブレーカーまで、合計5回の選択で1位から4位を決めます。
ここから持ち帰れる設計原則は、「匿名・同一入力・反復選択」です。 モデル名を隠してブランドに対する先入観を減らし、入力を同じに保って比較対象を揃え、1回の選択ではなく複数のペアを比較して全体の順序を作ります。
累積リーダーボードでは、すべてのペア比較に同じ重みを与え、Bradley–Terryモデルでレーティングを計算します。主要チャートでは比較回数が50回未満のモデルを除外し、通常は200回に達する前の結果に暫定表示を付けます。ただし、これはランキングの安定性のための運用基準であり、デザインのユーザビリティや事業成果を検証する基準ではありません。
6か月でARRが12倍というのは、会社が公表した成長数値です
運営会社Intelligenceの共同創業者であるGrace Liは、年間経常収益（ARR）が6か月間で500万ドルから6,000万ドルに増え、サービスが190か国以上の550万人に到達したと発表しました。計算上は12倍の成長です。 会社は2026年8月にIndex Ventures主導で790万ドルのシード投資を受けたことも発表しており、TechCrunchも当時の会社説明に基づきARR 6,000万ドルと報じました。
目を引く数値ですが、実際に認識された売上や収益性と同じものとして読むべきではありません。ARRの算定方法、契約期間、顧客維持率、粗利益率は公開されておらず、利用者数も創業者発表の550万人とTechCrunch報道の530万人の間で差があります。確認できる結論は、会社発表ベースでARRが急速に増加したというところまでです。
類似の比較サービスを運営していたYuppの閉鎖も、DesignArenaの成功の公式を単純化すべきでない理由です。Yuppは800のモデルを比較し、選好データを研究所に販売しようとしており、会社発表ベースで130万人の利用者と一部の顧客を確保していました。2024年に3,300万ドルを調達しましたが、サービス開始から1年を迎える前に閉鎖しました。 創業チームは、プロダクトマーケットフィットが十分ではなかったことと、モデル環境が急速に変化したことを説明しています。公開資料だけで、「汎用的だったため失敗し、デザインに集中したため成功した」という単一の原因を確定することはできません。
最初の実験はリーダーボードではなく評価基準から始めましょう
DesignArenaは、Webサイト、スライド、モバイルアプリ、ゲーム、画像、ロゴ、SVGなど、複数形式の結果を比較できるように構成されています。対応形式とモデルは変わる可能性があるため、開始画面で現在提供されている項目を先に確認してください。
以下の実習の目的は、最も順位の高いモデルを見つけることではなく、同じ基準で匿名の結果を最後まで比較してみることです。
- 共有可能な入力だけを用意します。 サービスは18歳以上を対象としています。プロンプト、アップロードしたメディア、生成結果、投票は収集され、第三者のAI提供者による評価・改善・開発または潜在的な学習のために共有される場合があるため、顧客資料、個人情報、未公開のブランド資産は入力しないでください。
- 評価基準を先に三つ固定します。 たとえばB2Bダッシュボードであれば、「情報の階層」「エラー防止」「WCAGコントラスト」のように、結果を見た後で変えない基準を書き留めます。
- DesignArenaの開始画面でログインします。 生成結果を受け取るにはログインが必要です。初めて利用する場合は、生成前にSign Inを押して既存アカウントでログインするか、案内に従ってアカウントを作成してください。
- 形式を一つ選び、同じ依頼文で生成を始めます。 最初の入力は、次のように絞れます。「B2B分析ツール用のデスクトップオンボーディングダッシュボードを作成して。左側ナビゲーション、データ接続の進行状況、次に取る一つの行動を強調するカードが必要です。実在の顧客名やデータは使わないで。」
- モデル名を推測せず、あらかじめ決めた基準で5回選択します。 公式手順では、4つのモデルによる匿名の結果を二つずつ比較した後、1位から4位までの順序が得られます。
- 結果は候補を減らすためのシグナルとしてのみ記録します。 公開リーダーボードと順序が違っていても、間違った結果ではありません。実際の顧客層を対象に、アクセシビリティ確認、ユーザビリティ課題、またはコンバージョン実験を別途通過して初めて、製品判断の根拠になります。
最初の成功基準は、きれいな案を1枚得ることではありません。 同じ入力と基準を保ったまま5回の選択を終え、なぜ1位を選んだのかを三つの基準で説明できれば十分です。希望する形式が停止されていたり必要なモデルがなかったりする場合は、利用可能な形式で評価構造だけを練習し、その順位を実際のプロジェクトに持ち込まないでください。
さらに深く掘り下げるなら
Methodology 4つのモデルを5回比較する対戦方式、Bradley–Terryレーティング、暫定結果の基準を確認できます。 designarena.ai
Design Arena creators raise $7.9 million to bring taste to AI models 投資内容と、製品が評価データを販売するようになった背景を創業者インタビューとともに扱っています。 techcrunch.com
PRIVACY NOTICE プロンプトとアップロード資料が何のために収集・共有される可能性があるかを確認できます。実際の作業物を入力する前に読んでおきたい資料です。 designarena.ai
