AI 모델 두 개를 나란히 놓고 "뭐가 더 나아요?" 물어보는 사업이 있어요.

한 곳은 이걸로 3,300만 달러를 태우고 얼마 못 가 문을 닫았어요. 다른 한 곳은 똑같은 질문으로 6개월 만에 매출을 12배 키우고, 어제 790만 달러를 더 받았고요.

3초 요약
AI 결과물 A/B 투표 취향 데이터 수집 프론티어 랩에 판매 6개월 ARR 12배 근데 같은 모델로 망한 곳도 있다

다들 벤치마크 점수로 AI 모델을 고른다고 믿죠?

MMLU, GSM8K 같은 벤치마크에서 요즘 프론티어 모델들은 이미 만점에 가깝거나 인간 전문가를 넘어서요. 근데 그 점수가 실제로 써봤을 때의 느낌이랑 얼마나 관련 있을까요?

DesignArena를 만든 Grace Li와 공동창업자들은 2025년 하버드를 졸업하기 직전에 이 사업을 시작했어요. 원래 팀은 AI 게임 엔진을 만들고 있었는데, 문제가 하나 있었어요. 기술적으로는 완벽하게 작동하는데, 사람이 해보면 재미가 없었던 거예요. Li는 이걸 "이 모델들이 디자인 영역에서 개선하지 못하게 막는 누락된 병목"이라고 표현했어요. 벤치마크를 통과하는 것과 사람 마음에 드는 건 완전히 다른 문제였던 거죠.

그래서 팀은 방향을 완전히 틀었어요. 게임을 계속 만드는 대신, 대규모로 사람 취향을 수집하는 플랫폼을 만들기로 한 거예요. 그렇게 나온 게 DesignArena예요. 사용자가 프롬프트 하나를 넣으면 여러 AI 모델이 각자 웹사이트·이미지·프레젠테이션·로고 같은 걸 만들고, 사람이 둘 중 하나에 투표하는 방식이에요. 이 투표 데이터를 프론티어 AI 랩에 판매하는 게 비즈니스 모델이고요. Li는 첫 계약을 튼 지 일주일 만에 "그 뒤로는 역사가 됐다"고 말해요.

12배
6개월 ARR 성장(5백만→6천만 달러)
10명
이걸 만든 팀 규모
190+
서비스 중인 국가 수

근데 왜 Yupp는 망하고 DesignArena는 떴을까

사실 "AI 두 개 보여주고 투표시키기"는 새로운 아이디어가 아니에요. Yupp라는 스타트업도 똑같은 걸로 시작했어요. a16z crypto의 Chris Dixon이 이끄는 라운드에서 3,300만 달러를 받았고, 800개 넘는 모델을 비교할 수 있는 플랫폼을 만들어서 130만 명을 모았어요. 근데 결국 문을 닫았어요.

망한 이유가 흥미로워요. OpenAI, Anthropic 같은 대형 랩들은 이미 자체 RLHF 파이프라인을 갖추고 있었고, Scale AI 같은 회사가 데이터 라벨링 시장을 선점한 상태였어요. Yupp의 잠재 고객이 될 만한 곳들은 이미 각자 피드백 루프를 갖고 있었던 거예요. 범용으로 넓게 가려다가, 누구에게도 대체 불가능한 존재가 되지 못한 셈이죠.

반면 텍스트 응답을 비교하는 Arena(옛 이름 LMArena, 그 전엔 Chatbot Arena)는 정반대 길을 걸었어요. 2023년 4월, UC버클리 연구자 세 명이 시작한 사이드 프로젝트였는데, 2026년 1월 17억 달러 밸류에이션으로 1억 5,000만 달러를 유치했어요. 당시 유료 "AI Evaluations" 서비스의 연 매출 실행률은 3,000만 달러를 넘긴 수준이었는데, 지금은 1억 달러를 넘겼어요. CEO Anastasios Angelopoulos는 "AI가 사람한테 어떤 가치를 주는지 모르면 책임감 있게 배포할 수 없다"고 말해요.

YuppDesignArena · Arena
대상 범위800+ 모델, 전 영역 범용디자인 특화 / 텍스트 응답 특화 — 니치
기업 고객 상황이미 자체 피드백 루프 보유직접 계약으로 프론티어 랩에 데이터 공급
펀딩·결과3,300만 달러 조달 후 폐업790만 달러 시드로 6개월 ARR 12배 / 1억 5,000만 달러 시리즈A

같은 "사람한테 물어보기" 모델인데 결과가 갈린 이유는 하나예요. 아무도 대체할 수 없는 좁은 영역에서, 프론티어 랩이 진짜 아쉬워하는 데이터를 팔았는가. DesignArena는 지역·시간대별 취향 변화까지 추적한다는 걸 무기로 내세웠어요. 예를 들어 아시아권 사용자의 웹 대시보드 투표는 유럽·북미보다 훨씬 맥시멀리즘 스타일을 선호하는 식이에요.

지금 당장 써먹는 법

이 이야기가 재밌는 건 여기서 끝나지 않는다는 거예요. DesignArena는 지금 누구나 무료로 써볼 수 있는 서비스예요. 벤치마크 대신 실전에서 바로 써먹는 법을 정리했어요.

  1. AI 시안, 사람한테 검증받기
    designarena.ai에서 프롬프트 하나만 넣으면 여러 모델이 웹사이트·이미지·프레젠테이션을 동시에 만들어줘요. 내가 만든 결과물이 괜찮은지 감이 안 잡히면 여기서 A/B로 비교해보세요.
  2. 도구 고를 때 벤치마크 대신 리더보드 확인
    웹사이트, 로고, 프레젠테이션 같은 카테고리별로 실사용자 투표 순위가 따로 있어요. "이 모델이 코딩은 잘하는데 디자인 감각도 좋을까"를 스펙 표 대신 실제 투표 결과로 확인할 수 있어요.
  3. 팀 안에 미니 A/B 루프 만들기
    새 랜딩페이지나 카피 시안이 두 개 이상 나오면, 팀 Slack이나 간단한 폼으로 "뭐가 더 나아요" 투표를 습관화하세요. DesignArena가 수백만 명 규모로 하는 걸, 팀 안에서 수십 명 규모로 재현하는 거예요.
  4. 업로드 전에 이용약관 한 번 더 확인
    이런 플랫폼에 올린 시안은 취향 데이터로 프론티어 랩에 판매될 수 있어요. 클라이언트 기밀이 들어간 작업물이라면 올리기 전에 확인하세요.