AI 목소리가 사람보다 빠르게 반응하면, 오히려 소름이 끼칩니다.
최신 음성 AI 모델은 150ms 안에 대답하는데, 사람의 평균 반응 속도는 200~300ms거든요.
그 50ms 차이가 신뢰를 무너뜨린다는 걸 알아챈 스타트업이, $1,300만을 걸고 정반대의 답을 만들고 있어요.
다들 AI 목소리는 빠를수록 좋다고 믿죠
대화형 AI를 만드는 사람들 사이에는 오래된 공식이 하나 있어요. 레이턴시를 낮출수록 더 인간처럼 들린다는 거예요. 사람과 사람이 대화할 때 자연스러운 턴 교대 간격은 200~500ms인데, 이 구간을 벗어나면 대화가 "끊긴" 느낌을 준다는 게 그 근거예요.
그래서 업계는 지난 몇 년간 이 숫자를 줄이는 데 매달렸어요. 그 결과 최신 음성 모델은 스트리밍 조건에서 약 150ms 만에 응답하는 수준까지 왔어요. 문제는 이게 사람의 평균 반응 속도(200~300ms)보다 빠르다는 거예요.
속도 경쟁에서는 이겼는데, 정작 통화는 더 어색해졌어요.
근데 그 속도가 오히려 문제였어요
Voximplant CEO Alexey Aylarov는 이 현상을 "불쾌한 골짜기(uncanny effect)"라고 불러요. 그의 설명은 이래요. 사람은 대화 타이밍으로 상대가 듣고 있는지, 서두르고 있는지, 이 대화가 안전한지를 판단한다는 거예요. AI가 완벽하고 깨끗한 문장으로 기계처럼 끼어들면, 상대의 사회적 신호를 무시하는 것처럼 느껴진다는 거죠.
핵심 포인트
레이턴시를 얼마나 낮췄는지보다, 그 틈을 얼마나 인간처럼 채웠는지가 실제 신뢰도를 가릅니다.
Smallest.ai가 이번 시리즈A 투자로 만들고 있는 게 정확히 이 지점이에요. 새 아키텍처 "Hydra"는 듣기·추론·행동·응답을 순서대로 처리하지 않고 동시에 병렬로 처리해요. 복잡한 질문이 들어오면 무리해서 즉답하지 않고, 대형 LLM에 위임하면서 "지금 찾아보고 있어요" 같은 대기 멘트를 자연스럽게 끼워 넣어요.
이게 가능한 이유는 병목의 위치를 알기 때문이에요. 음성 파이프라인에서 LLM 추론 단계가 전체 지연의 40~60%를 차지하거든요. 그 지연을 숨기는 대신, 사람이 실제로 생각할 때 내는 "음, 잠시만요" 같은 틈으로 연출한 거예요. 속도를 무조건 줄이는 게 아니라 인간의 멈칫거림 패턴을 흉내내는 것, 이게 이번 라운드가 겨냥한 지점이에요.
그래서 왜 다들 직접 안 만들고 사서 쓸까요
Smallest.ai 창업자 Sudarshan Kamath의 말이 이 질문에 대한 답이에요. "음성을 극도로 잘하는 것 자체가, 대부분의 회사에게는 핵심 사업에서 자원을 빼앗아가는 일"이라는 거예요. 콜센터 SaaS가 아닌 이상, 턴테이킹 타이밍을 튜닝하고 STT·TTS 모델을 관리하는 건 본업이 아니라는 뜻이죠.
이 주장을 뒷받침하는 숫자도 있어요. Smallest.ai는 고객사들의 상담 비용이 최대 80%까지 줄고 에이전트 생산성이 10배 늘었다고 밝혔어요. RingCentral, Truecaller 등이 이미 고객사로 이름을 올렸고요. 회사 자체도 이 레이어를 통째로 판매해요 — TTS(Waves)와 음성 에이전트(Atoms)를 분당 $0.01부터 API로 제공하죠.
실제로 이 레이어를 아웃소싱하는 흐름은 시장 전체 숫자로도 보여요. 음성 AI에 들어간 VC 투자는 2022년 3억 1,500만 달러에서 2024년 21억 달러로 7배 늘었어요. 2026년 1월 한 달에만 ElevenLabs가 5억 달러, Decagon이 2억 5,000만 달러, Deepgram이 1억 3,000만 달러를 유치했고요. 다만 모두가 낙관적인 건 아니에요 — Anthropic의 Mike Krieger는 여전히 텍스트 인터페이스를 더 신뢰한다고 밝히기도 했어요.
국내에서도 흐름은 비슷해요. 가트너는 2028년까지 기업용 소프트웨어의 33% 이상에 에이전트형 AI가 들어갈 거라 전망했고, 현대차·카카오 같은 대기업도 음성 기반 AI 에이전트를 자체 서비스에 붙이는 중이에요. 결국 남는 선택은 하나예요 — 이 레이어를 직접 만들 것인지, 특화 업체에 맡길 것인지.
세 회사를 나란히 놓고 보면 전략 차이가 뚜렷해요.
| 서비스 | 포지셔닝 | 레이턴시 벤치마크 |
|---|---|---|
| Smallest.ai | 소형 특화모델 + LLM 하이브리드 | TTS 10초 분량 음성을 100ms에 생성 |
| Cartesia | SSM 기반, 온프레미스 배포 가능 | Sonic Turbo 40ms |
| ElevenLabs | 품질·다양성 선두, 콘텐츠 제작 특화 | Flash V2 75ms |
음성 AI 에이전트, 붙이기 전에 체크할 것
당장 이런 아키텍처를 직접 구현할 필요는 없어요. 대신 벤더를 고를 때 아래 5가지는 꼭 확인하세요.
- 레이턴시 기준을 숫자로 못박기
"1초 이내"가 아니라 "300~500ms, 스트리밍 지원 여부"로 기준을 세우세요. 국내 다수 도입 가이드가 제시하는 "1초 이내" 기준은 업계 최신 기준보다 훨씬 느슨해요. - 데모에서 일부러 말 끊어보기
자연스럽게 양보하고 다시 이어가는지, 아니면 그냥 기계처럼 겹쳐 말하는지 직접 테스트하세요. - 복잡한 질문 위임 흐름 확인
LLM으로 넘어갈 때 대기 멘트가 자연스러운지, 침묵이 어색하게 이어지지는 않는지 체크하세요. - 온프레미스·데이터 마스킹 옵션 확인
통화 녹음과 개인정보 처리 방식은 벤더마다 크게 달라요. 배포 환경에 맞는지 미리 확인하세요. - 작은 시나리오 하나로 파일럿부터
전체 상담을 한 번에 넘기지 말고, 반복도 높고 리스크 낮은 시나리오 하나로 먼저 붙여서 지표를 본 뒤 확장하세요.
