온보딩 도구를 바꿀 근거가 ‘전환 1.4배’뿐이라면
셀프서브 SaaS의 가입자는 들어오는데 첫 설정에서 계속 빠져나가면, 화면을 보며 대신 클릭해주는 AI가 솔깃해집니다. 실제로 Nimbia는 고객사 WeMind에서 유료 전환이 1.4배 높아졌다고 소개해요.
다만 구매 회의에서 먼저 꺼내야 할 숫자는 1.4배도, 홈페이지에 크게 보이는 49%→70%도 아닙니다. 한 달간 신규 가입자를 무작위로 나눈 실험에서 첫 주 활성화율이 45%에서 68%로 달라졌다는 결과예요. 인과적으로 비교하기에 더 나은 숫자와 단순 도입 전후 관찰치를 분리해서 봐야 합니다.
한 사례에 서로 다른 두 비교가 들어 있습니다
WeMind 사례에는 무작위 A/B 테스트와 전면 도입 전후 비교가 함께 나옵니다. 둘은 비슷한 상승폭을 보이지만 근거의 성격이 달라요.
| 비교 | 첫 주 활성화율 | 계산한 변화 | 읽는 방법 |
|---|---|---|---|
| 한 달간 무작위 A/B 테스트 | 기존 온보딩 45% Nimbia 68% | +23%p 상대 약 +51.1% | 같은 가입 흐름에서 두 방식을 비교한 실험 결과 |
| 전면 도입 전후 | 도입 전 수개월 49% 도입 후 전체 가입자 70% | +21%p 상대 약 +42.9% | 제품·마케팅·계절·가입자 구성이 함께 달라질 수 있는 관찰치 |
따라서 49%→70%를 A/B 테스트의 대조군과 처리군으로 소개하면 안 됩니다. 공식 고객 사례가 밝힌 무작위 실험의 두 값은 45%와 68%이고, 49%와 70%는 각각 전면 도입 전 수개월과 도입 후 전체 가입자의 수치입니다.
유료 전환 1.4배는 같은 한 달짜리 무작위 실험에서 Nimbia군이 기존 온보딩 제품군보다 더 자주 유료로 전환됐다는 결과입니다. 하지만 양쪽의 원시 전환율과 사용자 수가 공개되지 않아 절대 상승폭이나 신뢰구간, 매출 효과는 계산할 수 없습니다.
현재 공개 정보로 말할 수 있는 범위
무작위 비교였다는 점은 기존 글에서 알 수 없었던 중요한 보강입니다. 반면 각 군의 표본 수, 활성화로 집계한 구체 행동, 배정 구현, 유료 전환 관찰 기간은 여전히 비공개예요. 실험 중 마케팅도 고정되지 않았다고 공식 사례가 밝히므로, 45%→68%를 모든 SaaS에 적용되는 효과로 일반화할 수는 없습니다.
효과가 났다면 줄어든 것은 ‘설명’보다 ‘실행 거리’입니다
Nimbia는 사용자의 화면을 보면서 음성으로 대화하고, 제품 안에서 이동하거나 버튼을 누르고 필드를 채우는 프런트엔드 임베드형 에이전트입니다. 문서와 기존 온보딩 통화 녹화 또는 테스트 계정을 제공하면 워크스루를 만들고, 애플리케이션에 스크립트와 사용자 문맥을 추가해 호출하는 흐름이 공개돼 있습니다.
이 방식은 사용자가 도움말을 읽고 다시 제품으로 돌아와 직접 설정하는 간격을 줄일 수 있어요. 데이터 연결, 프로젝트 생성, 첫 결과물 제작처럼 여러 행동을 마쳐야 가치가 보이는 제품이라면 특히 검토할 만합니다. 반대로 첫 가치가 한두 번의 클릭으로 드러나는 제품에서는 음성 호출 자체가 새 마찰이 될 수 있습니다.
기능 경계도 분명합니다. Product Hunt의 제작자 답변에 따르면 사용자가 다른 애플리케이션으로 이동하면 Nimbia가 그 외부 앱 안에서 계속 도와줄 수는 없습니다. 이메일 인증이나 외부 결제처럼 제품 밖으로 나가는 단계가 핵심이라면, 데모 전에 전체 온보딩 경로를 나눠 확인해야 해요.
첫 행동은 구매 상담이 아니라 지표 두 줄 분리하기입니다
WeMind 공식 사례를 열어 아래 두 기록을 별도로 적어보세요. 이 구분만 해도 공급사 사례를 자사 실험 목표로 잘못 복사하는 일을 피할 수 있습니다.
- 실험값과 관찰값을 분리합니다.
무작위 실험은 ‘기존 온보딩 45%, Nimbia 68%’, 전면 도입 전후는 ‘49%, 70%’로 기록하세요. 유료 전환 1.4배 옆에는 ‘원시 비율·표본 수 비공개’라고 붙입니다. - 우리 제품의 활성화를 한 문장으로 고정합니다.
예를 들어 “신규 셀프서브 워크스페이스가 가입 후 7일 안에 실제 데이터를 연결하고 첫 결과물을 만든 비율”처럼 대상, 행동, 기한을 씁니다. 기존 코호트에서 이 행동과 30일 유지가 연관되는지도 확인하세요. Amplitude 역시 가치 경험 행동을 합의하고 장기 유지와의 관계를 행동 데이터로 확인하도록 안내합니다. - 하나의 단위로 50:50 배정합니다.
B2B 협업 제품이라면 같은 회사 구성원이 서로 다른 온보딩을 보지 않도록 워크스페이스 단위를 우선 검토하세요. 대조군에는 현재 흐름을, 처리군에는 같은 가입 흐름과 Nimbia 진입점을 제공합니다. 배정 단위와 지표 분석 단위는 일치해야 합니다. - 시작 전에 멈출 조건을 정합니다.
기존 활성화율, 의미 있다고 볼 최소 효과, 유의수준과 검정력을 정한 뒤 필요한 표본과 기간을 계산하세요. 결과가 좋아 보인다는 이유로 중간에 끝내면 우연한 우세를 선택할 위험이 있습니다. - 실제 배포와 닮은 테스트 계정에서 행동 경계를 확인합니다.
정상 경로뿐 아니라 권한 부족, 빈 데이터, 느린 화면, 외부 앱 이동을 넣습니다. 개인정보 노출, 잘못된 클릭·입력, 사용자 중단, 사람 연결과 사고 대응 조건도 공급사와 문서로 확인하세요. NIST는 제3자 생성형 AI 통합에 대해 배포 전 평가와 개인정보·보안·공급사 위험 검토를 권고합니다.
첫 성공 기준은 Nimbia군의 활성화율이 높게 나오는 것만이 아닙니다. 각 군의 표본 수와 원시 활성화율, 절대·상대 차이, 불확실성을 계산할 수 있어야 하고, 유료 전환과 30일 반복 사용도 같은 방향이어야 해요. 잘못된 조작, 중단, 사람 연결, 지원 요청은 별도의 안전 지표로 함께 보세요.
1.4배는 도입 결론이 아니라 실험 가설입니다
WeMind 사례는 단순한 도입 전후 자랑만은 아닙니다. 같은 가입 흐름에서 한 달 동안 신규 사용자를 무작위로 나눴다는 점 덕분에, 화면 조작형 AI가 첫 가치까지의 실행 거리를 줄일 가능성을 이전보다 구체적으로 보여줍니다.
그래도 표본 수와 원시 유료 전환율이 없으면 효과의 정밀도와 사업 가치를 판단할 수 없습니다. 45%→68%는 시도해볼 이유이고, 각 군의 분모와 장기 행동까지 확보한 자사 실험이 구매할 이유입니다.
