오픈소스 모델로 파인튜닝하면 싸다고들 하죠. 맞는 말이에요 — LoRA는 원본 가중치를 그대로 두고 작은 어댑터만 학습시켜서, 전체 파인튜닝의 1% 수준 파라미터만 건드려요. 근데 그 다음 얘기는 잘 안 해줘요. 학습이 끝난 모델을 실제로 서비스에 붙이려면 GPU를 계속 켜놔야 하거든요. Together AI 기준으로 H100 한 대를 24시간 돌리면 한 달에 $4,672.80이에요. 이 틈을 정확히 겨눈 xAI 공동창업자가 창업 2개월 만에 11억 달러를 받았어요.
오픈소스 모델, 확실히 싸긴 해요
먼저 통념부터 짚고 갈게요. 오픈소스 모델을 LoRA로 파인튜닝하는 건 실제로 저렴해요. 원본 모델 가중치는 고정한 채 작은 행렬 두 개만 추가로 학습시키니까, GPU 메모리도 70% 정도 덜 쓰고 학습 속도도 3~5배 빨라요. 그러면서도 성능은 원본 대비 95~99% 수준으로 유지된다고 해요.
가격표로 봐도 확실히 부담이 크지 않아요. Together AI 기준 16B 이하 모델의 LoRA SFT 학습은 100만 토큰당 $0.48, 70B~100B급도 $2.90 수준이에요. 소규모 QLoRA 실험이면 국내 클라우드 GPU 대여 기준으로 10~20만 원 안팎에 끝난다는 사례도 있고요. 학습 자체는 정말 껌값 수준이에요.
그래서 다들 이렇게 생각해요
"오픈소스 모델 쓰면 우리 데이터로 학습시켜서 저렴하게 우리만의 모델을 가질 수 있겠다." 틀린 말은 아니에요. 문제는 그 다음이에요.
근데 학습 끝나고 진짜 청구서가 옵니다
파인튜닝한 모델은 학습만 시켜놓고 끝나는 게 아니에요. 실제로 요청을 받아 응답을 해줘야 하니 어딘가에서 계속 돌아가야 하죠. Together AI 같은 플랫폼에서는 이걸 전용 엔드포인트(Dedicated Endpoint)로 처리하는데, 여기서부터 비용 구조가 달라져요.
| 학습 (LoRA SFT) | 호스팅 (전용 엔드포인트) | |
|---|---|---|
| 과금 기준 | 학습에 쓴 토큰 수 | GPU 가동 시간 |
| 16B 이하 모델 | 100만 토큰당 $0.48 | H100 시간당 $6.49 |
| 24/7 운영 시 | 1회성 비용 | 월 $4,672.80 |
| 트래픽 없을 때 | 해당 없음 | 그래도 계속 청구 |
즉 학습 비용은 보통 저렴하지만, 모델을 계속 띄워두는 호스팅 비용이 훨씬 크다는 게 자주 간과돼요. B200 같은 최신 GPU는 시간당 $11.95까지 올라가고요. 요청이 하루 종일 몰리는 서비스라면 그나마 낫지만, 트래픽이 간헐적인 사내 도구나 스타트업 MVP라면 GPU가 놀고 있어도 청구서는 똑같이 나가요. 인프라 팀 없이 오픈소스 모델을 "우리 것"으로 만들겠다는 계획이 여기서 자주 막혀요.
이 틈을 노려 11억 달러가 몰렸다
River AI는 정확히 이 지점을 공략해요. 창업자 Igor Babuschkin은 DeepMind에서 4년 넘게 AlphaStar(스타크래프트2 AI) 같은 강화학습 프로젝트를 이끌었고, 이후 OpenAI를 거쳐 xAI 공동창업에 합류했던 인물이에요. 2025년 8월 xAI를 떠나 2026년 4월 네바다에 새 법인을 세웠고, 6월에 River AI란 이름으로 스텔스를 벗었어요.
그리고 2026년 8월, 창업 2개월 만에 시드·시리즈A 통합으로 11억 달러를 유치했다고 발표했어요. General Catalyst와 AMP PBC가 주도했고, Nvidia, AMD Ventures, Y Combinator, Temasek이 참여했어요. Dealroom은 이 규모를 "동일 산업·지역 초기 단계 VC 거래 중 상위 1%"라고 평가했어요.
River의 API는 이미 열려 있고, 100만 토큰 단위로 과금돼요. 핵심은 학습과 추론 모두 실제로 쓴 토큰만큼만 청구하고, 유휴 GPU 용량 비용은 아예 없앤다는 거예요. 인프라 팀 없이도 기업이 복잡한 강화학습 실행을 15~20분 안에 끝낼 수 있고, 폐쇄형 모델 대비 2~4배 비용을 아낄 수 있다고 주장해요.
"AI는 개방적이고 자유롭고 저렴해야 하며, 실제로 사용자를 위해 작동하는 느낌을 가져야 합니다."
— Igor Babuschkin, River AI CEO
General Catalyst CEO Hemant Taneja는 이번 투자를 "미국의 오픈웨이트 모델 리더십"이라는 국가 전략 차원으로 설명했어요. Meta, Mistral, 그리고 중국의 DeepSeek·Qwen 같은 오픈 생태계가 커지는 흐름 속에서, River 같은 회사가 개인·기업이 모델을 직접 소유하는 인프라 계층을 채우려 한다는 거예요.
아직 검증 전인 부분
"2~4배 비용 절감"은 River AI 측 발표 수치이고, 제3자 벤치마크로 검증된 건 아니에요. 밸류에이션이나 정확한 GPU 구성 같은 세부사항도 공개되지 않았어요. 창업 2개월 만의 대규모 투자인 만큼, 과열된 AI 펀딩 시장을 반영한다는 시각도 있어요.
오픈소스 모델 파인튜닝, 비용 함정 피해서 시작하는 법
- 목적부터 좁히기
말투나 형식만 맞추면 되는 일이면 LoRA로 충분해요. 도메인 지식 자체를 새로 넣어야 한다면 풀 파인튜닝이나 RAG를 같이 고려하세요. - 학습비와 호스팅비를 반드시 나눠서 견적내기
학습 견적만 보고 "저렴하네"라고 판단하지 마세요. 만든 모델을 한 달 동안 얼마나 자주 호출할지부터 계산하고, 거기에 맞는 호스팅 방식을 따로 견적내세요. - 트래픽 패턴에 맞는 과금 모델 고르기
요청이 하루 종일 꾸준하면 전용 엔드포인트(시간당 과금)가 더 쌀 수 있어요. 간헐적이거나 아직 트래픽을 예측하기 어렵다면 토큰당 과금이 안전해요. - 지금 바로 써볼 수 있는 곳부터 비교하기
Together AI, Fireworks AI는 이미 GA 상태고 LoRA 파인튜닝을 지원해요. Fireworks는 파인튜닝한 LoRA 어댑터도 베이스 모델과 같은 토큰당 가격으로 서빙해줘서 비교 기준으로 삼기 좋아요. - River AI는 지켜보되 서두르지 않기
API는 열려 있지만 창업 2개월 차 회사예요. 지금 당장 프로덕션에 급하게 걸 게 아니라면, 기존 옵션으로 먼저 시작하고 River의 실제 비용 절감이 검증되는지 지켜보는 편이 안전해요.
