AI 프로젝트, 또 망했어요?
2025년 기준, 엔터프라이즈 AI 실패의 65%는 모델이 아닌 컨텍스트 문제에서 비롯됐어요. 더 좋은 LLM을 써도, RAG를 열심히 튜닝해도 — 같은 문제가 반복되는 팀이 있다면, 범인은 모델이 아닐 가능성이 높아요.
RAG가 항상 답은 아니에요
RAG(Retrieval-Augmented Generation)는 이제 AI 도입의 사실상 표준이 됐어요. PDF 집어넣고, 벡터 DB 만들고, "이 문서에서 관련 내용 뽑아서 LLM한테 넘겨줘" — 이 흐름 자체는 맞아요. 근데 막히는 경우가 있어요.
구체적으로 어떤 상황이냐면:
- PDF 보고서 + 엑셀 데이터 + CCTV 영상이 동시에 연관돼야 할 때
- "이 지점 안전 사고 발생 → 당일 날씨 데이터 → 이전 주 공정 일정"을 연결해야 할 때
- 문서 안이 아닌, 서로 다른 데이터 소스 사이의 관계를 찾아야 할 때
RAG는 문서 안에서 관련 청크를 꺼내오는 데 특화돼 있어요. 한 분석에서 "RAG는 마치 사서가 세 권의 책을 빠르게 꺼내오는 것"이라고 표현했는데, 문제는 그 책들 사이의 관계를 RAG는 알 수 없다는 거예요. 구조화된 엔티티 컨텍스트 없이는 정확도가 60% 수준에 머물 수 있어요.
엔터프라이즈 환경은 더 복잡해요. 조직이 보유한 데이터는 수조 개의 토큰에 달하지만, 현재 LLM의 컨텍스트 윈도우는 최대 100만~200만 토큰 수준이에요. 그리고 모델들은 이론치의 30~40% 전에 성능이 떨어지기 시작해요. Gartner는 2026년까지 기업의 60%가 AI 프로젝트를 포기할 것으로 예측했는데, 이유를 "데이터 기반 부재"로 진단했어요.
모델 이전에 레이어가 하나 더 있다면
Amazon, Meta, Google, NASA 출신 연구진이 2026년 5월 스텔스에서 나왔어요. 이들이 만든 건 더 강한 모델이 아니었어요. 모델이 데이터를 받기 전에 먼저 관계 구조를 만드는 레이어였어요.
Graphon AI는 "사전 모델 인텔리전스 레이어(pre-model intelligence layer)"라는 이름으로 $830만 달러 시드 투자를 받으며 공개됐어요. 리드 투자사 Novera Ventures 외에 Perplexity Fund, Samsung Next, Hitachi Ventures가 참여했어요.
이름의 유래가 흥미로워요. "Graphon"은 수학적 개념으로, UC버클리 컴퓨팅학부 학장 Jennifer Chayes와 Christian Borgs가 2008년에 정립한 "점점 커지는 네트워크에서 관계 구조를 표현하는 연속 함수"예요. 아무리 복잡한 데이터 네트워크도 수학적으로 표현할 수 있다는 아이디어예요.
실제 동작 방식은 이렇습니다. 모델이 데이터를 받기 전에, "Graphon 함수"가 영상·음성·문서·이미지·데이터베이스를 가로질러 자동으로 관계를 발굴하고 "지속적 관계 메모리(persistent relational memory)"를 만들어요. 이 구조화된 메모리를 어떤 파운데이션 모델이든, 어떤 에이전트 프레임워크와도 연결할 수 있어요.
| RAG 방식 | 사전처리 레이어 방식 | |
|---|---|---|
| 동작 시점 | 질문 시점에 관련 청크 검색 | 데이터 수집 시점에 관계 구조화 |
| 관계 파악 | 문서 내 관계만 가능 | 멀티 소스 간 크로스 관계 발굴 |
| 데이터 유형 | 주로 텍스트 문서 | 영상·음성·DB·이미지 포함 |
| 정확도 | 구조 없이 60% 수준 | 구조화 적용 시 90%+ |
| 모델 의존 | 특정 모델에 최적화 필요 | 모든 파운데이션 모델 호환 |
GS그룹이 이미 쓰고 있어요
이론 얘기가 아니에요. 한국 대기업 GS그룹이 이미 Graphon을 실제 운영에 쓰고 있어요.
두 가지 사용 케이스가 공개됐어요. 첫째는 편의점 고객 동선 분석이에요. 매장 CCTV 영상 + 구매 이력 + 매장 레이아웃을 멀티모달로 연결해서 고객 이동 패턴을 분석해요. 텍스트만 다루는 RAG로는 영상과 데이터베이스를 같이 연결하기 어려운 케이스죠.
둘째는 건설 현장 안전 모니터링이에요. CCTV 영상 + 센서 데이터 + 안전 규정 문서를 실시간으로 연결해 안전 위반을 자동 감지해요. GS 부사장 Ally Kim은 "Graphon이 GS그룹 AI 전환에서 귀중한 파트너였다"고 평가했어요.
투자자가 이 기회를 보는 시각
Novera Ventures의 Arvind Gupta는 "Graphon은 인텔리전스가 일어나는 장소를 바꾼다. 대부분의 기업들은 더 큰 모델을 만들려 하고 있다"고 말했어요. 모델 경쟁이 아닌 데이터 레이어 경쟁으로 판을 옮기는 전략이에요.
내 팀 AI 실패 원인, 지금 진단해보세요
-
컨텍스트 실패 유형 파악하기
AI 응답 오류가 "관련 정보 없음" 유형인지, "잘못된 연결" 유형인지 분류해보세요. "관련 정보 없음"은 검색 개선으로 해결 가능하지만, "잘못된 연결"은 데이터 구조 문제일 가능성이 높아요. -
데이터 소스 연결 지도 그리기
AI가 참조해야 하는 데이터 유형을 나열해보세요. 텍스트 문서만이면 RAG로 충분해요. 영상·이미지·DB·IoT 데이터가 혼재하면 크로스 소스 관계 구조화가 필요한 케이스예요. -
GraphRAG로 먼저 시도해보기
Microsoft의 GraphRAG는 오픈소스로 제공돼요. RAG 대비 정확도가 향상되는지 파악하는 중간 단계로 활용할 수 있어요. 단, 온톨로지 설계에 시간이 걸릴 수 있어요. - 멀티모달 케이스라면 사전처리 레이어 검토하기
영상·센서·문서 데이터를 함께 처리해야 한다면, Graphon AI 같은 pre-model 레이어가 적합해요. 특히 제조·물류·리테일·건설처럼 산업 멀티모달 데이터가 많은 팀에게 가장 빠른 ROI를 기대할 수 있어요. - 데이터 거버넌스 점검하기
어떤 레이어를 써도, AI에 들어가는 데이터가 분류되고 권한이 정리돼 있어야 해요. AI 준비가 된 데이터 실천법을 가진 기업은 37~40%에 불과해요. 기술 도입 전 이 기반부터 점검하세요.
