방 스캔을 3D 장면으로 · scan-to-threejs

아이폰으로 방을 한 바퀴 찍어 맡기면, 코딩 AI가 브라우저에서 걸어 다닐 수 있는 3D 방으로 다시 지어요

scan-to-threejs는 개발자 Wes Bos가 10월 22일 내놓은 스킬과 아이폰 스캔 앱이고, 아래 사례는 모두 제작자의 시연이에요. LiDAR가 달린 아이폰으로 방을 걸어 다니며 찍고 그 자료를 코딩 AI에게 주면, AI는 만든 3D 장면을 사진을 찍은 자리와 각도에서 그려 원본 사진과 견주며 고치기를 되풀이해요. 그렇게 책상, 선반, 3D 프린터를 하나씩 따로 고칠 수 있는 3D 장면을 만들어 줘요. 제작자가 보여 준 장면과 써 본 사람들의 첫 반응을 모아 봤어요.

2026.10.26·사례 2

Wes Bos 출시 글(X), 2026-10-22(10월 26일 조회 384,737, 북마크 5,981)

@deziomakes 유튜브 댓글

wesbos/3d-model-anything — README

10월 22일, 개발자이자 팟캐스트 Syntax 진행자인 Wes Bos가 X에 14초짜리 영상을 올렸어요. 3D로 다시 지은 자기 사무실에서 조명, 벽 패널, 쿠션, 의자가 회색 바닥 위로 날아가 흩어지고, 이어서 사무실 물건이 바닥에 줄 맞춰 늘어서는 장면이에요. 나흘 뒤인 10월 26일, 이 게시물은 조회 38만 회를 넘겼고 북마크는 5,981번 눌렸어요.

같은 날 Wes가 올린 유튜브 영상에는, 3D 설계 프로그램 Fusion으로 자기 집의 방과 가구를 직접 모델링해 온 시청자 @deziomakes가 이런 댓글을 달았어요. "This is incredible. … I modeled most of my rooms and most of my furniture, decor, textures, lighting the hard way. … I probably have 3000 man-hours put into that.(대단하다. … 나는 방 대부분과 가구, 소품, 질감, 조명을 손으로 어렵게 모델링했다. … 거기에 3천 시간쯤 들였을 것이다.)"

이 방법은 scan-to-threejs라는 이름으로 GitHub 저장소에 무료로 열려 있어요(MIT 라이선스). LiDAR가 달린 아이폰·아이패드로 방을 찍고, 그 자료를 코딩 에이전트에게 넘겨 스킬로 짓게 하는 방식이에요. Wes는 Codex를 썼어요.

스캔은 벽과 문의 배치, LiDAR로 잰 치수, 찍은 자리와 각도가 기록된 사진 수백 장을 남겨요. AI는 만든 3D 장면을 사진을 찍은 바로 그 자리와 각도에서 그려 보고, 원본 사진과 견줘 가장 크게 어긋난 곳부터 고치기를 되풀이해요.

Reference 01제작자 공식 시연 · Wes Bos 유튜브 영상(OpenAI 협찬, Codex 사용)

방 네 곳을 찍어 AI에게 이어 붙이게 했더니, 그 안을 뛰어다닐 수 있는 3D 집 한 채가 됐어요

Wes는 사무실, 아내의 작업실, 놀이방, 홈짐 네 곳을 찍어 하나로 이은 3D 집을 보여 줘요. 그 안을 뛰어다닐 수 있어요. 사무실은 "modeled to the inch(인치 단위까지 맞췄다)", 홈짐은 "modeled down to every single little piece of equipment(작은 운동 기구 하나하나까지 만들었다)"라는 게 그의 말이에요.

영상은 방법 세 가지를 차례로 보여 줘요. 사무실 사진만 Codex에 넣었을 때는 "worked okay … AI can only go so far with depth detection inside of photos(그럭저럭 됐다 … AI가 사진 속에서 깊이를 알아내는 데는 한계가 있다)"였어요. 거실을 Polycam 앱으로 스캔해 Codex에 넣었을 때는 "pretty good … but it's not perfect(꽤 좋지만 완벽하지는 않다)"였고, 장난감 차와 소파 쿠션, 베개가 실제와 다르게 나왔어요. 직접 만든 앱과 스킬을 쓴 방법을 그는 "the holy grail(가장 찾던 방법)"이라고 불렀어요.

스킬은 파이썬 스크립트와 지시문을 묶은 것이에요. 책상의 나무결이나 흡음재 무늬 같은 질감도 사진에서 가져와요. 결과가 덜 됐다 싶으면 Wes는 "Not good enough. Keep going. Keep going.(아직 부족해. 계속해. 계속해.)"라고 더 밀어 줬어요. 모델이 품질과 토큰 아끼기 사이에서 균형을 잡으려는 것 같다는 게 그의 설명이에요.

이 영상은 OpenAI 협찬이에요. Wes는 영상에서 "I built this whole thing in Codex with GPT-6 Astra. I would have anyways, but thank you to OpenAI for sponsoring this video.(이 모든 걸 Codex에서 GPT-6 Astra로 만들었다. 어차피 그렇게 했겠지만, 이 영상을 후원해 준 OpenAI에 감사한다.)"라고 밝혔어요.

Reference 02제작자 공식 시연 · Wes Bos 블로그 글과 실시간 데모

아이폰으로 찍은 사무실을, 누구나 브라우저에서 열어 걸어 다니며 둘러보는 3D 데모로 공개했어요

Wes는 블로그에 "I scanned my office with my iPhone, then used Codex to rebuild it in Three.js. My desk, the shelves, the 3D printers, the wall of filament rolls. All editable geometry, running in a browser.(아이폰으로 사무실을 찍은 뒤 Codex로 Three.js에서 다시 지었다. 책상, 선반, 3D 프린터, 필라멘트 롤 벽까지. 전부 고칠 수 있는 도형이고, 브라우저에서 돈다.)"라고 적었어요. 이 사무실은 실시간 데모로 열려 있어서 돌하우스, 배치도, 물건을 줄 맞춰 늘어놓은 놀링, 안을 걷는 보기로 직접 둘러볼 수 있어요.

스캔이 남기는 자료는 맡는 일이 저마다 달라요. 벽과 문 배치(RoomPlan)는 "Great for the layout; pretty basic to look at(배치를 잡기에는 좋지만 보기에는 단순하다)"이고, LiDAR로 잰 표면(메시)은 작은 물건과 세부를 맞추려면 더 손봐야 해요. 그 빈 곳을 사진이 재질, 라벨, 케이블, 선반 위 물건으로 채워요.

한 번에 끝나지는 않았어요. Wes는 "This took a lot of iteration. Getting the layout right is one pass. Getting the materials, lighting, shadows and tiny details right is a whole other job.(반복을 많이 했다. 배치를 맞추는 건 한 번이면 된다. 재질, 조명, 그림자, 작은 세부를 맞추는 건 전혀 다른 일이다.)"라고 적고, "the measurements are still worth checking against the real thing(치수는 여전히 실제 물건과 맞춰 볼 만하다)"라고 덧붙였어요.

벽 두 면을 잘라 내고 다시 지은 사무실 3D 렌더. "Syntax" 스케이트보드와 "ON AIR" 사인이 걸린 책장, 원목 스탠딩 책상과 모니터 암, 의자, 러그, 소프트박스, 필라멘트 롤 선반, 작업대 위 3D 프린터와 냉장고, 라운지 체어, 로봇청소기 두 대 — 다시 지은 Wes의 사무실이에요. 블로그 캡션은 "My office rebuilt as an editable Three.js scene(고칠 수 있는 Three.js 장면으로 다시 지은 내 사무실)"이에요.

Wes가 README에 적은 요청

Use scan-to-threejs to rebuild the room in data/captures-in/my-room. Inspect the measurements and photos, create an editable scene, and compare rendered views with the original photographs.

my-room 자리에 내 스캔을 푼 폴더 이름을 넣어요.

사람들의 반응

좋았다는 반응

“… In this case you give the agent ground truth to check itself against and quality goes way up.”
… 이 경우엔 에이전트가 스스로 견줘 볼 정답을 주니 품질이 확 올라간다.
Trevin Chow(제품 리더) · Xx.com
“What I like here is the checking loop. Every object has a reference, and the model keeps going back to it, which is how a good set builder or 3D artist works too. Scan one room you know well, and measure a few objects against the model before you build anything on top of it.”
여기서 마음에 드는 건 확인하는 루프다. 물건마다 기준이 있고, 모델은 계속 그 기준으로 돌아간다. 좋은 세트 제작자나 3D 아티스트도 그렇게 일한다. 잘 아는 방 하나를 찍어서, 그 위에 무언가를 만들기 전에 물건 몇 개를 모델과 견줘 재 보라.
Laurence Moroney(AI 책 저자, 전 Google·Microsoft) · Xx.com
“I've been working on my house for the last couple of days, it's a very long process, but it's quite fun and I can see it getting better on every iteration.”
며칠째 우리 집을 작업하고 있다. 아주 오래 걸리지만 꽤 재미있고, 반복할 때마다 나아지는 게 보인다.
Sam Castillo · 유튜브 댓글youtube.com
“I work in retail, and have manually 3D modelled full stores for quite some time … Keen to see how well this works on a larger scale, and exporting to cad tools.”
소매업에서 일하고, 꽤 오래 매장 전체를 손으로 3D 모델링해 왔다 … 더 큰 규모에서 얼마나 잘 되는지, CAD 도구로 내보내기도 되는지 보고 싶다.
@BlighHedges · 유튜브 댓글youtube.com
“I have to do this 😍”
이거 꼭 해 봐야겠다 😍
@levelsio(InteriorAI 운영) · Xx.com

아쉬웠다는 반응

“on a real scan every door, opening and wall was dropped. Connect rooms then showed "A doorway is missing" for every pair of rooms.”
실제 스캔에서는 문, 개구부, 벽이 전부 빠졌다. 그래서 방 잇기를 하면 모든 방 쌍에 "문이 없다"는 메시지가 떴다.
iPad로 실제 스캔을 시험하다 찾은 버그예요. 고치는 PR(#9)을 냈지만 10월 26일 기준 아직 반영되지 않았어요.
dervish666 · GitHubgithub.com
“I've sent a pull request for better door detection as I was having some trouble getting the rooms to connect at first.”
처음에 방들을 잇는 데 애를 먹어서, 문 인식을 고치는 풀 리퀘스트를 보냈다.
Sam Castillo · 유튜브 댓글youtube.com
“While trying to build and run the app on my own iPhone with Xcode 26.6, compilation failed”
Xcode 26.6으로 내 아이폰에 앱을 빌드해 돌리려 했는데, 컴파일이 실패했다
같은 오류를 renderScripter도 이슈 #10에 올렸어요.
ArthurSens · GitHubgithub.com
“I'd love to try out 3D Model Anything on my iPhone with LiDAR, but unfortunately I don't have access to a Mac to build the app using Xcode.”
LiDAR가 있는 내 아이폰에서 3D Model Anything을 써 보고 싶은데, 아쉽게도 Xcode로 앱을 빌드할 Mac이 없다.
Borna07 · GitHubgithub.com
“Is it possible to add the functionality to export the model to other formats like , .step, .igs, .stl, parasolid … I have not fully used the program just the example file”
모델을 .step, .igs, .stl, parasolid 같은 다른 형식으로 내보내는 기능을 넣을 수 있을까 … 프로그램을 다 써 본 건 아니고 예제 파일만 봤다
STEP·STL 같은 CAD 형식으로 내보내는 기능은 아직 없어요.
CPBPILOT · GitHubgithub.com
“This isn't a good reproducible method of building a model. Splat to mesh also exists and would probably get really close to this with a couple reference measurements and some comfyui 3d ai models. For a fraction of the compute/cost.”
모델을 만드는 데 좋은, 다시 해 볼 수 있는 방법은 아니다. 스플랫을 메시로 바꾸는 방법도 있고, 기준 치수 몇 개와 comfyui 3D AI 모델 몇 개면 이것과 아주 가깝게 나올 것이다. 연산과 비용은 몇 분의 일로.
@SquintyGears · 유튜브 댓글youtube.com
“is this possible to re-create on adroid?”
안드로이드에서도 이걸 다시 만들 수 있나?
안드로이드 앱은 실기기에서 아직 돌려 보지 않은 초안(PR #2)만 있어요.
@Auarhau · 유튜브 댓글youtube.com
“the most difficult part about this, is that you have to clean your house first”
이거에서 제일 어려운 건, 먼저 집을 치워야 한다는 거다
농담이지만, Wes도 사무실이 엉망이라 치우고 다시 찍었다고 X에 적었어요.
@ChiDuly · 유튜브 댓글youtube.com

시작하는 법

로컬 스킬을 쓰는 코딩 에이전트(Wes는 Codex를 썼어요)에 아래 요청을 붙여 넣으면 돼요. 방을 찍으려면 LiDAR가 달린 아이폰·아이패드(iOS 17 이상)가 있어야 하고, 스캔 앱은 앱스토어에 없어서 Mac의 Xcode로 폰에 직접 설치해야 해요.

시작 요청
https://www.working-ref.com/reference/scan-to-threejs-2026-10 를 읽고, https://github.com/wesbos/3d-model-anything 저장소의 scan-to-threejs 스킬을 써 보고 싶어. 내가 LiDAR 아이폰·아이패드와 Mac을 갖고 있는지, 어떤 공간을 3D로 만들고 싶은지 물어본 뒤 해 볼 만한 것 세 가지를 제안해 줘. 하나 고르면 바로 시작하고, 고를 게 없으면 저장소에 든 Wes Bos의 사무실 예제를 내 브라우저에 띄우는 것부터 해 줘.

이 레퍼런스 공유하기

매주 1회 · 무료

이 레퍼런스가 도움이 되셨나요?

매주 쏟아지는 AI 소식 중 BEST
딱 3개만, 메일함에 꽂아 드릴게요

Work Smarter with AI

구독 완료 다음 호부터 메일함에서 만나요.