部屋のスキャンを3Dシーンに · scan-to-threejs

iPhoneで部屋をひと回り撮って渡すだけ。コーディングAIが、ブラウザで歩き回れる3Dの部屋に建て直します

scan-to-threejsは、開発者のWes Bosが10月22日に公開したスキルとiPhone用スキャンアプリで、以下の事例はすべて制作者本人によるデモです。LiDAR搭載のiPhoneで部屋を歩きながら撮影し、そのデータをコーディングAIに渡すと、AIは作った3Dシーンを写真の撮影位置と角度から描画し、元の写真と見比べて直す作業を繰り返します。こうして、机、棚、3Dプリンターを一つずつ個別に修正できる3Dシーンができあがります。制作者が見せたシーンと、使ってみた人たちの最初の反応をまとめました。

2026年10月26日·事例 2件

Wes Bosのリリース投稿（X）、2026-10-22（10月26日時点で表示384,737回、ブックマーク5,981回）

@deziomakesのYouTubeコメント

wesbos/3d-model-anything — README

10月22日、開発者でポッドキャスト「Syntax」のホストでもあるWes Bosが、Xに14秒の動画を投稿しました。3Dで建て直した自分のオフィスで、照明、壁パネル、クッション、椅子が灰色の床の上へ飛んで散らばり、続いてオフィスの物が床にきれいに整列していく映像です。4日後の10月26日には、この投稿の表示回数は38万回を超え、ブックマークは5,981回に達しました。

同じ日にWesが公開したYouTube動画には、3D設計ソフトFusionで自宅の部屋や家具を自分でモデリングしてきた視聴者@deziomakesが、こんなコメントを寄せています。「This is incredible. … I modeled most of my rooms and most of my furniture, decor, textures, lighting the hard way. … I probably have 3000 man-hours put into that.（すごい。……私は部屋のほとんどと家具、小物、テクスチャ、照明を、手作業で苦労してモデリングした。……そこに3,000時間くらいはかけていると思う。）」

この方法はscan-to-threejsという名前で、GitHubリポジトリに無料で公開されています（MITライセンス）。LiDAR搭載のiPhone・iPadで部屋を撮影し、そのデータをコーディングエージェントに渡して、スキルで組み立てさせる仕組みです。WesはCodexを使いました。

スキャンでは、壁やドアの配置、LiDARで測った寸法、撮影した位置と角度が記録された数百枚の写真が残ります。AIは作った3Dシーンを、写真を撮ったのとまったく同じ位置と角度から描画し、元の写真と見比べて、いちばん大きくずれているところから直していく作業を繰り返します。

Reference 01制作者による公式デモ · Wes BosのYouTube動画（OpenAI提供、Codexを使用）

4つの部屋を撮ってAIにつなげさせたら、中を走り回れる3Dの家が1軒できました

Wesは、オフィス、妻の作業部屋、プレイルーム、ホームジムの4か所を撮影してひとつにつなげた3Dの家を見せています。その中を走り回ることもできます。Wesによれば、オフィスは「modeled to the inch（インチ単位まで合わせた）」、ホームジムは「modeled down to every single little piece of equipment（小さな器具の一つひとつまで作った）」とのことです。

動画では3つの方法を順に見せています。オフィスの写真だけをCodexに入れたときは「worked okay … AI can only go so far with depth detection inside of photos（まあまあうまくいった……写真から奥行きを読み取るのはAIにも限界がある）」という結果でした。リビングをPolycamアプリでスキャンしてCodexに入れたときは「pretty good … but it's not perfect（かなりいいが、完璧ではない）」で、おもちゃの車やソファのクッション、枕が実物とは違う形で出てきました。自作のアプリとスキルを使う方法を、Wesは「the holy grail（ずっと探していた理想の方法）」と呼んでいます。

スキルはPythonスクリプトと指示文をまとめたものです。机の木目や吸音材の模様といった質感も写真から取り込みます。仕上がりが物足りないと、Wesは「Not good enough. Keep going. Keep going.（まだ足りない。続けて。続けて。）」とさらに押しました。モデルは品質とトークンの節約のあいだでバランスを取ろうとしているようだ、というのがWesの見立てです。

この動画はOpenAIの提供です。Wesは動画の中で「I built this whole thing in Codex with GPT-6 Astra. I would have anyways, but thank you to OpenAI for sponsoring this video.（これは全部CodexでGPT-6 Astraを使って作った。どのみちそうしていたけれど、この動画をスポンサーしてくれたOpenAIに感謝する。）」と明かしています。

Reference 02制作者による公式デモ · Wes Bosのブログ記事とライブデモ

iPhoneで撮ったオフィスを、誰でもブラウザで開いて歩き回れる3Dデモとして公開

Wesはブログに「I scanned my office with my iPhone, then used Codex to rebuild it in Three.js. My desk, the shelves, the 3D printers, the wall of filament rolls. All editable geometry, running in a browser.（iPhoneでオフィスをスキャンし、CodexでThree.jsの中に建て直した。机、棚、3Dプリンター、フィラメントロールの壁まで。すべて編集できるジオメトリで、ブラウザで動く。）」と書いています。このオフィスはライブデモとして公開されていて、ドールハウス、間取り図、物を整然と並べたノーリング、中を歩くビューで実際に見て回れます。

スキャンが残すデータは、それぞれ受け持つ役割が違います。壁とドアの配置（RoomPlan）は「Great for the layout; pretty basic to look at（配置をつかむにはいいが、見た目は簡素）」で、LiDARで測った表面（メッシュ）は、小さな物や細部を合わせるにはさらに手を入れる必要があります。その足りない部分を、写真が素材、ラベル、ケーブル、棚の上の物で埋めます。

一度で終わったわけではありません。Wesは「This took a lot of iteration. Getting the layout right is one pass. Getting the materials, lighting, shadows and tiny details right is a whole other job.（何度も繰り返した。配置を合わせるのは1回で済む。素材、照明、影、細かいディテールを合わせるのはまったく別の仕事だ。）」と書き、「the measurements are still worth checking against the real thing（寸法はやはり実物と照らし合わせる価値がある）」と付け加えています。

壁を2面切り取って建て直したオフィスの3Dレンダー。「Syntax」のスケートボードと「ON AIR」サインが掛かった本棚、木製のスタンディングデスクとモニターアーム、椅子、ラグ、ソフトボックス、フィラメントロールの棚、作業台の上の3Dプリンターと冷蔵庫、ラウンジチェア、ロボット掃除機2台 — 建て直したWesのオフィスです。ブログのキャプションは「My office rebuilt as an editable Three.js scene（編集できるThree.jsシーンとして建て直した私のオフィス）」です。

WesがREADMEに書いた依頼

Use scan-to-threejs to rebuild the room in data/captures-in/my-room. Inspect the measurements and photos, create an editable scene, and compare rendered views with the original photographs.

my-roomの部分を、自分のスキャンを展開したフォルダー名に置き換えます。

みんなの反応

よかったという声

“… In this case you give the agent ground truth to check itself against and quality goes way up.”
……この場合は、エージェントが自分で照らし合わせられる正解を与えているので、品質がぐっと上がる。
Trevin Chow（プロダクトリーダー） · Xx.com
“What I like here is the checking loop. Every object has a reference, and the model keeps going back to it, which is how a good set builder or 3D artist works too. Scan one room you know well, and measure a few objects against the model before you build anything on top of it.”
ここで気に入っているのは確認のループだ。どの物にも基準があり、モデルは何度もそこに立ち返る。腕のいいセット制作者や3Dアーティストも同じように仕事をする。よく知っている部屋をひとつスキャンして、その上に何かを作る前に、いくつかの物をモデルと照らし合わせて測ってみるといい。
Laurence Moroney（AI書籍の著者、元Google・Microsoft） · Xx.com
“I've been working on my house for the last couple of days, it's a very long process, but it's quite fun and I can see it getting better on every iteration.”
ここ数日、自宅の作業をしている。とても時間がかかるけれど、かなり楽しいし、繰り返すたびに良くなっていくのがわかる。
Sam Castillo · YouTubeコメントyoutube.com
“I work in retail, and have manually 3D modelled full stores for quite some time … Keen to see how well this works on a larger scale, and exporting to cad tools.”
小売業で働いていて、かなり長いあいだ店舗全体を手作業で3Dモデリングしてきた……もっと大きな規模でどれだけうまくいくのか、CADツールへの書き出しができるのかを見てみたい。
@BlighHedges · YouTubeコメントyoutube.com
“I have to do this 😍”
これは絶対やらなきゃ 😍
@levelsio（InteriorAI運営） · Xx.com

物足りなかったという声

“on a real scan every door, opening and wall was dropped. Connect rooms then showed "A doorway is missing" for every pair of rooms.”
実際のスキャンでは、ドア、開口部、壁がすべて抜け落ちた。そのためConnect roomsを実行すると、どの部屋の組み合わせにも「出入口がない」と表示された。
iPadで実際のスキャンを試していて見つけたバグです。修正のPR（#9）が出ていますが、10月26日時点ではまだマージされていません。
dervish666 · GitHubgithub.com
“I've sent a pull request for better door detection as I was having some trouble getting the rooms to connect at first.”
最初は部屋同士をつなぐのに苦労したので、ドア検出を改善するプルリクエストを送った。
Sam Castillo · YouTubeコメントyoutube.com
“While trying to build and run the app on my own iPhone with Xcode 26.6, compilation failed”
Xcode 26.6で自分のiPhoneにアプリをビルドして動かそうとしたところ、コンパイルが失敗した
同じエラーはrenderScripterもIssue #10で報告しています。
ArthurSens · GitHubgithub.com
“I'd love to try out 3D Model Anything on my iPhone with LiDAR, but unfortunately I don't have access to a Mac to build the app using Xcode.”
LiDAR搭載の自分のiPhoneで3D Model Anythingを試してみたいが、残念ながらXcodeでアプリをビルドするためのMacがない。
Borna07 · GitHubgithub.com
“Is it possible to add the functionality to export the model to other formats like , .step, .igs, .stl, parasolid … I have not fully used the program just the example file”
モデルを.step、.igs、.stl、parasolidといった他の形式で書き出す機能を追加できないだろうか……プログラムを全部使ったわけではなく、サンプルファイルを見ただけだ
STEPやSTLのようなCAD形式への書き出し機能はまだありません。
CPBPILOT · GitHubgithub.com
“This isn't a good reproducible method of building a model. Splat to mesh also exists and would probably get really close to this with a couple reference measurements and some comfyui 3d ai models. For a fraction of the compute/cost.”
モデルを作る方法としては、再現性のあるいいやり方ではない。スプラットをメッシュに変える手法もあるし、基準となる寸法をいくつかとComfyUIの3D AIモデルをいくつか使えば、これにかなり近いものができるはずだ。計算量もコストも何分の一かで。
@SquintyGears · YouTubeコメントyoutube.com
“is this possible to re-create on adroid?”
これはAndroidでも再現できる？
Androidアプリは、実機でまだ動かしていない下書き（PR #2）があるだけです。
@Auarhau · YouTubeコメントyoutube.com
“the most difficult part about this, is that you have to clean your house first”
これでいちばん難しいのは、まず家を片付けなきゃいけないことだ
冗談ですが、Wesもオフィスが散らかっていたので片付けてから撮り直したとXに書いています。
@ChiDuly · YouTubeコメントyoutube.com

始め方

ローカルのスキルを使えるコーディングエージェント（WesはCodexを使いました）に、下の依頼を貼り付ければ始められます。部屋を撮影するにはLiDAR搭載のiPhone・iPad（iOS 17以降）が必要です。スキャンアプリはApp Storeにないため、MacのXcodeを使って自分のスマートフォンに直接インストールします。

はじめの依頼
https://www.working-ref.com/ja/reference/scan-to-threejs-2026-10 を読んで、https://github.com/wesbos/3d-model-anything リポジトリのscan-to-threejsスキルを試してみたい。私がLiDAR搭載のiPhone・iPadとMacを持っているか、どんな空間を3Dにしたいかを聞いたうえで、試す価値のあるものを3つ提案して。1つ選んだらすぐに始めて。選べるものがなければ、リポジトリに入っているWes Bosのオフィスの例を私のブラウザで開くところから始めて。

このリファレンスを共有

毎週1回・無料

このリファレンスは役に立ちましたか？

毎週あふれるAIニュースから
BEST 3つだけ、受信箱へ

Work Smarter with AI

購読完了次号から受信箱でお会いしましょう。