Loading...

把房间扫描变成3D场景 · scan-to-threejs

用iPhone绕房间拍一圈交出去,编程AI就把它重建成能在浏览器里走来走去的3D房间

scan-to-threejs是开发者Wes Bos在10月22日推出的一个技能和一款iPhone扫描应用,下面的案例都是作者本人的演示。用带LiDAR的iPhone在房间里边走边拍,再把数据交给编程AI,AI会从拍照时的位置和角度渲染它做出的3D场景,和原始照片对照后再修改,如此反复。最后得到的3D场景里,书桌、架子、3D打印机都能单独修改。本文整理了作者展示的场景,以及第一批试用者的反应。

2026年10月26日·2 个案例

作者Wes Bos在X上发布的上线视频。

10月22日,开发者、播客Syntax主持人Wes Bos在X上发了一段14秒的视频。在3D重建的办公室里,灯、墙板、靠垫、椅子飞起来,散落到灰色地面上,接着办公室里的物品在地上排得整整齐齐。四天后的10月26日,这条帖子的浏览量已超过38万,被收藏了5,981次。

在Wes同一天发布的YouTube视频下,一直用3D设计软件Fusion亲手为自家房间和家具建模的观众@deziomakes留言说:“This is incredible. … I modeled most of my rooms and most of my furniture, decor, textures, lighting the hard way. … I probably have 3000 man-hours put into that.(太厉害了。……我家大部分房间,还有大部分家具、摆设、材质、灯光,都是我费劲手工建模的。……我大概在上面花了3000个工时。)”

这套方法以scan-to-threejs为名,免费开放在GitHub仓库里(MIT许可证)。做法是用带LiDAR的iPhone或iPad拍下房间,把数据交给编程智能体,让它用这个技能来搭建场景。Wes用的是Codex。

扫描会留下墙和门的布局、LiDAR测得的尺寸,以及数百张记录了拍摄位置和角度的照片。AI会从拍照时完全相同的位置和角度渲染它做出的3D场景,与原始照片对照,从偏差最大的地方开始修改,如此反复。

Reference 01作者官方演示 · Wes Bos的YouTube视频(OpenAI赞助,使用Codex)

拍下四个房间交给AI拼起来,得到一整栋能在里面跑来跑去的3D房子

Wes展示了一栋3D房子:办公室、妻子的工作室、游戏室、家庭健身房四个地方分别扫描后拼成一体,还能在里面跑来跑去。按Wes的说法,办公室“modeled to the inch(精确到英寸)”,家庭健身房“modeled down to every single little piece of equipment(连每一件小器械都建了模)”。

视频依次展示了三种方法。只把办公室照片交给Codex时,效果是“worked okay … AI can only go so far with depth detection inside of photos(还行……AI从照片里判断深度的能力有限)”。用Polycam应用扫描客厅再交给Codex,效果“pretty good … but it's not perfect(相当不错,但并不完美)”,玩具车、沙发靠垫和枕头都和实物不一样。用Wes自己做的应用和技能的方法,被Wes称为“the holy grail(梦寐以求的方法)”。

这个技能把Python脚本和指令打包在一起,书桌的木纹、吸音棉的纹理这类质感也会从照片里提取。觉得结果还差点意思时,Wes会再推一把:“Not good enough. Keep going. Keep going.(还不够好。继续。继续。)”Wes的解释是,模型似乎在质量和节省token之间找平衡。

这期视频由OpenAI赞助。Wes在视频里说明:“I built this whole thing in Codex with GPT-6 Astra. I would have anyways, but thank you to OpenAI for sponsoring this video.(这整个东西都是我在Codex里用GPT-6 Astra做的。反正我本来也会这么做,不过还是感谢OpenAI赞助这期视频。)”

Wes Bos 视频中的画面

Reference 02作者官方演示 · Wes Bos的博客文章和在线演示

用iPhone拍下的办公室,做成谁都能在浏览器里打开、走进去逛的3D演示

Wes在博客里写道:“I scanned my office with my iPhone, then used Codex to rebuild it in Three.js. My desk, the shelves, the 3D printers, the wall of filament rolls. All editable geometry, running in a browser.(我用iPhone扫描了办公室,然后用Codex在Three.js里把它重建出来。书桌、架子、3D打印机,还有整面墙的耗材卷。全都是可编辑的几何体,在浏览器里运行。)”这间办公室作为在线演示公开,可以用玩具屋、平面图、把物品整齐排开的knolling(平铺陈列)和在室内走动等视角亲自逛一逛。

扫描留下的几类数据各有分工。墙和门的布局(RoomPlan)“Great for the layout; pretty basic to look at(用来定布局很好,看起来比较简陋)”;LiDAR测得的表面(网格)要对上小物件和细节,还得再加工。剩下的空白由照片来补:材质、标签、线缆、架子上的东西。

并不是一次就成。Wes写道:“This took a lot of iteration. Getting the layout right is one pass. Getting the materials, lighting, shadows and tiny details right is a whole other job.(这经过了大量反复。把布局弄对只要一遍。把材质、灯光、阴影和细小的细节弄对,完全是另一回事。)”并补充说“the measurements are still worth checking against the real thing(尺寸还是值得和实物核对一下)”。

去掉两面墙后重建的办公室3D渲染图。挂着“Syntax”滑板和“ON AIR”灯牌的书架、实木升降桌和显示器支架、椅子、地毯、柔光箱、耗材卷架、工作台上的3D打印机和冰箱、休闲椅、两台扫地机器人
重建后的Wes办公室。博客里的图说是“My office rebuilt as an editable Three.js scene(重建成可编辑Three.js场景的我的办公室)”。
Wes写在README里的请求

Use scan-to-threejs to rebuild the room in data/captures-in/my-room. Inspect the measurements and photos, create an editable scene, and compare rendered views with the original photographs.

把my-room换成你解压扫描数据的文件夹名。

大家怎么说

好评

  • “… In this case you give the agent ground truth to check itself against and quality goes way up.”

    ……在这种情况下,你给了智能体一个可以用来自我核对的标准答案,质量就大幅提升了。

    Trevin Chow(产品负责人) · Xx.com
  • “What I like here is the checking loop. Every object has a reference, and the model keeps going back to it, which is how a good set builder or 3D artist works too. Scan one room you know well, and measure a few objects against the model before you build anything on top of it.”

    我喜欢的是这里的核对循环。每件物品都有参照,模型会一次次回到参照上去,好的布景师或3D艺术家也是这样工作的。先扫描一个你很熟悉的房间,在它上面做任何东西之前,先拿几件物品和模型对照着量一量。

    Laurence Moroney(AI图书作者,曾任职于Google、Microsoft) · Xx.com
  • “I've been working on my house for the last couple of days, it's a very long process, but it's quite fun and I can see it getting better on every iteration.”

    这几天我一直在弄自己家,过程很长,但挺好玩的,每迭代一次都能看到它变好。

    Sam Castillo · YouTube评论youtube.com
  • “I work in retail, and have manually 3D modelled full stores for quite some time … Keen to see how well this works on a larger scale, and exporting to cad tools.”

    我在零售业工作,很长时间以来一直手工给整个门店做3D建模……很想看看它在更大规模上效果如何,能不能导出到CAD工具。

    @BlighHedges · YouTube评论youtube.com
  • “I have to do this 😍”

    这个我一定得试试 😍

    @levelsio(InteriorAI运营者) · Xx.com

不足之处

  • “on a real scan every door, opening and wall was dropped. Connect rooms then showed "A doorway is missing" for every pair of rooms.”

    在真实扫描中,所有门、开口和墙都丢了。于是执行Connect rooms(连接房间)时,每一对房间都显示“缺少门洞”。

    这是用iPad测试真实扫描时发现的bug。修复的PR(#9)已经提交,但截至10月26日还没有合并。

    dervish666 · GitHubgithub.com
  • “I've sent a pull request for better door detection as I was having some trouble getting the rooms to connect at first.”

    一开始我连接房间时遇到了点麻烦,所以提交了一个改进门识别的拉取请求。

    Sam Castillo · YouTube评论youtube.com
  • “While trying to build and run the app on my own iPhone with Xcode 26.6, compilation failed”

    我用Xcode 26.6想在自己的iPhone上构建并运行这个应用,编译失败了

    renderScripter也在Issue #10里报告了同样的错误。

    ArthurSens · GitHubgithub.com
  • “I'd love to try out 3D Model Anything on my iPhone with LiDAR, but unfortunately I don't have access to a Mac to build the app using Xcode.”

    我很想在我那台带LiDAR的iPhone上试试3D Model Anything,可惜我没有Mac,没法用Xcode构建应用。

    Borna07 · GitHubgithub.com
  • “Is it possible to add the functionality to export the model to other formats like , .step, .igs, .stl, parasolid … I have not fully used the program just the example file”

    能不能加个功能,把模型导出成.step、.igs、.stl、parasolid之类的其他格式……我还没完整用过这个程序,只看了示例文件

    目前还不能导出STEP、STL这类CAD格式。

    CPBPILOT · GitHubgithub.com
  • “This isn't a good reproducible method of building a model. Splat to mesh also exists and would probably get really close to this with a couple reference measurements and some comfyui 3d ai models. For a fraction of the compute/cost.”

    这不是一个好的、可复现的建模方法。也有把splat转成网格的办法,加上几个参考尺寸和一些ComfyUI的3D AI模型,大概能做出和这个非常接近的效果,算力和成本只要几分之一。

    @SquintyGears · YouTube评论youtube.com
  • “is this possible to re-create on adroid?”

    这个能在安卓上复现吗?

    安卓应用目前只有一个还没在真机上跑过的草稿(PR #2)。

    @Auarhau · YouTube评论youtube.com
  • “the most difficult part about this, is that you have to clean your house first”

    这件事最难的部分,是你得先把家收拾干净

    虽然是玩笑,但Wes也在X上写过,办公室太乱,收拾之后重新拍了一遍。

    @ChiDuly · YouTube评论youtube.com

怎么开始

把下面的请求粘贴到能使用本地技能的编程智能体里就行(Wes用的是Codex)。拍房间需要带LiDAR的iPhone或iPad(iOS 17及以上)。扫描应用没有上架App Store,需要用Mac上的Xcode自己装到手机里。

  1. 起步提示词

    请先阅读 https://www.working-ref.com/zh/reference/scan-to-threejs-2026-10 ,我想试试 https://github.com/wesbos/3d-model-anything 仓库里的scan-to-threejs技能。先问我有没有带LiDAR的iPhone或iPad和Mac、想把什么空间做成3D,然后推荐三件值得一试的事。我选一个就马上开始;如果没有想选的,就先把仓库里Wes Bos的办公室示例在我的浏览器里打开。

分享此参考

每周一期 · 免费

这篇参考对你有帮助吗?

每周海量 AI 资讯里的 BEST
只挑 3 条,直接送到你的邮箱

Work Smarter with AI

420 人每周都在读

订阅成功 下一期起,我们在你的邮箱见。