Loading...

电脑操作智能体 · ChatGPT Computer Use

GPT-6 Astra 亲手操作鼠标键盘:在 Hangul 软件里填好申请表,还用 Premiere 剪完了客户的视频

在 ChatGPT 桌面应用里打开电脑操作(Computer Use),把活交给 GPT-6 Astra,AI 就会盯着屏幕,用鼠标和键盘直接操作你电脑上的程序。不用另外上传文件,也不用对接程序。我们收集了几个真把工作交给它的例子:Hangul 表格、Premiere 剪辑,还有网店的顾客咨询。

2026年10月6日·3 个案例

#录入·迁移#视频剪辑#客户服务

左边 Codex 对话窗口里,AI 在汇报进度;右边 Hancom 软件里打开着 2026 年扶持项目参与申请书,企业名称一栏已经填上了公司名
GPT-6 Astra 在 Hancom 软件里填写扶持项目申请书。来源:Autofrog YouTube

最上面这段视频里,一位经营制造企业的老板把今年的扶持项目申请书交给了 GPT-6 Astra。AI 从屏幕上读取韩国文字处理软件 Hangul(Hancom 出品)里打开的空白表格,一边看去年的申请材料 PDF,一边逐格亲手填写。老板说:“마우스 움직이고 키보드 누르고 하는게 사람처럼 해서 깜짝깜짝 놀래기도 했거든요”(它挪鼠标、敲键盘的样子跟人一模一样,好几次把我吓了一跳)。

9 月 3 日 OpenAI 把 GPT-6 Astra 称为“The world's best computer use model”(全球最强的电脑操作模型),此后韩国也陆续冒出把真实工作交给它的视频,每支都有 2 万到 4 万次播放。 一位让它用 Hangul 文件做数学练习卷的 Clien 论坛用户写道:“한글프로그램을 열어서 직접하더라구요. 파일조작이아니라 컴퓨터조작입니다”(它会自己打开 Hangul 程序直接动手。不是在操作文件,是在操作电脑)。

AI 不是拿到文件再去改,而是截取屏幕来看,再移动鼠标、敲键盘。所以那些原本没办法对接的程序,比如 Hangul、Premiere、公司的 ERP,里面的活也能交给它。

Reference 01制造企业老板 · YouTube 频道 Autofrog(开 AI 自动化课程)

AI 在 Hangul 软件里填完扶持项目申请书,又把交易明细单录成了 ERP 采购单

老板交代申请书时写的请求

오른쪽 한글독스에 hwp lh혁신 파트너십 지원사업 참여신청서가 열려 있어 6~8페이지의 빈양식을 채워줘 참고할 자료는 2025년도 작년에 신청했던 지원사업 신청자료가 5 6 7 pdf 파일을 확인하고 그 내용을 기준으로 양식을 작성하자, 열려 있는 한컴독스에 내가 볼수 잇게 입력해봐 지금 6페이지 7페이지에 채워진 내용은 예시자료고 실제 내용을 우리 자료에 맞도록 입력해야돼

AI 一开始跑去浏览器标签页里找文档,老板只好再告诉它一遍:不是标签页,是 Hancom Docs 应用。一开始就写清楚哪个程序里开着什么,就省得这样返工。

空白的 2026 年 LH 创新合作伙伴扶持项目参与申请书
请求前:空白的 2026 年申请书
填好了企业名称、成立日期、主要产品,以及销售额、负债总额等经营数据的申请书
完成后:填入公司信息和经营数据的申请书

AI 读 PDF 时先提了个问题:同一文件夹里的备注写明,这份资料为了拍摄把部分数字改成了两倍,财务合计也对不上,这些数字能照原样用吗?老板回答说是拍摄用的,就按 PDF 里的数字填。输入途中,企业名称跑进了标题栏,AI 自己改了回来。还有一次画面滚动之后,它仍往原来的位置输入,三条联系方式填错了格子,这是老板指出后才改回来的。

同一位老板交代 ERP 录入时写的请求

거래명세표의 물품 내역을 확인하고 오른쪽 브라우저의 이카운트 ERP의 구매전표를 입력해줘 물품명을 품목코드에서 한글로 검색하면 동일 품목이 있어 품명이 완전히 똑같이 않고 자작, 코팅, 6t 이렇게 나무종류, 코팅유유, 두께로 구성되어 잇어 확인해서 입력을 해보자

Ecount ERP 是网页版,所以他先在应用右侧边栏的浏览器里登录好,再提的要求。

交易明细单:8 种桦木胶合板,数量分别为 10、33、1、13、5、10、5、4
供应商发来的交易明细单(9 月 3 日,8 个品项)
Ecount 采购单:8 种桦木胶合板,基本数量分别为 10、33、1、13、5、10、5、4
AI 录入的 Ecount 采购单

遇到和 ERP 品项名称略有出入的 30T 胶合板,AI 先问了一句:“30T 일반 자작합판은 ERP의 00018 '자작합판30t (S/BB 러시아)'로 입력해도 될까요? 명세서에는 B/BB로 적혀 있습니다.”(30T 普通桦木胶合板,可以按 ERP 里的 00018「桦木胶合板30t(S/BB 俄罗斯)」录入吗?明细单上写的是 B/BB。)8 个品项的数量和明细单完全一致;AI 还问清了入库仓库,然后才保存采购单。

Reference 02YouTube 代运营公司老板 Kang In-hwan · 经营 AI 剪辑付费社群

交付给客户的 YouTube 视频,由 AI 亲手操作 Premiere 剪了出来

客户是一家眼镜店的频道。他把视频剪辑交给 Codex,要求它直接操作 Premiere Pro,并把客户频道之前的视频给它当参考。 这样剪出来的视频,9 月 19 日发布在了客户的频道上。

Kang In-hwan 发给 Codex 的请求(按发送顺序)
  1. 1너가 직접 컴퓨터 유스로 해주면 좋겠어
  2. 2기존에 레퍼런스 유튜브 영상을 주면 좀 학습먼저 해볼수 있겟니
  3. 3내가 다음 편집 맡기면 한번에 여기 결과 까지 오게해줄수 있어?

第二条请求附上了客户频道之前视频的链接。对第三条请求,AI 回答说已经做好并保存了一个名为「标准眼镜视频剪辑」的 skill,目的是让之后的视频都按同一套标准来剪。

Codex 界面:“已工作 1 小时 19 分 56 秒”下方,是第二支无框眼镜视频已保存的报告,以及 AI 生成的四张眼镜插图
Codex 界面:AI 报告第二支视频已保存,附上它生成的四张插图
客户频道视频中的一幕:眼镜师旁边是酒红色镜腿的无框眼镜插图,字幕写着「佩戴的位置也会改变给人的印象」
发布到客户频道的视频里,出现了同一张插图

他说了一句“지금 준비됐어 한번 시작해볼래”(准备好了,开始吧)之后,AI 独自工作了 1 小时 19 分 56 秒。它报告说已经剪好并保存:粗剪、对白字幕和酒红色重点字幕、10 处插图、5 个章节,还加了动效、音效和调色。那些插图和酒红色字幕,在客户频道的视频里原样可见。

客户频道视频中的一幕:刻度尺上的眼镜插图和酒红色字幕

中途也卡过壳。Premiere 开在副显示器上,点时间线一直失败,AI 就请他把窗口挪到主显示器中间。问它为什么这么慢,AI 回答:“응, 컴퓨터 유즈로 하나씩 클릭하며 편집하면 느려. 화면을 확인하고, 조작한 뒤, 결과를 다시 확인해야 하거든”(对,用 computer use 一下一下点着剪就是慢。得先看画面、再操作,然后再确认结果)。对白字幕是 AI 让 Vrew 应用听写生成的,用掉的 Vrew 点数由 Kang In-hwan 批准。

Reference 03入驻多个平台的服装网店老板 · YouTube 频道 Onktree(开网店课程和会员)

AI 每 10 分钟巡一遍 9 个网店渠道,收齐顾客咨询,连回复草稿都写好

用 Cafe24 搭的自营网店、Naver Smart Store、时尚电商 Ably、KakaoTalk 频道……这些韩国渠道他没有一个个去接 API,而是让 AI 直接操作已经登录好的 Chrome 去收集咨询。仪表盘也是 Codex 做的。人只需读一遍草稿,改掉要改的地方,再点发送。

Onktree 写的请求(视频里能看到的后半段)

각 플랫폼들 다 로그인 상태고 접속 링크임 지금부터 너가 만들어볼건 CS자동화 프로그램임 일단 대시보드를 하나 만들고 10분마다 CS들을 수집해오는 거임 각 링크에서

前半段贴的是各平台的访问链接。Onktree 说,接着他又给了动作规则和现有的回复模板,包括把咨询按类型分类、写好回复草稿、点发送按钮就在对应平台上回复等。

CS DESK 统一收件箱:待回复咨询 3 条,平台连接 9/9。画面顶部提示「ChatGPT 已开始调试此浏览器」
针对 KakaoTalk 频道顾客发货咨询的回复草稿,到货日期的位置空着,写着「[需确认入库/出库预计日期]」
不知道的到货时间,草稿里留空,写成「[需确认入库/出库预计日期]」。人只要补上这一格就能发出去。

有人在评论里问,这种做法会不会违反各渠道的规定,Onktree 回答:“그 부분은 한번 알아봐주셔야 할 거 같아요”(这一点可能得您自己去了解一下)。

用过的人怎么说

用过的人最欢迎的一点,是那些没办法对接的程序里的活,现在也能交出去了。不满集中在用量、速度和 Windows 上。尤其是用 Plus 套餐跑电脑操作,几分钟就把 5 小时额度用完的帖子很多。

好评

  • “문구정도만 수정해서 30분이상걸리던걸 10분만에 해결했습니다.”

    只改了些措辞,过去要 30 分钟以上的活 10 分钟就解决了。他让 AI 照着已有 hwp 文件的格式,做一份覆盖几页课本内容的数学练习卷,结果格式原样保留,连公式都填好了。

    Yuseonhui-ppalla · Clienclien.net
  • “Something that would have taken her +30 hours, done in 3h 30 minutes.”

    他把未婚妻的工作交给了它:给三个客户做同样的活。工作平台没法和 Codex 对接,就用电脑操作来处理,原本要 30 多个小时的活,3 小时 30 分钟就做完了。

    u/Lonely-Brief-3798 · Redditreddit.com
  • “it's still wanky but Astra is the first model that feels like it actually does what you want some what reliably”

    虽然还是有点糙,但这是第一个让人觉得交代的事能比较放心交给它的模型。

    u/OWazabi · Redditreddit.com
  • “In Computer Use Codex is just so much better overall especially in Astra model so far”

    一位用了 18 个月 Claude 20x 套餐的人说,单论电脑操作,Codex 要好得多,尤其是 Astra。

    u/Creative-Ganache1086 · Redditreddit.com

不足之处

  • “I'm on plus and I blew through my entire quota in FIVE MINUTES of computer use.”

    用 Plus 套餐,电脑操作 5 分钟就把额度用光了。

    u/Siciliano777 · Redditreddit.com
  • “Astra의 컴퓨터 유즈 능력은 맥에서 차원이 다르네요.”

    Astra 的电脑操作能力,在 Mac 上完全是另一个档次。他在 Windows 上试的时候觉得不如预期,主要让它做 Excel 的活;换到 Mac 上则快得多、准得多。

    71_102 · Threadsthreads.com
  • “근데 아스트라 너무 느리지않나요? 뭐 일시켜놓으면 기본 5분~10분에 좀 어려운거 오더넣으면 30분씪쓰던데”

    不过 Astra 是不是太慢了?随便交代点事基本就要 5~10 分钟,稍微难一点的活,一次就要 30 分钟。

    @junestudio · YouTube 评论youtube.com
  • “I asked Astra to find the lost session, and next thing I know it's prompting for full computer control to drive Finder.”

    让它找一段丢失的对话,它却说要操作 Finder,申请整台电脑的完全控制权限。其实只要读取磁盘上的文件就行。

    wilj · Hacker Newsnews.ycombinator.com

怎么开始

  1. 1

    安装 ChatGPT 桌面应用,用 Plus(每月 20 美元)及以上账号登录

    macOS 和 Windows 应用都能用。GPT-6 Astra 从 Plus 起可用,但 Plus 每 5 小时能发的 Astra 消息大约只有 5~45 条,很快就不够用。Pro(每月 100 美元)起没有 5 小时限额。

    下载 ChatGPT 桌面应用 ↗
  2. 2

    在 Work 或 Codex 里打开 Computer Use 插件

    在应用左上角选 ChatGPT 后切换到 Work,或者直接选 Codex。在 Plugins > Computer Use 里安装插件,打开服务器和 skill 开关。macOS 上要允许屏幕录制和辅助功能权限,AI 才能看屏幕、动手操作。

    OpenAI Computer Use 文档 ↗
  3. 3

    难活选 GPT-6 Astra,简单重复的活选 GPT-6.1 Sol

    OpenAI 建议,需要看着屏幕做判断的难活用 Astra。9 月 29 日推出的 GPT-6.1 Sol,官方介绍是 token 价格只有 Astra 的五分之一,电脑操作能力几乎一样。额度用得快的话,先用 Sol 试试。

  4. 4

    点名程序、窗口和要做的事

    在请求里加上 @Computer 或 @应用名,写清哪个窗口开着什么、参考哪些资料、做到哪一步。每遇到一个第一次用的程序,都会弹窗请你授权。OpenAI 提醒,涉及密码、证书、付款的步骤,只在有人守在屏幕前时才交给它。在 Windows 上,AI 工作期间要占用鼠标和键盘,这段时间那台电脑没法干别的。

需要准备

  • ChatGPT Plus(每月 20 美元)及以上套餐
  • ChatGPT 桌面应用(macOS、Windows)
  • 一台开着要交给它的程序的电脑

分享此参考

这个参考对您有帮助吗?

每周精选参考直达您的邮箱