ChatGPT 데스크톱 앱에서 컴퓨터 사용을 켜고 GPT-6 Astra에게 일을 맡기면, AI가 화면을 보면서 마우스와 키보드로 내 컴퓨터의 프로그램을 직접 다뤄요. 파일을 따로 올리거나 프로그램을 연결하지 않아도 돼요. 한글 양식, 프리미어 편집, 쇼핑몰 문의까지 실제 일을 맡긴 사례를 모아 봤어요.
2026.10.06·사례 3
맨 위 영상은 제조업체를 운영하는 사장이 올해 지원사업 신청서를 GPT-6 Astra에게 맡긴 장면이에요. AI는 한컴 프로그램에 열린 빈 양식을 화면으로 읽고, 작년 신청 자료 PDF를 보면서 칸마다 직접 입력했어요. 사장은 "마우스 움직이고 키보드 누르고 하는게 사람처럼 해서 깜짝깜짝 놀래기도 했거든요"라고 말했어요.
9월 3일 OpenAI가 GPT-6 Astra를 "세계 최고의 컴퓨터 사용 모델"로 소개한 뒤, 국내에서도 실제 업무를 맡겨 본 영상이 잇달아 올라와 2만~4만 회씩 조회됐어요. 한글 파일로 수학 학습지를 만들게 해 본 클리앙 사용자는 "한글프로그램을 열어서 직접하더라구요. 파일조작이아니라 컴퓨터조작입니다"라고 적었어요.
AI가 파일을 받아 고치는 대신, 화면을 캡처해 보고 마우스와 키보드를 움직여요. 그래서 따로 연결할 방법이 없던 한글, 프리미어, 회사 ERP 같은 프로그램의 일도 맡길 수 있어요.
Reference 01제조업체 사장 · 유튜브 오토프로그(AI 자동화 강의 운영)
오른쪽 한글독스에 hwp lh혁신 파트너십 지원사업 참여신청서가 열려 있어 6~8페이지의 빈양식을 채워줘 참고할 자료는 2025년도 작년에 신청했던 지원사업 신청자료가 5 6 7 pdf 파일을 확인하고 그 내용을 기준으로 양식을 작성하자, 열려 있는 한컴독스에 내가 볼수 잇게 입력해봐 지금 6페이지 7페이지에 채워진 내용은 예시자료고 실제 내용을 우리 자료에 맞도록 입력해야돼
AI가 처음에 브라우저 탭에서 문서를 찾자, 사장이 '탭이 아니고 한컴독스 앱'이라고 다시 알려 줬어요. 어느 프로그램에 무엇이 열려 있는지를 처음부터 정확히 적으면 이렇게 다시 알려 줄 일이 없어요.
PDF를 읽던 AI가 먼저 물었어요. 같은 폴더의 메모에 '촬영용으로 일부 수치를 두 배로 바꾼 자료'라고 적혀 있고 재무 합계도 맞지 않는데, 이 숫자를 그대로 써도 되느냐고요. 사장은 촬영용이니 PDF 숫자를 그대로 쓰라고 답했어요. 입력 도중 기업명이 제목 칸에 들어가자 AI가 스스로 되돌렸어요. 화면이 움직인 뒤 예전 위치에 입력하는 바람에 연락처 세 건이 엉뚱한 칸에 들어간 일은, 사장이 짚어 준 뒤에 되돌렸어요.
거래명세표의 물품 내역을 확인하고 오른쪽 브라우저의 이카운트 ERP의 구매전표를 입력해줘 물품명을 품목코드에서 한글로 검색하면 동일 품목이 있어 품명이 완전히 똑같이 않고 자작, 코팅, 6t 이렇게 나무종류, 코팅유유, 두께로 구성되어 잇어 확인해서 입력을 해보자
웹으로 쓰는 이카운트 ERP라서, 앱 오른쪽 사이드바의 브라우저에 미리 로그인해 두고 부탁했어요.
ERP 품목과 이름이 조금 다른 30T 합판에서는 AI가 먼저 물었어요. "30T 일반 자작합판은 ERP의 00018 '자작합판30t (S/BB 러시아)'로 입력해도 될까요? 명세서에는 B/BB로 적혀 있습니다." 8개 품목의 수량이 명세서와 똑같이 들어갔고, AI는 입고 창고까지 물어서 정한 뒤 전표를 저장했어요.
Reference 02유튜브 에이전시 운영자 강인환 · AI 편집 유료 모임 운영
고객인 안경원 채널의 영상 편집을 Codex에 맡기면서 프리미어 프로를 직접 조작해 달라고 했고, 레퍼런스로 고객 채널의 이전 영상을 줬어요. 그렇게 편집한 영상이 9월 19일 고객 채널에 올라갔어요.
두 번째 요청에는 고객 채널의 이전 영상 주소를 붙였어요. 세 번째 요청에 AI는 '스탠다드 안경 영상 편집' 스킬을 만들어 저장했다고 답했어요. 다음 영상부터 같은 기준으로 편집하게 하려는 요청이에요.
'지금 준비됐어 한번 시작해볼래'라는 말 뒤로 AI는 1시간 19분 56초 동안 혼자 작업했어요. 컷 편집, 말자막과 버건디색 포인트 자막, 그림 10곳, 챕터 5개, 모션·효과음·색보정까지 넣고 저장했다고 보고했어요. 그 그림과 버건디색 자막이 고객 채널 영상에 그대로 보여요.
중간에 막히기도 했어요. 보조 모니터에 띄운 프리미어에서 타임라인 클릭이 계속 실패하자, AI가 창을 주 모니터 가운데로 옮겨 달라고 했어요. 왜 느리냐고 묻자 AI는 "응, 컴퓨터 유즈로 하나씩 클릭하며 편집하면 느려. 화면을 확인하고, 조작한 뒤, 결과를 다시 확인해야 하거든"이라고 답했어요. 말자막은 AI가 Vrew 앱으로 받아쓰게 해서 만들었고, 그 크레딧 사용은 강인환이 승인했어요.
Reference 03여러 플랫폼에 입점한 의류 쇼핑몰 운영자 · 유튜브 온크트리(쇼핑몰 강의·멤버십 운영)
카페24 자사몰, 스마트스토어, 에이블리, 카카오톡 채널 같은 곳마다 API를 연결하지 않고, 미리 로그인해 둔 크롬을 AI가 직접 조작해 문의를 모아요. 대시보드도 Codex가 만들었어요. 사람은 초안을 읽고 고칠 곳만 고친 뒤 전송 버튼을 눌러요.
각 플랫폼들 다 로그인 상태고 접속 링크임 지금부터 너가 만들어볼건 CS자동화 프로그램임 일단 대시보드를 하나 만들고 10분마다 CS들을 수집해오는 거임 각 링크에서
앞부분에는 플랫폼별 접속 링크를 붙였어요. 온크트리는 문의 유형 분류, 답변 초안 작성, 전송 버튼을 누르면 그 플랫폼에 답글 달기 같은 동작 규칙과 기존 답변 템플릿은 이어서 줬다고 말했어요.
![카카오톡 채널 고객의 배송 문의에 대한 답변 초안. 입고 예정일 자리가 '[입고/출고 예정일 확인 필요]'로 비어 있다](/library/computer-use/onktree-draft.jpg)
이 방식이 채널별 정책에 위반되지 않느냐는 댓글에, 온크트리는 "그 부분은 한번 알아봐주셔야 할 거 같아요"라고 답했어요.
써 본 사람들은 연결할 방법이 없던 프로그램의 일을 맡길 수 있다는 점을 가장 반겼어요. 아쉬움은 사용량과 속도, Windows에 몰렸어요. 특히 Plus 요금제로 컴퓨터 사용을 시키면 몇 분 만에 5시간 한도가 찼다는 글이 많아요.
“문구정도만 수정해서 30분이상걸리던걸 10분만에 해결했습니다.”
교과서 몇 쪽 분량으로 수학 학습지를 만들게 하면서 기존 hwp 파일의 서식을 따르라고 했더니, 서식 그대로 수식까지 채웠다고 적었어요.
“Something that would have taken her +30 hours, done in 3h 30 minutes.”
고객 세 곳에 같은 작업을 하는 약혼자의 일을 맡겼어요. 업무 플랫폼이 Codex와 연결되지 않아 컴퓨터 사용으로 처리했고, 30시간 넘게 걸릴 일이 3시간 30분에 끝났다고 적었어요.
“it's still wanky but Astra is the first model that feels like it actually does what you want some what reliably”
여전히 엉성하지만, 시킨 일을 어느 정도 믿고 맡길 수 있다고 느낀 첫 모델이라고 했어요.
“In Computer Use Codex is just so much better overall especially in Astra model so far”
Claude 20x 요금제를 18개월째 쓰는 사람이, 컴퓨터 사용만큼은 Codex, 특히 Astra가 훨씬 낫다고 했어요.
“I'm on plus and I blew through my entire quota in FIVE MINUTES of computer use.”
Plus 요금제에서 컴퓨터 사용 5분 만에 한도를 다 썼다고 했어요.
“Astra의 컴퓨터 유즈 능력은 맥에서 차원이 다르네요.”
윈도우에서 써 보고는 '생각만큼은 아닌데?'라고 했어요. 주로 엑셀 작업을 시켰는데, 맥에서는 훨씬 빠르고 정확했다고 해요.
“근데 아스트라 너무 느리지않나요? 뭐 일시켜놓으면 기본 5분~10분에 좀 어려운거 오더넣으면 30분씪쓰던데”
“I asked Astra to find the lost session, and next thing I know it's prompting for full computer control to drive Finder.”
사라진 대화를 찾아 달라고 했더니, 파인더를 조작하겠다며 컴퓨터 전체 제어 권한을 요구했다고 해요. 디스크에 있는 파일만 읽으면 되는 일이었다고요.
ChatGPT 데스크톱 앱을 깔고, Plus(월 20달러) 이상 계정으로 로그인하세요
macOS와 Windows 앱에서 쓸 수 있어요. GPT-6 Astra는 Plus부터 쓸 수 있지만, Plus에서는 5시간 동안 보낼 수 있는 Astra 메시지가 5~45개쯤이라 금방 빠듯해져요. Pro(월 100달러)부터는 5시간 한도가 없어요.
ChatGPT 데스크톱 앱 내려받기 ↗Work나 Codex에서 Computer Use 플러그인을 켜세요
앱 왼쪽 위에서 ChatGPT를 고른 뒤 Work로 바꾸거나 Codex를 골라요. Plugins > Computer Use에서 플러그인을 설치하고 서버와 스킬 토글을 켜요. macOS에서는 화면 기록과 손쉬운 사용 권한을 허용해야 AI가 화면을 보고 조작할 수 있어요.
OpenAI 컴퓨터 사용 문서 ↗어려운 일은 GPT-6 Astra, 단순한 반복은 GPT-6.1 Sol을 고르세요
OpenAI는 화면을 보고 판단해야 하는 어려운 일에 Astra를 권해요. 9월 29일 나온 GPT-6.1 Sol은 Astra 토큰값의 5분의 1로 컴퓨터 사용 성능이 거의 같다고 소개했어요. 한도가 빨리 차면 Sol로 먼저 해 보세요.
프로그램과 창, 할 일을 콕 집어 부탁하세요
요청에 @Computer나 @앱이름을 넣고, 어느 창에 무엇이 열려 있는지와 어떤 자료를 보고 어디까지 할지를 적어요. 처음 쓰는 프로그램마다 허락을 묻는 창이 떠요. 비밀번호·인증서·결제가 걸린 단계는 사람이 화면 앞에서 지켜볼 때만 맡기라고 OpenAI는 안내해요. Windows에서는 작업하는 동안 AI가 마우스와 키보드를 쓰기 때문에, 그동안 그 PC로 다른 일을 할 수 없어요.
필요한 것
이 레퍼런스가 도움이 되셨나요?
Work Smarter with AI
구독 완료 다음 호부터 메일함에서 만나요.