GitHub Copilot computer use 설정법CLI와 앱에서 데스크톱 앱 맡기기

요청은 결과와 조건을 함께

심부름을 맡길 때를 떠올려 보세요. "마트 다녀와"보다 "우유 두 개, 만 원 넘으면 사지 말고"가 낫습니다. Copilot도 마찬가지입니다.

문서는 원하는 결과, 관련된 앱, 지켜야 할 제약을 함께 쓰라고 권합니다. 알림을 요약하거나 발표 자료 내용을 고치는 일, 앱 사이로 정보를 옮기는 일이 예로 나옵니다.

특히 쓸모 있는 자리는 오래된 업무 프로그램입니다. API나 명령줄 기능이 없어 화면으로만 다룰 수 있는 프로그램이 여기에 해당합니다.

"아무것도 바꾸지 말 것", "제출 버튼은 누르지 말 것" 같은 금지 조건은 꼭 넣으세요. 문서도 모호한 지시나 예상 못 한 화면 내용이 의도하지 않은 동작을 부를 수 있다고 경고합니다.

여기서 막히기 쉬운 곳

켰는데 Copilot이 앱을 못 만집니다

보이는 증상: /computer on을 했는데 앱 조작이 시작되지 않습니다.

이유: 내 계정에서 기능이 열리지 않았거나, 내 컴퓨터에서 직접 돌리는 세션이 아니거나, 조직 정책이 막았을 수 있습니다. 문서의 문제 해결 안내는 computer-use 플러그인과 MCP 서버(AI에게 도구를 이어 주는 연결 장치)가 켜져 있는지도 확인하라고 합니다.

할 일: 먼저 CLI에서 /computer show를 입력합니다. 계정에서 기능을 쓸 수 있는지, 플러그인과 MCP 서버가 켜졌는지 한 번에 보여 줍니다. 그다음 /plugin으로 computer-use 플러그인을, /mcp list로 MCP 서버 연결을 확인하세요. 회사 계정이면 관리자에게 정책을 물어봅니다.

macOS에서 화면을 못 읽거나 클릭을 못 합니다

보이는 증상: 창 내용을 인식하지 못하거나 버튼이 눌리지 않습니다.

이유: 손쉬운 사용 권한이 없으면 컨트롤을 누르지 못합니다. 화면 기록 권한이 없으면 창 모습을 보지 못합니다.

할 일: 시스템 설정에서 두 권한이 모두 허락됐는지 봅니다. 앱 설정의 Computer Use에서 두 항목이 Granted로 표시되면 정상입니다.

엉뚱한 버튼을 누릅니다

보이는 증상: 다른 컨트롤을 고르거나 글자를 잘못 입력합니다.

이유: 문서가 밝힌 한계입니다. 특이하게 만든 컨트롤이나 계속 바뀌는 화면은 다루기 어렵습니다. 타이밍이나 창 상태가 달라지면 결과도 달라집니다.

할 일: 즉시 멈춥니다. CLI는 Esc를 두 번, 앱은 Stop이나 Esc를 누르세요. 요청을 더 작게 나누고 대상 창을 하나만 띄운 채 다시 해 보세요.

Always allow를 취소하고 싶습니다

보이는 증상: 예전에 항상 허용한 앱이 묻지도 않고 조작됩니다.

이유: Always allow는 컴퓨터에 저장되어 CLI와 앱 양쪽에 적용됩니다.

할 일: 앱에서 Settings, Computer Use, Always allowed apps 순서로 들어가 해당 앱을 지웁니다. 다만 이미 돌고 있는 세션의 허락은 거둬지지 않습니다. 진행 중인 세션은 따로 닫아 주세요.

여기서 한 걸음 더

처음에는 읽기만 하는 일부터 맡겨 보세요. 상태 요약이나 알림 정리처럼 아무것도 바꾸지 않는 요청이 안전합니다.

손에 익으면 입력과 옮겨 적기로 넓혀 갑니다. 공개 미리보기라 화면과 명령이 바뀔 수 있으니, 막히면 아래 공식 문서를 다시 확인하세요.

이상으로 글 마치겠습니다.

출처

• GitHub Changelog: GitHub Copilot can now interact with desktop apps with computer use
• GitHub Docs: Computer use
• GitHub Docs: Copilot CLI에서 computer use 쓰기
• GitHub Docs: GitHub Copilot 앱에서 computer use 쓰기
• GitHub Docs: Copilot CLI 설치
• GitHub Docs: Copilot CLI 시작하기