AI튜터랩 로고AI튜터랩
블로그 목록
AI 최신 트렌드

클릭하는 AI가 온다: 컴퓨터 사용 에이전트의 시대

•읽는 시간 4분•조회 6

지금까지 AI는 주로 답을 만들었습니다. 문서를 쓰고, 코드를 생성하고, 질문에 답했습니다. 이제 AI는 화면을 보고 버튼을 누르고, 폼을 채우고, 여러 페이지를 오가며 일을 끝내는 방향으로 움직이고 있습니다. 이를 컴퓨터 사용 에이전트(Computer-use agent)라고 부릅니다.

이 변화가 중요한 이유는 세상의 많은 업무 도구가 완벽한 API를 제공하지 않기 때문입니다. 사람이 웹 화면에서 처리하던 업무를 AI가 같은 인터페이스로 수행할 수 있다면 자동화 가능한 범위가 크게 넓어집니다.

기존 자동화와 무엇이 다른가

기존 RPA는 정해진 좌표와 규칙을 따라 움직입니다. 화면 위치가 바뀌면 깨지기 쉽습니다. 컴퓨터 사용 에이전트는 화면을 관찰하고 다음 행동을 판단합니다.

다이어그램을 그리는 중입니다.

OpenAI의 공식 문서는 컴퓨터 사용 기능이 브라우저와 데스크톱 인터페이스를 조작해 폼 입력, 사용자 흐름 테스트, 애플리케이션 작업을 수행할 수 있다고 설명합니다. 에이전트형 API에서는 호스팅된 브라우저 세션을 만들고, 이벤트를 따라가며, 필요한 사이트 접근과 로그인을 사용자가 통제하는 구조도 제공합니다.

먼저 효과를 볼 업무

웹 서비스 회귀 테스트

“회원가입 → 이메일 인증 → 첫 프로젝트 생성” 같은 실제 사용자 흐름을 따라가며 화면이 정상인지 확인할 수 있습니다.

여러 사이트의 정형 정보 수집

허용된 공개 사이트에서 같은 항목을 찾아 표로 정리하는 업무에 적합합니다. 단, 사이트 약관과 접근 권한을 확인해야 합니다.

API가 없는 내부 도구 보조

오래된 관리자 화면에서 조회와 입력을 반복하는 작업을 보조할 수 있습니다. 처음에는 읽기와 초안 입력까지만 맡기는 편이 안전합니다.

가장 큰 위험은 ‘화면도 입력’이라는 점이다

웹 페이지에는 사용자 지시와 충돌하는 문구가 있을 수 있습니다. 에이전트가 화면 속 텍스트를 명령으로 잘못 받아들이면 의도하지 않은 행동을 할 수 있습니다. 그래서 공식 가이드도 화면 콘텐츠를 신뢰할 수 없는 입력으로 취급하라고 강조합니다.

또한 구매, 삭제, 외부 전송, 민감 정보 입력은 단순 클릭이 아닙니다. 실제 계정과 데이터에 영향을 줍니다. 중요한 행동은 반드시 사용자 확인을 거치고, 실행 환경과 접근 사이트를 제한해야 합니다.

안전한 도입을 위한 5가지 원칙

  1. 격리된 환경에서 시작합니다.
  2. 접근 가능한 사이트와 행동을 허용 목록으로 제한합니다.
  3. 구매·삭제·전송 전에는 사람의 승인을 받습니다.
  4. 단계 수, 시간, 비용에 상한을 둡니다.
  5. 에이전트의 완료 보고가 아니라 실제 화면 결과를 확인합니다.

2026년의 실전 포인트

컴퓨터 사용 기능은 단독 기술이 아니라 에이전트 시스템의 한 도구가 되고 있습니다. 최신 모델은 코드 실행, 브라우징, 도구 호출, 다단계 작업을 결합합니다. 따라서 경쟁력은 “클릭을 할 수 있다”가 아니라 어떤 업무에서 API, MCP, 브라우저 조작을 각각 선택하고 안전하게 연결하느냐에서 나옵니다.

API가 있으면 API를 우선하고, 화면 조작은 API가 닿지 않는 마지막 구간에 쓰는 것이 안정적입니다.

핵심 정리

  • 컴퓨터 사용 에이전트는 화면을 관찰하고 클릭·입력하며 목표를 수행합니다.
  • API가 없는 도구까지 자동화 범위를 넓히지만, 화면 변화와 악성 지시 위험이 있습니다.
  • 격리, 허용 목록, 승인, 실행 한도, 결과 검증이 필수입니다.
  • 모든 업무를 화면 조작으로 해결하기보다 API와 MCP를 우선하고 필요한 구간에만 사용합니다.

실습: 첫 컴퓨터 사용 업무 고르기

  1. 브라우저에서 매주 반복하는 업무 5개를 적습니다.
  2. 구매·삭제·개인정보 전송이 없는 읽기 중심 업무를 하나 고릅니다.
  3. 시작 화면, 완료 화면, 금지 행동을 각각 정의합니다.
  4. 테스트 계정과 샘플 데이터로 실행합니다.
  5. 실제 결과와 실행 기록을 검토한 뒤 범위를 조금씩 넓힙니다.

참고 자료