최근 들어 “컴퓨터 유즈 에이전트가 특정 벤치마크에서 80%를 넘었다”는 소식이 자주 들립니다. 브라우저나 컴퓨터 화면을 직접 보고 마우스를 움직이고 프로그램을 조작하는 AI 에이전트 이야기인데, 숫자만 보면 당장 사무실 업무에 들여도 될 것 같은 인상을 줍니다. 그런데 이 컴퓨터 유즈 에이전트 벤치마크 점수를 곧이곧대로 믿고 도입 여부를 판단해도 괜찮을까요.
결론부터 말씀드리면, 벤치마크 숫자는 참고 자료는 되지만 그대로 도입 근거로 쓰기에는 부족합니다. 무엇을 측정했는지, 어떤 조건에서 나온 숫자인지를 함께 봐야 실제 업무에 쓸 만한지 판단할 수 있습니다.
컴퓨터 유즈 에이전트 벤치마크, 왜 숫자만 보면 안 될까요
컴퓨터 유즈 에이전트 벤치마크는 실제 사람이 쓰는 것과 비슷한 데스크톱 환경에서 에이전트가 이메일 작성, 파일 정리, 웹 검색 같은 과제를 얼마나 완수하는지 측정합니다. 문제는 벤치마크마다 과제의 성격과 난이도가 크게 다르고, 같은 이름의 벤치마크라도 버전이 바뀌면 기준 자체가 달라진다는 점입니다.
대표적인 사례가 컴퓨터 유즈 에이전트 평가에 널리 쓰이던 OSWorld입니다. 최근 공개된 후속 버전은 기존 버전보다 훨씬 어려운 과제로 구성됐습니다. 과제 수가 대폭 늘었을 뿐 아니라, 숙련된 사람이 풀어도 한 과제당 평균 1.6시간 정도 걸릴 정도로 난이도가 높아졌습니다. 이전 버전의 과제가 평균 30분 안팎이었던 것과 비교하면 체감 난이도가 크게 뛴 셈입니다. 그 결과 한 대형 모델이 이 새로운 기준에서 83.5%라는 높은 점수를 기록했지만, 정작 과제 하나를 완료하는 데 평균 300스텝 이상을 소모했다는 점도 함께 공개됐습니다. 예전 버전에서는 같은 작업에 약 30스텝 정도면 충분했던 것과 비교하면, “정확도는 높아졌지만 그만큼 시간과 비용도 늘었다”는 해석이 가능합니다.
즉 같은 “83.5%“라는 숫자라도 어떤 버전, 어떤 조건에서 나왔는지에 따라 실무 적용 가능성은 완전히 달라집니다. 벤치마크 발표 자료를 볼 때는 점수 하나만 보지 말고, 과제 난이도와 평균 소요 스텝(혹은 비용), 그리고 실패했을 때 어떤 방식으로 실패하는지까지 함께 확인해야 합니다.
벤치마크에서 놓치기 쉬운 세 가지 함정
첫 번째 함정은 “과제 완료율”과 “안전한 완료율”을 구분하지 않는 것입니다. 브라우저를 조작하는 에이전트의 경우, 프롬프트 인젝션과 같은 공격에 노출됐을 때 잘못된 행동을 하는 비율이 낮다고 해도 실무에서는 여전히 위험할 수 있습니다. 실제로 한 곳에서는 자사 에이전트의 공격 성공률이 1%도 안 되는 수준임에도 이를 “의미 있는 위험”으로 자체 평가한 사례가 있습니다. 벤치마크 점수가 높다고 해서 프롬프트 인젝션이나 권한 오남용 위험이 사라지는 것은 아니라는 뜻입니다. 이 부분은 프롬프트 인젝션 실무 대응에서 다룬 권한·승인 체크포인트와 함께 봐야 균형 잡힌 판단이 가능합니다.
두 번째 함정은 벤치마크 환경과 실제 사무실 환경의 차이입니다. 벤치마크는 표준화된 가상 데스크톱에서 정해진 과제를 수행하지만, 실제 사무실은 사내 인트라넷, 사용자 정의 엑셀 서식, 오래된 사내 시스템처럼 벤치마크에 없는 변수로 가득합니다. 벤치마크에서 80%를 넘긴 도구도 회사 내부 그룹웨어나 레거시 ERP 화면 앞에서는 전혀 다른 성능을 보일 수 있습니다.
세 번째 함정은 “누가, 언제, 어떤 목적으로 발표했는가”입니다. 벤치마크는 대부분 모델을 만든 회사나 이해관계가 있는 팀이 직접 설계하고 발표합니다. 자사에 유리한 과제 구성이나 측정 방식이 섞여 있을 가능성을 배제할 수 없습니다. 이런 이유로 여러 독립 기관이 재현한 결과나, 같은 모델을 다른 벤치마크로 측정한 결과를 함께 비교하는 습관이 필요합니다.
AI 코딩 도구 벤치마크에서도 비슷한 문제가 반복됩니다
컴퓨터 유즈 에이전트뿐 아니라 코딩 전용 AI 모델의 벤치마크에서도 비슷한 혼란이 있었습니다. 발표 시점과 측정 조건에 따라 순위가 뒤바뀌는 경우가 많아, 실무자 입장에서는 어떤 수치를 기준으로 도입을 결정해야 할지 헷갈릴 수밖에 없습니다. 이미 AI 코딩 벤치마크 숫자를 다룬 글에서도 짚었듯, 벤치마크는 최소 두세 개 이상을 교차 확인하고 실제 사내 업무와 유사한 소규모 테스트를 병행하는 것이 안전합니다. 컴퓨터 유즈 에이전트도 마찬가지로, 도입 전에 사내 대표 업무 시나리오 3~5개를 뽑아 직접 돌려보는 절차가 벤치마크 숫자 하나보다 훨씬 신뢰할 수 있는 판단 근거가 됩니다.
실무에서 검증할 때는 다음과 같은 방식이 도움이 됩니다.
검증 시나리오 예시
1. 반복 업무 하나를 선정 (예: 특정 웹사이트에서 데이터 다운로드 후 엑셀 정리)
2. 에이전트에게 동일 작업을 5회 반복 실행
3. 완료 여부, 소요 시간, 중간 오류 발생 횟수를 기록
4. 사람이 직접 했을 때와 시간·정확도 비교
5. 오류 발생 시 어떤 지점에서 멈추는지 로그 확인이렇게 나온 수치는 벤치마크 발표 자료보다 우리 회사 업무 환경에 훨씬 가깝습니다. 벤치마크는 “이 도구가 어느 정도 잠재력이 있는지”를 가늠하는 참고 지표로만 쓰고, 실제 도입 여부는 사내 테스트 결과로 판단하는 것이 안전합니다.
중소기업이 지금 점검할 수 있는 것
컴퓨터 유즈 에이전트나 AI 코딩 도구 모두 벤치마크 경쟁이 치열해지면서 발표 주기가 점점 짧아지고 있습니다. 이런 흐름 속에서 중소기업이 매번 새 벤치마크 결과를 좇아 도구를 바꾸는 것은 현실적이지 않습니다. 대신 다음 세 가지를 먼저 정리해두는 것이 낫습니다.
첫째, 우리 회사에서 반복되는 업무 중 에이전트가 시도해볼 만한 것을 2~3개 정도 미리 목록화해둡니다. 둘째, 새로운 도구가 나올 때마다 벤치마크 점수가 아니라 이 목록의 업무를 실제로 돌려보고 비교합니다. 셋째, 완료율뿐 아니라 실패했을 때 어떤 방식으로 실패하는지(엉뚱한 파일을 삭제하는지, 그냥 멈추는지)를 함께 기록해둡니다. 이런 기준이 있으면 벤치마크 숫자가 아무리 화려해도 흔들리지 않고 판단할 수 있습니다.
픽셀앤코드는 맞춤형 소프트웨어 개발과 업무 자동화를 다루면서 다양한 AI 도구의 실제 성능을 사내 업무 시나리오로 검증하는 작업을 함께 진행하고 있습니다. 벤치마크 숫자만으로 판단하기 어려운 부분이 있다면, 실제 업무 환경에 맞춘 테스트부터 함께 설계해볼 수 있습니다.