코딩 에이전트 플릿을 굴리며 이 엔진 저 엔진을 번갈아 쓰다 보면 자연스럽게 벤치마크 순위표에 눈이 갑니다. 소프트웨어 코딩 능력을 재는 벤치마크에서 최상위 모델들이 87에서 88 퍼센트대의 놀라운 점수를 다투는 반면 그보다 한참 아래에 머무는 엔진들도 수두룩합니다. 저 역시 처음에는 당연히 점수가 가장 높은 엔진이 무조건 일을 제일 잘할 것이라고 믿고 시작했습니다.
그동안 저는 벤치마크 최상위권인 Claude Opus와 Sonnet을 주로 썼습니다. 이 뛰어난 엔진들에게 맡긴 일은 타이머 앱이나 매일 쓰는 운동 앱, 그리고 간단한 건강 앱 같은 평소에 제가 개인적으로 쓰려는 꽤 단순한 것들이었습니다. 일상에서 가볍게 쓸 요량이었으니 무겁고 복잡할 이유가 없었습니다.
그러다 어느 날 당근마켓 같은 중개 플랫폼 형태의 앱을 하나 기획하게 되었습니다. 지금까지 만들었던 것들과는 비교도 안 되게 구조가 복잡한 프로젝트였습니다. 그런데 정작 이 가장 복잡한 앱을 만들 때 제가 투입한 것은 순위표 최상단에 있던 엔진들이 아니라 벤치마크 점수로는 그보다 아래에 위치한 Gemini Pro 기반의 Antigravity였습니다. 제일 어려운 일을 점수가 더 낮은 엔진에게 맡긴 셈입니다.
이유는 단순했습니다. 여러 에이전트를 상시로 굴리는 플릿 운영자 입장이 되다 보니 성능보다 비용, 즉 토큰 절약이 훨씬 현실적이고 절박한 문제로 다가왔기 때문입니다. 아무리 똑똑한 엔진이라도 한 달 내내 켜두고 거대한 코드를 쏟아내게 하려면 요금 감당이 쉽지 않았습니다. 그래서 단순히 유지 비용을 판단 기준으로 삼아 그 시점에 더 저렴하게 쓸 수 있는 엔진으로 갈아끼운 것입니다.
물론 같은 앱을 두 엔진에게 똑같이 시켜 본 엄밀한 비교는 아니지만 결과는 제 예상과 전혀 달랐습니다. 가장 복잡하고 무거웠던 그 중개 플랫폼 앱은 점수가 더 낮았던 엔진의 손에서도 큰 막힘없이 수월하게 만들어졌습니다. 벤치마크 순위표에서 보이던 그 뚜렷한 점수 격차가 제가 실제 앱을 만들어가는 체감 과정에서는 전혀 나타나지 않았던 것입니다.
이 경험을 하고 나니 벤치마크가 재고 있는 축과 실전에서 제가 쥐고 있는 축이 서로 다르다는 생각이 들었습니다. 벤치마크 순위는 어떤 엔진이 범용적으로 그리고 한계치까지 밀어붙였을 때 더 똑똑한가를 재는 훌륭하고 의미 있는 지표입니다. 결코 그 점수가 무의미하다는 뜻이 아닙니다. 하지만 막상 제 모니터 앞에서 제가 실제로 던졌던 질문은 이 녀석이 얼마나 똑똑한가가 아니라 지금 당장 내 기획을 구현하기에 충분한 능력을 갖추었는가, 그리고 내가 그 비용을 감당할 수 있는가였습니다.
아무리 똑똑하고 점수가 높은 엔진이라도 비용 때문에 마음껏 부릴 수 없다면 제게는 좋은 도구가 될 수 없습니다. 반대로 점수표에서는 조금 밀려날지 몰라도 제 요구사항을 구현하기에는 충분히 넉넉한 실력을 갖추고 비용마저 가볍다면 그것이 곧 그 순간 저의 일등 엔진이 됩니다. 결국 벤치마크의 일등이 언제나 내 작업 책상 위에서의 일등을 의미하지는 않았습니다. 그 당연한 사실을 점수 낮은 인공지능이 무사히 짜준 복잡한 코드를 보며 뒤늦게 깨달았습니다.