AI의 진짜 실력은 말이 아니라 문제 해결이다

 

AI를 처음 사용할 때는 답변의 완성도에 감탄하기 쉽습니다.

질문을 입력하면 기다릴 필요도 없이 긴 답변이 나오고, 어려운 내용도 정리해줍니다. 글을 작성하는 것은 물론이고 프로그램에 필요한 코드까지 만들어줍니다.

그런데 AI를 실제 업무에 투입해보면 조금 다른 기준이 필요하다는 것을 알게 됩니다.

잘 설명하는 것과 잘 해결하는 것은 같은 능력이 아니기 때문입니다.

저는 AI를 단순한 질문 도구로만 사용하지 않고 실제 작업에 활용하고 있습니다. 공공기관에서 제공하는 데이터를 이용해 사람들이 필요한 정보를 직접 검색할 수 있는 작은 도구들을 만들고 있습니다.

병원과 약국을 찾는 기능도 만들고, 채용정보나 부동산 거래정보를 검색하는 기능도 만듭니다. 문화행사나 교통정보처럼 일상에서 사용할 수 있는 정보도 다룹니다.

이런 작업에서 AI가 하는 일은 꽤 분명합니다.

요구사항을 이해하고 코드를 작성한 다음 실제로 작동하는 결과물을 만들어야 합니다.

문제는 바로 여기서부터 시작됩니다.

화면보다 중요한 것은 실제로 작동하는가입니다

AI가 만들어준 코드를 처음 보면 그럴듯한 경우가 많습니다.

변수도 있고 함수도 있고 검색 버튼도 있습니다. 필요한 기능을 구현했다는 설명까지 붙어 있습니다.

하지만 직접 실행해보면 예상하지 못했던 문제가 나타납니다.

검색 조건이 제대로 적용되지 않을 수도 있고, API에서 받아온 데이터를 잘못 처리할 수도 있습니다. 특정 조건에서는 결과가 나오는데 다른 조건에서는 아무것도 나오지 않는 경우도 있습니다.

겉으로 기능이 만들어졌다는 것과 실제 사용자가 원하는 기능이 완성됐다는 것은 전혀 다른 이야기입니다.

예를 들어 지역을 선택하는 검색 기능을 만들었다고 가정해보겠습니다.

처음 테스트할 때 서울을 선택했더니 결과가 정상적으로 나옵니다.

그러면 일단 문제가 없는 것처럼 보입니다.

하지만 전남이나 광주를 선택해보면 결과가 나오지 않을 수 있습니다.

코드를 살펴보니 서울, 경기, 부산, 인천 정도만 처리하도록 작성되어 있다면 어떨까요.

화면에서는 전국 지역을 선택할 수 있는 것처럼 보였지만 실제 기능은 일부 지역만 대상으로 하고 있었던 것입니다.

이런 상황에서는 코드가 존재하는지가 중요한 것이 아닙니다.

요구한 조건을 실제로 모두 처리하고 있는지가 중요합니다.

AI의 설명이 길어질수록 결과를 더 확인하게 됩니다

실제 작업에서 또 하나 자주 마주치는 문제는 설명과 결과 사이의 차이입니다.

AI는 문제가 생기면 상당히 많은 이야기를 할 수 있습니다.

가능한 원인을 여러 가지로 설명하고, 수정 방법을 제시하고, 다음에 확인해야 할 사항까지 정리합니다.

그런데 사용자가 원하는 것은 원인 분석 보고서가 아닐 때가 많습니다.

이미 문제가 발생한 상황이라면 필요한 것은 문제를 해결할 수 있는 수정입니다.

코드를 요청했으면 실행할 수 있는 코드가 필요하고, 검색이 되지 않는다면 실제로 검색이 되도록 고쳐야 합니다.

설명이 아무리 논리적이어도 최종 결과가 달라지지 않는다면 작업은 끝난 것이 아닙니다.

그래서 실제 업무에서는 AI의 답변을 읽는 시간보다 결과를 확인하는 시간이 더 중요해집니다.

한 가지를 고쳤는데 다른 곳이 망가진다면

AI를 이용한 작업에서 특히 곤란한 상황은 정상적으로 작동하던 부분까지 함께 변경되는 경우입니다.

문제는 특정 검색 조건 하나인데 전체 구조를 다시 바꾸거나, 한 기능을 수정하면서 다른 기능의 코드까지 손대는 경우입니다.

이렇게 되면 새로운 문제가 생깁니다.

원래 문제가 해결됐는지 확인하기도 전에 다른 부분까지 다시 테스트해야 합니다.

결국 사용자가 해야 할 일이 늘어납니다.

AI에게 일을 맡긴 목적은 작업을 줄이는 것이었는데 오히려 관리해야 할 범위가 커지는 것입니다.

그래서 실제 개발 작업에서는 무엇을 수정할 것인가만큼 무엇을 수정하지 않을 것인가도 중요합니다.

정상적으로 작동하는 부분은 그대로 두고 문제가 확인된 부분만 정확하게 고치는 것이 효율적인 작업입니다.

추측과 확인은 전혀 다릅니다

API를 사용하는 작업에서는 특히 확인이 중요합니다.

AI가 코드에 사용할 필드 이름이나 데이터 구조를 정확하게 알고 있다면 문제가 없습니다.

하지만 실제 응답을 확인하지 않은 상태에서 이름을 추측해서 코드를 작성하면 오류가 생길 수 있습니다.

예상했던 데이터가 실제로 존재하지 않을 수도 있고, 이름은 비슷하지만 전혀 다른 값을 가지고 있을 수도 있습니다.

이럴 때 필요한 것은 더 그럴듯한 추측이 아닙니다.

실제 데이터를 확인하는 것입니다.

AI가 아무리 많은 지식을 가지고 있어도 현재 사용하려는 API가 어떤 데이터를 반환하는지 확인하지 않았다면 결국 추측에 불과합니다.

실제 업무에서 신뢰할 수 있는 AI는 모르는 것을 자신 있게 채우는 AI가 아니라, 확인이 필요한 부분을 구분할 수 있는 AI라고 생각합니다.

AI를 쓰다가 사람이 관리자가 되는 이유

처음에는 작업 방식이 단순합니다.

사용자가 원하는 것을 설명하고 AI에게 작업을 맡깁니다.

그런데 문제가 반복되면 사용자의 역할이 달라집니다.

수정 범위를 다시 지정하고, 빠진 조건을 알려주고, 잘못된 부분을 찾아주고, 이미 해결된 부분은 건드리지 말라고 다시 지시하게 됩니다.

그러다 보면 어느 순간부터 사용자가 AI의 작업을 감독하고 있습니다.

AI가 사람의 업무를 대신하는 것이 아니라 사람이 AI의 업무를 관리하는 상황입니다.

물론 AI가 만든 결과물을 사람이 확인하는 과정은 필요합니다.

하지만 확인과 관리에는 차이가 있습니다.

최종 결과를 확인하는 정도가 아니라 AI가 무엇을 잘못했는지 사람이 계속 찾아내고 다음 작업을 일일이 지시해야 한다면 AI가 절약해준 시간보다 관리에 들어간 시간이 더 커질 수 있습니다.

AI의 성능은 말의 양으로 판단하기 어렵습니다

AI를 비교할 때 우리는 흔히 답변의 자연스러움이나 지식의 양을 먼저 생각합니다.

하지만 실제 업무에서는 다른 질문이 필요합니다.

요구사항을 제대로 이해했는가.

필요한 데이터를 정확하게 사용했는가.

정상적인 부분을 불필요하게 변경하지 않았는가.

실제 결과를 확인했는가.

그리고 가장 중요한 질문은 이것입니다.

결국 맡긴 일을 끝냈는가.

이 기준으로 보면 AI를 평가하는 방법이 상당히 단순해집니다.

말을 많이 한다고 좋은 결과가 나오는 것은 아닙니다.

설명이 길다고 정확한 것도 아닙니다.

자신 있게 답한다고 실제로 확인한 것도 아닙니다.

반대로 짧게 답하더라도 문제를 정확히 파악하고 필요한 작업을 끝냈다면 훨씬 유용한 AI가 될 수 있습니다.

AI가 실수했을 때 더 중요한 것

저는 AI가 실수하지 않아야 한다고 생각하지는 않습니다.

현실적으로 모든 문제를 한 번에 해결하는 AI를 기대하기는 어렵습니다.

오히려 중요한 것은 실수가 발견된 다음의 행동입니다.

잘못된 부분을 인정하고 다시 확인하는가.

사용자가 요구하지 않은 부분까지 건드리지 않는가.

문제가 어디에서 발생했는지 다시 살펴보는가.

그리고 수정한 뒤 실제 결과까지 확인하는가.

이 과정이 제대로 이루어진다면 한 번의 실수는 충분히 수정할 수 있습니다.

반대로 문제가 분명하게 드러났는데도 설명만 반복하거나 확인하지 않은 내용을 계속 추측한다면 사용자는 AI를 신뢰하기 어려워집니다.

AI의 실력에는 최초의 정답률뿐만 아니라 문제를 발견한 뒤 얼마나 효율적으로 정상 상태로 돌아오는가도 포함되어야 한다고 생각합니다.

결국 사람의 시간을 줄여야 합니다

AI를 사용하는 가장 현실적인 이유는 생산성을 높이기 위해서입니다.

사람이 직접 해야 하는 반복적인 작업을 줄이고, 복잡한 작업을 빠르게 처리하고, 필요한 결과를 더 적은 시간에 얻기 위해 AI를 사용합니다.

그런데 AI가 만들어낸 결과를 사람이 계속 다시 확인하고 수정하고 관리해야 한다면 생산성 향상이라는 목적에서 멀어질 수 있습니다.

AI가 사람에게 새로운 관리 업무를 추가하는 것이 아니라, 사람이 중요한 판단과 결정에 더 많은 시간을 쓸 수 있도록 도와줘야 합니다.

그래서 저는 AI의 능력을 평가할 때 답변의 화려함보다 사람의 시간을 얼마나 실제로 줄여주는가를 중요하게 봅니다.

AI의 진짜 실력은 마지막 결과에 있습니다

AI와 실제로 일을 해보면 결국 여러 가지 질문이 하나로 모입니다.

얼마나 똑똑하게 말했는가가 아닙니다.

얼마나 긴 답변을 만들었는가도 아닙니다.

얼마나 자신 있게 설명했는지도 결정적인 기준은 아닙니다.

마지막에 남는 것은 훨씬 단순합니다.

그래서 해결됐습니까?

이 질문에 제대로 답할 수 있는 AI라면 실제 업무에서 가치가 있습니다.

문제를 파악하고, 필요한 것을 확인하고, 필요한 부분만 수정하고, 결과를 확인해서 일을 마무리하는 것.

저는 이것이 AI가 실제 업무에서 보여줘야 할 가장 중요한 능력이라고 생각합니다.

그래서 제가 AI를 바라보는 기준도 점점 명확해졌습니다.

AI는 말을 많이 하는 존재가 아니라, 일을 끝내는 존재여야 합니다.

AI가 얼마나 많은 말을 할 수 있는지가 아니라 얼마나 정확하게 문제를 해결할 수 있는지.

AI의 지능을 설명하는 시대를 넘어, 이제는 결과로 능력을 보여주는 AI가 더 높은 평가를 받아야 한다고 생각합니다.