에이전트가 반복해서 틀린다면, Claude Academy 인사이트 ③

연재 「재무전문가가 꼭 알아야 할 Anthropic 교육자료」 3편 1편 지도 · 2편 설계 · 3편 진단(이 글) · 4편 절차 · 5편 실측

작년 세율로 계산된 답을 받아 본 적이 있으실 겁니다. 있지도 않은 조문 번호가 붙어 온 적도, 스무 줄짜리 지시서를 줬는데 그중 몇 줄이 아무 말 없이 빠진 채 결과가 올라온 적도 있으실 겁니다.

이런 일이 생기면 대개 다시 시켜 봅니다. 그런데 한 번 더 시켜서 고쳐지는 실패가 있고, 몇 번을 시켜도 그대로인 실패가 있습니다. 둘은 종류가 다릅니다.

Anthropic의 「AI의 역량과 한계」 강좌(1편에서 고른 셋 중 하나)가 그 둘을 가르는 원리를 정리해 뒀습니다. AI에는 네 가지 성질이 있고, 각각은 능력인 동시에 한계이며, 실패했을 때 어느 성질 때문인지를 짚어야 고칠 수 있다는 것입니다.

클로드를 쓰든 다른 모델을 쓰든 같은 성질입니다. 다만 이 강좌의 예시는 마케팅 이메일이나 연구 데이터 분석이라 재무 사례가 없습니다. 아래는 그 원리를 재무 업무로 옮긴 것입니다.

같은 사이트의 재무 사용 사례 18건은 사정이 다릅니다. 분개 대사와 계정 조정 같은 결산 실무를 구체적인 프롬프트로 줍니다. 다만 그 레시피들은 무엇을 시킬지만 말하고, 돌아온 결과가 왜 틀릴 수 있는지는 말하지 않습니다. 아래 진단표가 그것을 채웁니다.

읽는 법을 하나 정해 두고 시작하시는 편이 좋습니다. 이 강좌는 Claude 3.7로 만들어졌습니다(1편). 그래서 각 한계를 볼 때 “이게 지금도 벽인가, 아니면 도구로 이미 넘은 것인가”를 같이 물어야 합니다. 그 답을 아래에 함께 적었습니다.

증상마다 고쳐야 할 곳이 다릅니다

먼저 결론입니다. 위 네 가지는 원인이 다르고, 그래서 고쳐야 할 곳도 다릅니다.

오른쪽 열을 보시기 바랍니다. 다섯 중 넷은 프롬프트를 고쳐서 해결되지 않습니다. “정확하게 답해줘”를 더 세게 쓰는 것은 어느 쪽 처방도 아닙니다.

그래서 다시 시키기 전에 물어야 할 것은 하나입니다. 이건 어느 쪽 실패인가.

이 다섯 줄이 커리큘럼에서 검증을 따로 세운 이유이기도 합니다. 아래는 왜 처방이 갈리는지에 대한 설명입니다. 원리를 알면 새로운 증상이 나와도 어느 칸인지 짚을 수 있습니다.

왜 처방이 갈리는가

강의는 성질마다 역량 영역과 한계 영역을 갈라 놓습니다. 오른쪽 두 칸이 재무 번역입니다.

네 성질은 서로 다른 곳에서 생기는 한계입니다. 지어낸 조문은 생성 방식에서 나오므로 프롬프트로 못 없애고 검증으로 걸러야 합니다. 낡은 세율은 아는 범위의 문제라 원문을 붙이면 사라집니다. 앞을 잊은 것은 기억의 크기 문제라 대화를 끊으면 해결됩니다. 원인이 다른 곳에 있으니 처방도 다른 곳에 있습니다.

왜 한국 회계사가 더 자주 겪는가

두 번째 줄을 다시 보시기 바랍니다. 지식의 한계 영역이 “희소·최신·니치·로컬·논쟁적” 인데, 한국 세법은 그 다섯 중 넷에 한꺼번에 해당합니다.

• 매년 개정됩니다 → 최신
• 영어권 학습 자료에 거의 없습니다 → 희소·니치
• 한 나라의 제도입니다 → 로컬

같은 모델을 미국 회계사와 한국 회계사가 똑같이 써도 실패율이 같을 수 없는 이유입니다. 이건 애초에 컨텍스트에 원문을 넣어야 하는 종류의 격차입니다. 프롬프트를 잘 써서 넘을 수 없습니다.

실무에 바로 쓰이는 문장 셋

① 근거 없이 생성한 구체값일수록 의심합니다

강의 표현을 옮기면 이름·날짜·통계·인용·URL이고, 주장이 정밀할수록 검증이 더 필요합니다.

직관과 정반대입니다. “부가가치세법 제39조 제1항 제5호”처럼 정밀하게 적힌 것일수록 안심하기 쉬운데, 그런 항목이 오히려 지어내기 쉽습니다. 두루뭉술한 설명은 오히려 틀리기 어렵습니다. 흔한 패턴이라 모델이 여러 번 본 것이기 때문입니다.

재무 산출물에서 가장 정밀한 항목은 조문 번호, 예규 번호, 금액, 날짜입니다. 검증 순서를 정할 때 이 넷을 맨 앞에 두십시오.

다만 이건 모델이 자기 기억에서 뽑을 때의 이야기입니다. 법령 원문을 물려 주고 그 안에서만 답하게 하면 이 실패는 크게 줄어듭니다. 없어지지 않고 옮겨 가는데, 그 이야기는 아래에서 따로 하겠습니다.

② 작업 메모리는 절벽입니다

서서히 나빠지지 않고 어느 지점에서 잘립니다. 강의는 그 실패 방식을 조용한 절단이라 부르고 경고가 항상 뜨지는 않는다고 말합니다. 그리고 한 줄 더 있습니다.

모델은 당신의 수정에서 배우지 않습니다. 지금 컨텍스트에 있는 것에만 반응합니다.

지난주에 고쳐 준 계정 분류가 이번 주에 그대로 돌아오는 이유가 이것입니다. 고쳐 준 것은 그 대화가 끝나면 사라집니다. 반복해서 말해야 하는 규칙은 상시 컨텍스트(프로젝트·지시문·스킬)에 적어 둡니다.

③ 지시를 더 세게 반복해도 간극은 좁혀지지 않습니다

문자는 지켰는데 의도는 놓친 결과가 올라왔을 때, 같은 지시를 굵게 다시 쓰는 것은 효과가 없고 목표를 다시 진술해야 한다고 강의는 말합니다.

그래서 지시서 안에 “반드시 대사할 것”이라고 적어 둔 것은 통제가 아닙니다. 스무 줄짜리 지시서를 주면 열여덟 줄만 지킨 결과가 아무 표시 없이 올라오고, 지시를 무시했다는 신호는 화면에 뜨지 않습니다. 검증 항목은 지시서에서 떼어 내 별도 절차로 돌려야 합니다.

실패는 대개 두 성질이 겹쳐 납니다

강좌에 「속성이 충돌할 때」라는 레슨이 따로 있습니다. 요지는 이렇습니다. 실제 실패의 대부분은 두 성질이 겹쳐 나고, 어느 둘인지 알면 수정 방법이 정해진다.

강의가 드는 실패 패턴 목록에 **“자신 있게 틀린 수학”**과 **“나쁜 전제에 동의하는 것”**이 나란히 들어 있습니다. 둘 다 재무에서 비싸게 치르는 실패입니다.

처방은 넷으로 정리됩니다.

• 구체적 내용을 검증한다. 조문·금액·날짜를 원문과 맞춰본다
• 컨텍스트를 다시 제공한다. 새 대화에서 원본을 다시 준다
• 코드 실행에 맡긴다. 계산은 말로 시키지 않고 수식·스크립트로 돌린다
• 반박을 유도한다. 반대 논거를 요구한다

넷 다 모델을 어떻게 다룰 것인가의 처방입니다. 도구를 붙인 뒤에는 그 앞에 한 단계가 더 붙습니다. 모델이 틀린 것인지 도구가 잘못 가져온 것인지부터 가려야 합니다.

강의는 한계를 밀어내는 수단도 함께 줍니다

앞의 진단표는 강의 구성의 절반입니다. 강의는 속성마다 한계만 말하지 않고 그 한계를 밀어내는 수단을 함께 답니다. 이 칸을 빼고 읽으면 AI를 실제보다 무능하게 이해하게 됩니다.

지식 레슨은 MCP를 이름으로 지목합니다. “웹 검색, 검색증강(RAG/MCP), 도구 사용은 바로 이 공백을 메우려고 존재합니다.”

도구를 붙이면 실패는 없어지지 않고 옮겨갑니다

네 속성이라는 틀은 모델 세대와 무관하게 버팁니다. 다만 앞서 말씀드린 대로 강의가 드는 실패 예시는 도구를 붙이지 않은 맨 대화를 전제로 합니다. 그래서 위 표의 처방을 실제로 적용하고 나면, 강의가 멈춘 다음부터 새 문제가 시작됩니다.

법령 커넥터를 붙여 쓰면 위험이 생성 오류에서 연결 오류로 이동합니다. 그리고 연결 오류가 더 잡기 어렵습니다. 인용이 진짜라서 원문 대조를 통과하기 때문입니다.

네 속성은 모델이 어떻게 틀리는지에 대한 분류입니다. 커넥터·스킬·에이전트를 붙인 실무의 실패는 상당수가 도구를 쓰는 과정에서 나고, 강의는 그쪽을 다루지 않습니다. 그래서 검증에 질문이 하나 늘어납니다. 번호가 맞는가에 더해 이 사안에 그 조문이 맞는가.

반박을 유도해야 하는 이유

앞서 처방 넷 가운데 마지막이 “반박을 유도하는 것”이었습니다. 그 줄이 왜 붙어 있는지가 여기서 설명됩니다. 강의는 파인튜닝이 남긴 흔적으로 아첨(sycophancy) 을 듭니다. 사람의 선호 판단으로 학습시키다 보니 동의하는 쪽으로 기우는 성향이 남았고, 말하는 확신과 실제 신뢰도의 눈금이 잘 맞지 않는다는 것입니다. 강의는 실습 지시에서도 이렇게 못 박습니다.

AI는 여러분의 프레이밍에 너무 쉽게 동의할 수 있습니다. 틀렸다고 생각되면 그렇게 말하세요.

재무에서 이 한 문장이 갖는 함의는 분명합니다. 자기가 만든 산출물을 자기가 검토하게 두면 안 됩니다. 만든 대화에서 “검토해줘”라고 하면 옹호하는 쪽으로 기웁니다. 검증의 독립성은 회계에서 이미 지키는 원칙이고, AI 산출물에서도 같습니다.

이번 주에 한 건만 진단해 보십시오

1. 최근에 AI가 틀렸던 건 하나를 위 표에 올립니다. 어느 줄에 해당하는지만 고르시면 됩니다
2. 그 진단에 맞는 처방 하나만 적용해 다시 돌립니다. 검증·컨텍스트 재공급·코드 실행·반박 유도 중 하나입니다. 넷을 한꺼번에 하지 마십시오. 무엇이 들었는지 알 수 없게 됩니다
3. 모델 탓인지 배관 탓인지 먼저 가릅니다. 지어낸 것인지, 잘못 찾아온 것인지, 못 찾은 것인지, 옛 버전을 가져온 것인지. 커넥터를 쓰고 계시면 인용된 조문이 이 사안에 맞는 조문인지까지 봐야 합니다. 번호 대조는 그 절반입니다

원인에 이름을 붙일 수 있게 되면 다음에 같은 실패를 막는 방법도 같이 정해집니다. 재무 AI에서 실무자가 가져갈 것은 사실상 이 한 가지입니다. 다음 편에서는 이 진단을 절차로 굳힙니다. 어떻게 시키고(설명), 어떻게 확인하고(분별력), 어떻게 책임지는가(책임감).

→ 4편 · 4D를 재무 절차로 내리는 법