LLM 기술 도입을 맡고, 사내 세션에서 AI 협업 기준을 함께 이야기해봤다

LLM 기능 개발과 활용을 맡게 되면서#

사내에서 LLM 기술 도입과 활용 방향을 맡으면서, 새로운 도구를 소개하는 것만큼 팀이 함께 사용할 판단 기준을 만드는 일도 필요하다고 느꼈습니다. 마침 AI 기술 리드를 맡아 에이전트를 개발하던 중, 존재하지 않는 사례가 답변에 섞이는 경험을 했습니다. 할루시네이션으로 만들어진 내용도 문장 자체는 너무 자연스러워서 출처를 하나하나 확인하기 전까지 문제를 알아차리기 어려웠습니다. 이 경험을 통해 할루시네이션이 발생하지 않도록 요청을 작성하는 방법보다, 어떤 일을 맡기고 어디까지 믿을지를 정하는 기준이 더 중요하다고 생각하게 됐습니다.

Anthropic에서 제공하는 AI Fluency 과정은 이 질문을 Delegation, Description, Discernment, Diligence라는 네 영역으로 나눕니다. 처음에는 프롬프트를 잘 쓰기 위한 프레임워크라고 생각했지만, 과정을 따라가 보니 요청을 작성하는 일뿐만 아니라 작업을 넘길 범위, 결과를 판단할 기준, 최종 책임까지 함께 정해야 AI와의 협업이 끝난다는 걸 알게 됐습니다.

그래서 개발자와 기획자가 함께 참여하는 사내 세션을 직접 설계해봤습니다. 용어를 차례로 설명하는 대신 하나의 결과물을 놓고 AI와 사람이 맡을 일을 직접 나눠보기로 했습니다.

같은 결과를 함께 보기 위한 공통 과제#

세션의 공통 과제는 HR 자연어 검색 기능을 처음 접하는 사용자에게 보여줄 소개 문구였습니다. 개발자는 검색 가능한 필드와 기술적 이슈를 알고 있었고, 기획자는 사용자가 이해할 표현과 강조해야 할 가치를 알고 있었습니다. 같은 출력을 보더라도 확인하는 지점이 달랐습니다.

처음에는 다음과 같은 요청으로 시작했습니다.

AI 자연어 검색 기능을 소개하는 문구를 작성해줘.

이 요청만으로도 문장은 만들어지지만, 누구에게 보여줄지, 실제로 제공하는 기능이 무엇인지, 어떤 표현을 피해야 하는지는 모델이 알 수 없습니다.

용어를 질문으로 바꾸자 기획자분들이 더 쉽게 이해하는 모습을 볼 수 있었습니다. 설명보다 질문으로 바꾸는 편이 훨씬 잘 전달된다는 것도 알게 됐습니다.

초안은 AI에게, 제품 맥락은 사람에게#

제품과 기능, 대상 독자, 게시 채널, 길이와 말투가 정해지지 않은 상태였을 때, AI는 이 정보를 제품 시스템에서 가져올 수 없으므로 사람이 제공해야 합니다. 이런 맥락을 AI에게 전달하는 과정이 Description입니다.

세션에서는 현재 요청에서 부족한 조건을 찾고, 그 조건을 포함한 프롬프트를 다시 작성했습니다.

이 과정에서 AI가 맡은 일은 주어진 사실을 사용해 여러 표현을 만드는 것이었습니다. 검색 가능한 조건과 제외할 데이터는 제품을 아는 사람이 정했고, 어떤 불편을 강조할지는 기획자분이 골라주셨습니다.

프롬프트는 글쓰기 요령보다 입력해야 할 결정을 정리하는 문서라고도 하는데, 이 과정에서 그 말이 무엇을 뜻하는지 조금은 알 것 같았습니다.

제품 정보를 프롬프트의 허용 범위와 제외 조건으로 옮긴 과정은 프롬프트에 행동 조건을 적어본 글에서 이어서 다룹니다.

자동 평가가 대신하지 못한 교차 검토#

실습 중에는 Langfuse의 LLM-as-a-Judge로 결과를 빠르게 비교했습니다. 점수가 바로 보이니 대상과 형식을 추가한 뒤 출력이 어떻게 달라졌는지 함께 이야기하기에는 편했고, 짧은 세션에서 여러 결과를 살펴보는 보조 수단으로는 충분히 유용했습니다.

하지만 자동 평가보다 사람의 교차 검토에서 더 많은 의견이 나왔습니다. 평가 화면에서는 좋은 결과로 보였던 문구에도 기획자는 사용자가 기능을 써보고 싶어질지 모르겠다는 의견을 냈고, 개발자는 실제 검색 범위보다 넓게 읽힐 수 있는 표현을 찾기도 했습니다.

이때 Discernment의 대상에는 LLM이 만든 문구뿐 아니라 LLM이 매긴 점수도 포함된다는 것을 알게 됐습니다. 자동 평가는 반복해서 살펴볼 후보를 좁히고, 제품 사실과 사용자 맥락은 해당 정보를 아는 사람이 판단하는 역할 분리가 필요했습니다.

교육에서 전달하고 싶었던 것#

프롬프트를 잘 쓴다는 것은 AI가 알아서 좋은 답을 내도록 만드는 일이라기보다는, 사람이 알고 있는 목적과 제품 경계를 입력으로 옮기고 AI가 만든 초안을 다시 판단할 수 있는 협업 구조를 만드는 일이라는 생각이 들었습니다.

자동 평가 점수를 비교할 때 어떤 질문과 기록이 필요한지는 프롬프트 점수를 다시 해석해본 글에서 별도로 정리했습니다.