TL;DR

AI가 답을 빨리 주면서 확신도 같이 빨라졌는데 그걸 걸러낼 내 기준이 없다는 게 요즘 나의 문제였다. 그래서 아는 것은 재현성으로 판정하고 모르는 것은 질문이 멈추는 지점에서 탐지하는 규칙을 세웠고, 그 기준이 습관에 머물지 않고 일하는 방식으로 남도록 만들고 있다.

AI가 답을 빨리 주는데, 나는 왜 더 불안해졌나

AI 덕분에 초안은 빨라졌다. 문제는 속도가 아니라 확신의 속도였다.

이 불안의 정체를 좀 더 들여다보니 내가 일하는 방식을 충분히 정의하지 않은 상태에서 AI를 붙인 탓이 컸다.

회사에서 AI 콘테스트가 열리면서 여기저기서 좋아 보이는 스킬이 들어왔다. 나도 몇 개를 바로 가져와 써봤다. 처음에는 당연히 좋아 보였다. 이미 누군가에게는 잘 맞는 방식이었고 겉으로는 효율도 좋아 보였다.

문제는 그 다음이었다. 그 스킬들이 나쁘지 않았는데도 내가 실제로 일하는 방식과는 맞지 않았다. 누군가에게는 잘 맞는 흐름이 내 일에서는 오히려 판단 지점을 흐리게 만들었다. 무언가가 빨라진 것 같기는 한데 내가 책임져야 하는 산출물은 더 선명해지지 않았다.

물론 이렇게도 볼 수 있다. "그러면 네 일하는 방식을 고치면 되는 것 아닌가?" 맞는 말이다. 그런데 그 시점에 내가 더 중요하게 본 건 지금 일하는 방식 안에서 당장 생산성을 높이는 쪽이었다.

그래서 질문을 바꾸기 시작했다. 무슨 스킬이 더 좋아 보이는지보다 내가 어떤 산출물을 만드는 사람이고 어떤 방식으로 판단하는 사람인지가 더 급해졌다.

실제로 팀에서 기능을 만들 때도 비슷한 문제가 있었다. 우리가 만들려고 한 건 팀이 같은 걸 이해하고 있는 상태에서 만드는 기능이었는데 현실은 디자인 시안을 보고 다들 조금씩 다르게 해석하고 있었다. 해석 차이가 있다는 사실조차 겉으로 잘 드러나지 않았다. 같은 화면을 보고 각자 머릿속의 다른 빈칸을 채우고 있었던 셈이다.

이 질문을 붙잡고 보니 AI가 주는 불안의 정체도 조금 더 분명해졌다.

읽고 나면 "아 이해했다"는 느낌이 너무 쉽게 생긴다.
그런데 막상 내가 설명하려고 하면 문장이 끊긴다.
더 위험한 건 그 상태로도 일을 진행할 수 있다는 점이다. 문제는 나중에 터진다.

이건 AI가 나빠서 생긴 게 아니다. AI는 원래 그럴듯한 출력을 잘 만드는 생성기고 나는 그럴듯함을 이해로 착각하기 쉽다.

그래서 방향을 바꿨다. 내가 흔들리지 않도록 판단 기준부터 닫기로 했다.

"아는 것"을 닫는다

내가 무언가를 아는지는 재현성으로 판정한다. 그럴듯하게 말할 수 있는지보다 다시 만들 수 있는지가 기준이다.

내가 좋아하는 기준은 파인만 방식이다.

"설명할 수 없다면, 이해한 게 아니다."

그래서 나는 "아는 것"을 아래 규칙으로 닫는다.

내가 정말 알고 있는지 판단하는 기준

AI 없이도 3분 안에 설명할 수 있는가?
결과를 나열하는 대신 원리와 구조를 말할 수 있는가?
같은 내용을 다른 프레임으로 다시 설명할 수 있는가?
AI가 틀린 말을 했을 때 이상함을 근거로 짚을 수 있는가?
작은 변형이 들어와도 응용이 되는가?

중요한 건 통과/실패가 분명해야 한다는 점이다. 아는 것은 닫혀 있어야 한다.

"모르는 것"을 탐지한다

모르는 건 자연스럽다. 문제는 모르는 걸 모르는 상태로 두는 것이다.

그래서 나는 "모름"을 감지하는 신호를 따로 둔다.

내가 모른다는 걸 판단하는 기준

설명을 읽었는데 핵심이 문장으로 남지 않는다.
"왜?"를 한 번 더 물으면 문장이 무너진다.
질문이 더 안 나오고 여기서 끝이라는 느낌이 든다.
반례를 찾으라고 했을 때 예시만 반복한다.
동의나 납득만 남고 이해는 없다.

여기서 내가 하고 싶은 건 하나다.

모르는 걸 부끄러워하지 말고, 모르는 걸 빨리 발견하는 시스템으로 바꾸자.

일을 산출물 기준으로 정의하기

기준은 추상에서 나오지 않았다. 아주 실무적인 질문 하나에서 시작됐다.

"내가 내릴 수 있는 결정적인 산출물이 있는데, 왜 이것을 아직 자동화하지 못했을까?"

이 질문은 꽤 오래 남았다. AI를 잘 쓰는 문제를 자꾸 "대답을 잘 받는 기술"로만 보게 만들었기 때문인데 정작 내가 책임지는 건 산출물 쪽이었다.

앞의 디자인 시안 이야기도 결국 같은 지점이었다. 그래서 나는 시안만 보고 들어가는 대신 "우리가 지금 무엇을 만들고 있는지"를 먼저 문서로 닫아야 한다고 생각했다. 내 경우 그 산출물이 PRD에 가까웠다.

이 문서가 필요했던 이유는 단순했다. 시안은 보여주지만, 정의하지는 못한다. 무엇이 이번 범위인지, 사용자는 어떤 흐름을 타는지, 어디서 예외가 생기는지, 무엇을 성공으로 볼지를 적어야 비로소 같은 기능을 이해하고 있다고 말할 수 있었다.

초안, 정리, 비교, 반례 탐색, 리뷰 포인트 추출, 형식 맞추기 같은 건 어느 정도 자동화할 수 있다. 그런데 내가 끝까지 책임져야 하는 마지막 판단은 여전히 남는다.

그래서 내 질문도 바뀌었다.

AI가 뭘 잘하느냐보다 내 일이 어떤 단위로 쪼개지는가
어떤 부분은 생성으로 넘기고 어떤 부분은 내가 끝까지 판단해야 하는가
내가 반복해서 하는 결정 중 규칙으로 고정할 수 있는 것은 무엇인가

이걸 정리하지 않은 상태에서 AI만 붙이면 빨라지는 건 작업이 아니라 착각일 수 있다. 반대로 이게 정리되면 AI는 훨씬 덜 마술처럼 보인다. 무엇을 맡기고 무엇을 직접 판단해야 하는지가 분리되기 때문이다.

개인의 기준만으로는 오래 못 간다

여기서 한 번 더 막히는 지점이 있었다. 개인적으로 기준을 세우고 잘 쓰는 것만으로는 생각보다 많은 문제가 해결되지 않았다.

개인의 AI 리터러시를 높이는 건 분명 중요하다. 하지만 실제로 일은 혼자서 끝나지 않는다. 같이 만드는 산출물, 같이 보는 문서, 같이 검토하는 결과물은 같은 방식으로 읽히고 같은 기준으로 검증되어야 한다. 여기에 조직이 일하는 방식을 맞춰주는 장치도 필요했다.

그래서 그 PRD를 팀 단위로 써보기 시작했다. 같은 시안을 본다고 같은 걸 이해하는 건 아니었다.

나는 문서를 늘리기보다 우리가 지금 무엇을 만들고 있는지가 드러나게 만들고 싶었다. 시안을 보고 각자 머릿속으로 보완하던 해석을 기능 정의의 영역으로 끌어내는 일이었다.

이걸 팀에 전파했더니 흥미로운 변화가 생겼다. 개발자만 쓰는 문서로 끝나지 않았다. PD도 써주고 PO도 써주기 시작했다.

그때 더 분명해졌다. 좋은 기준은 설명으로만 전파되지 않는다. 같이 쓰는 산출물이 되면 퍼진다. 그때부터 팀의 방식이 된다.

누군가는 AI를 초안 생성기로 쓰고 누군가는 검색기로 쓰고 누군가는 거의 판단 대행처럼 쓰기 시작하면 겉으로는 모두가 AI를 잘 쓰는 것처럼 보여도 실제 결과물은 흔들릴 수밖에 없다. 팀이 실제로 공유하는 대상은 산출물의 품질이다. 이 기준 없이 스킬만 계속 들어오면 좋은 결과는 누적되지 않는다.

AI 사용 방식을 루프로 설계하기

AI를 잘 쓴다는 건 명령을 잘 내리는 능력이라기보다 내 사고가 날카로워지는 방향으로 루프를 설계하는 일에 가깝다.

그런데 지금은 여기에 한 줄을 더 붙이고 싶다.

좋은 루프는 개인의 감각으로만 남으면 약하다. 반복되는 일이라면, 가능한 한 방식으로 남아야 한다.

"이렇게 하면 좋아요" 같은 팁은 그 순간에는 유용해도 시간이 지나면 쉽게 사라진다. 그래서 필요한 것은 두 가지였다.

AI 사용 규칙
반복 가능한 형태의 인터페이스

규칙은 판단의 최소 기준이다. 어디까지는 생성으로 넘기고 어디부터는 검증이 필요하며 어떤 산출물은 어떤 방식으로 확인해야 하는지에 대한 합의다.

그리고 가능하면 그것을 플러그인 같은 형태로 제공하려고 했다. 설명으로 공유하는 대신 실제로 같은 흐름을 타게 만드는 인터페이스로 남기려고 했다.

내가 원하는 건 AI를 잘 쓰는 사람이 늘어나는 것보다 좋은 작업 흐름이 덜 흔들리게 만드는 것에 가깝다.

작업 흐름에 넣는 제약

내가 AI와 일하면서 얻은 결론은 이렇다.

AI를 더 똑똑하게 만들려 하지 말고, 내가 멍청해져도 망가지지 않게 구조를 만들자.

즉 글쓰기에도 제약을 넣고 일하는 방식에도 제약을 넣는다. 이 제약은 창의성을 막기 위한 장치가 아니다. 흔들리는 지점을 줄이고 판단이 필요한 지점을 선명하게 보기 위한 장치다.

내가 쓰는 제약은 세 가지다.

출력 형식을 고정한다
반례 질문을 강제한다
검증 단계를 분리한다

셀프리뷰 루프를 "운영화"한다

이건 운영의 문제다. 한 번 잘 쓰는 것보다 매번 흔들리지 않게 쓰는 게 더 중요하다.

내가 고정한 루프는 단순하다.

(1) 맥락/전제 적기
→ (2) AI로 초안 생성
→ (3) 내가 재구성 (내 언어로)
→ (4) AI로 셀프리뷰/반례 요청
→ (5) 내가 최종 판단/삭제/수정
→ (6) 공개/기록

포인트는 생성과 판단을 분리하는 데 있다. AI를 쓰는 행위를 검증 가능한 작업 흐름으로 바꾸는 데 있다. 이 루프에서 어느 단계는 AI를 쓰고 어느 단계는 반드시 사람이 검토하는지 정리되면 개인의 습관을 넘어 팀의 방식으로 확장할 수 있다.

운영 팁도 같은 방향으로 모인다.

"내 말" 비율이 너무 낮으면 다시 쓴다.
문장에 "느낌/아마/대충"이 늘면 근거를 다시 붙인다.
발행 전 마지막 질문은 항상 이것이다. "이 글은 나를 더 날카롭게 만들었나, 더 편하게 만들었나?"
팀 단위에서는 한 줄을 더 묻는다. "이 방식은 나만 쓸 수 있는가, 아니면 같이 반복할 수 있는가?"

마무리

AI는 도구다. 초안을 주고 반례를 던지고 구조를 제안한다. 하지만 마지막은 내가 해야 한다.

나는 점점 이렇게 생각하게 됐다. 중요한 건 내가 어떤 산출물을 만드는 사람인지 알고 그 산출물을 어떤 기준으로 검증하는지 분명히 하고 그 과정을 반복 가능한 방식으로 남기는 것이다.

개인이 흔들리지 않는 기준을 갖고 그 기준이 함께 일하는 방식으로 이어지게 만드는 것. 그게 지금 내가 생각하는 "AI를 잘 사용하는 법"이다.

나를 지탱하는 기준