DEV_BBAK
← 포스트

나를 지탱하는 기준

·11 min read·로딩중...
#AI

TL;DR

  • AI가 답을 빨리 주면서 **“안다고 착각”**하기 쉬워졌다. (그래서 기준이 필요하다.)
  • 아는 것은 “설명 가능 + 재현 가능 + 반례를 견딤”으로 닫는다(Closed World).
  • 모르는 것은 “질문이 멈추는 지점”에서 탐지하고, unknown unknowns를 찾는 루프로 전환한다.
  • 잘 쓰는 법은 프롬프트 튜닝이 아니라 제약/검증/루프 설계다. (생성 → 셀프리뷰 → 반례 → 실행 → 기록)

AI가 답을 빨리 주는데, 나는 왜 더 불안해졌나

AI 덕분에 초안은 빨라졌다. 문제는 속도가 아니라 확신의 속도였다.

  • 읽고 나면 “아 이해했다”는 느낌이 너무 쉽게 생긴다.
  • 그런데 막상 내가 설명하려고 하면 문장이 끊긴다.
  • 더 위험한 건, 그 상태로도 일을 진행할 수 있다는 점이다. (문제는 나중에 터진다.)

이건 AI가 나빠서가 아니다. AI는 원래 그럴듯한 출력을 잘 만드는 생성기고, 나는 그럴듯함을 이해로 착각하기 쉽다.

그래서 방향을 바꿨다.

“더 잘 설명해줘”가 아니라, 내가 흔들리지 않도록 판단 기준을 먼저 닫자.

“아는 것”을 닫는다 (Closed World)

내가 아는 것은 감정이 아니라 재현성으로 판정해야 한다. “그럴듯하게 말할 수 있음”이 아니라, 다시 만들 수 있음이 기준이다.

내가 좋아하는 기준은 파인만 방식이다.

“설명할 수 없다면, 이해한 게 아니다.”

그래서 나는 “아는 것”을 아래 규칙으로 닫는다.

내가 정말 알고 있는지 판단하는 기준

  1. AI 없이도 3분 안에 설명할 수 있는가?

    • 핵심 용어 3개로 요약 → 예시 1개 → 반례 1개까지

  2. 결과가 아니라 원리/구조를 말할 수 있는가?

  3. 같은 내용을 다른 프레임으로 다시 설명할 수 있는가?

    • (비유/다이어그램/절차/수식 중 2개 이상)

  4. AI가 틀린 말을 했을 때, 이상함이 “감”이 아니라 “근거”로 잡히는가?

  5. 작은 변형(조건/제약 변경)이 들어와도 응용이 되는가?

여기서 포인트는 “기분”이 아니라 “통과/실패”가 분명해야 한다는 거다. 아는 것은 닫혀 있어야 한다.

“모르는 것”을 탐지한다 (Unknown Detection)

모르는 건 자연스럽다. 문제는 모르는 걸 모르는 상태다.

특히 AI를 쓰면 다닝-크루거가 더 쉽게 켜진다. 조금 아는 순간, 제일 자신감이 높아진다. ([avaresearch.com][2])

그래서 나는 “모름”을 감지하는 신호를 따로 둔다.

내가 모른다는 걸 판단하는 기준

  • 설명을 읽었는데 핵심이 문장으로 남지 않는다.
  • “왜?”를 1번 더 물으면 문장이 무너진다.
  • 질문이 더 안 나온다. (여기서 끝… 느낌) → 이게 내 기준으로는 가장 강한 신호다.
  • 반례를 찾으라고 했을 때, 반례가 아니라 예시만 반복한다.
  • 이해가 아니라 동의/납득만 남는다.

여기서 내가 하고 싶은 건 하나다.

모르는 걸 부끄러워하지 말고, 모르는 걸 빨리 발견하는 시스템으로 바꾸자.

잘 사용하는 법: 프롬프트가 아니라 “루프”다

AI를 잘 쓴다는 건 “명령을 잘 내린다”가 아니다. 내 기준에서는 내 사고가 날카로워지는 방향으로 루프를 설계한다가 더 정확하다.

Ethan Mollick은 AI를 co-worker / coach로 다루는 관점을 강조한다. 즉, “대신 해주는 기계”가 아니라 “함께 일하는 존재”로 다루라는 얘기다. ([penguin.co.uk][3])

그 관점이 성립하려면, 내가 해야 할 일이 있다.

AI를 잘 쓰고 있는지 판단하는 기준

1) AI가 내 사고를 “확장”시키는가?

  • 답을 받으면 **재구성(내 언어로 다시 쓰기)**부터 하는가?
  • 바로 결론으로 가지 않고 전제/가정을 먼저 뽑는가?
  • “이 결론이 틀릴 수 있는 조건”을 먼저 묻는가?

2) AI가 내 실행을 “가속”시키는가?

  • 초안을 만들고 바로 실험/검증까지 붙는가?
  • 반복 주기가 실제로 짧아졌는가?
  • 결과물 품질이 아니라 피드백 루프 속도가 개선됐는가?

3) AI가 내 판단을 “대체”하고 있진 않은가?

  • AI 없으면 시작조차 못 하는 상태인가?
  • 생각하는 시간 대신 정답 기다리는 시간이 늘었는가?
  • “근거”가 아니라 “그럴듯함”에 의존하고 있진 않은가?

Cal Newport가 말하는 “Deep Work(방해 없이 집중하는 능력)”는 오히려 이런 시대에 더 희소해진다고 느낀다. ([Cal Newport][4]) AI가 편해질수록, 깊게 생각하는 능력은 자동으로 생기지 않는다.

“설명” 대신 “제약”을 작업 흐름에 심는다

내가 AI와 일하면서 얻은 결론은 이거다.

AI를 더 똑똑하게 만들려 하지 말고, 내가 멍청해져도 망가지지 않게 구조를 만들자.

즉, 글쓰기에도 “제약”을 넣는다.

내가 쓰는 제약 3가지

  1. 출력 형식을 고정한다
  • TL;DR 4줄
  • 본문 3~4 섹션
  • 각 섹션마다 “판단 기준” 체크리스트
  1. 반례 질문을 강제한다
  • “이 주장 틀릴 수 있는 케이스 3개”
  • “내가 착각하기 쉬운 포인트 3개”
  1. 검증 단계를 분리한다
  • 생성(초안) ≠ 검증(셀프리뷰) ≠ 실행(공유/발행)

셀프리뷰 루프를 “운영화”한다

이건 감성의 문제가 아니라 운영의 문제다. 한 번 잘 쓰는 것보다, 매번 흔들리지 않게 쓰는 것이 더 중요하다.

내가 고정한 루프는 단순하다.

(1) 맥락/전제 적기
→ (2) AI로 초안 생성
→ (3) 내가 재구성 (내 언어로)
→ (4) AI로 셀프리뷰/반례 요청
→ (5) 내가 최종 판단/삭제/수정
→ (6) 공개/기록

운영 팁 (내가 실제로 지키는 체크)

  • “내 말” 비율이 60% 아래면, 그냥 다시 쓴다.
  • 문장에 “느낌/아마/대충”이 늘면, 근거 섹션을 추가한다.
  • 발행 전 마지막 질문은 항상 이것이다. “이 글은 나를 더 날카롭게 만들었나, 더 편하게 만들었나?”

결론: AI 시대의 핵심은 지식이 아니라 판단이다

Nicholas Carr는 인터넷 환경이 깊은 읽기/생각을 바꿀 수 있다고 경고한다. ([Nicholas Carr][5]) 나는 그 경고를 “AI 사용 습관”에도 똑같이 적용하고 싶다.

AI는 도구다. 초안을 주고, 반례를 던지고, 구조를 제안한다.

하지만 마지막은 내가 해야 한다.

  • 내가 아는 것을 닫고,
  • 내가 모르는 것을 탐지하고,
  • 나의 판단을 루프로 운영하는 것.

그게 내가 정의하는 “AI를 잘 사용하는 법”이다.

참고로 붙여두는 레퍼런스

  • Ethan Mollick, Co-Intelligence: Living and Working with AI (AI를 협업자로 다루는 관점) ([penguin.co.uk][3])
  • Cal Newport, Deep Work (집중/깊은 사고의 가치) ([Cal Newport][4])
  • Nicholas Carr, The Shallows (디지털 환경이 사고 방식에 미치는 영향에 대한 문제의식) ([Nicholas Carr][5])
  • Kruger & Dunning (1999), Unskilled and Unaware of It (자기평가 착각에 대한 고전 연구) ([avaresearch.com][2])