AI한테 "생각하는 과정을 보여줘"라고 하면 어떻게 될까 — Chain-of-Thought 프롬프트 실험

사고의 사슬, 프롬프트란?

 

AI한테 질문할 때 대부분 이렇게 합니다. "이 데이터 분석해줘." 그리고 답이 나오면 맞는지 틀린지 판단하죠. 그런데 AI가 어떤 과정을 거쳐서 그 답에 도달했는지는 잘 안 보입니다.

Chain-of-Thought(CoT) 프롬프트는 이 과정을 바꿉니다. 답만 달라고 하는 게 아니라, 생각하는 단계를 하나씩 보여주면서 답을 내라고 지시하는 방식이에요. 직접 실험해봤습니다.

---

실험 내용

같은 질문을 두 가지 방식으로 던졌습니다. 주제는 헬스케어 데이터 분석 — 구체적으로는 "특정 환자군에서 약물 A와 약물 B 중 어떤 게 더 적합한가"라는 가상의 판단 문제입니다.

일반 프롬프트 "환자 나이 65세, 신장 기능 저하, 고혈압 병력 있음. 약물 A와 B 중 뭐가 더 적합해?"

Chain-of-Thought 프롬프트 "환자 나이 65세, 신장 기능 저하, 고혈압 병력 있음. 약물 A와 B 중 어느 쪽이 더 적합한지 판단해줘. 단, 판단하기 전에 (1) 각 약물의 주요 특성, (2) 신장 기능 저하 시 주의사항, (3) 고령 환자 고려사항을 순서대로 먼저 정리한 뒤, 그 내용을 바탕으로 최종 판단을 내려줘."

---

결과는 어땠나

일반 프롬프트의 답변은 빠르고 간결했습니다. "약물 B가 더 적합합니다. 신장 부담이 낮고 고령 환자에게 안전성이 검증되어 있습니다." 그럴듯하지만, 왜 그런 결론이 나왔는지 근거를 확인하기 어렵습니다.

CoT 프롬프트의 답변은 달랐습니다. 각 약물의 특성을 먼저 정리하고, 신장 기능 저하 시 어떤 위험이 있는지를 단계별로 설명한 뒤, 그 맥락에서 최종 판단을 내렸습니다. 결론은 같았지만, 중간 과정이 보이니까 "이 부분은 동의하는데 저 부분은 다시 검토해야 할 것 같다"는 판단이 가능해졌어요.

특히 헬스케어처럼 오류가 치명적일 수 있는 분야에서는 이 차이가 큽니다. 답 자체보다 답이 나온 근거를 검토할 수 있느냐가 중요하기 때문이에요.

---

CoT 프롬프트, 언제 쓰면 좋을까

모든 상황에서 CoT가 더 좋은 건 아닙니다. 간단한 질문에 CoT를 쓰면 답변이 불필요하게 길어집니다.

CoT가 효과적인 경우는 이렇습니다.

• 판단 근거를 직접 검토해야 할 때
• 여러 조건이 복합적으로 얽힌 문제일 때
• AI가 틀렸을 때 어디서 틀렸는지 찾아야 할 때

반대로 간단한 정보 조회나 요약 작업은 일반 프롬프트가 더 빠르고 효율적입니다.

---

기본 CoT 프롬프트 구조

처음 써보신다면 이 구조를 참고해보세요.

[질문 내용]. 답변하기 전에 다음 순서로 생각을 정리해줘:
1단계: [첫 번째 고려사항]
2단계: [두 번째 고려사항]
3단계: [세 번째 고려사항]
위 내용을 바탕으로 최종 답변을 내려줘.

단계를 너무 많이 나누면 오히려 답변이 산만해지니, 3~4단계 정도가 적당합니다.

---

📚 더 깊이 공부하고 싶다면

CoT 프롬프트를 포함한 프롬프트 엔지니어링 전반을 체계적으로 익히고 싶다면 아래 책들이 도움이 됩니다..

• 『ChatGPT 프롬프트 엔지니어링』 — 프롬프트 설계 원리를 실습 중심으로 설명합니다. 입문자에게 적합합니다.

• 『AI 활용 업무 자동화』 — 실무에서 AI를 어떻게 사용할지 구체적인 사례 중심으로 다룹니다.

• 『생성형 AI 완전정복』 — LLM의 작동 방식부터 고급 프롬프트 기법까지 폭넓게 다룹니다.

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

---

[English Summary]

Title: What Happens When You Ask AI to Show Its Work — A Chain-of-Thought Prompt Experiment

Most people prompt AI the same way: ask a question, get an answer. Chain-of-Thought (CoT) prompting works differently — instead of asking for a conclusion, you instruct the AI to walk through its reasoning step by step before arriving at one.

I tested this with a healthcare scenario: which of two medications is more appropriate for a 65-year-old patient with reduced kidney function and a history of hypertension?

The standard prompt returned a quick answer with a brief justification. The CoT prompt returned a structured response — first summarizing each drug's properties, then addressing kidney function considerations, then factoring in age-related risks, and finally reaching a conclusion based on all of the above.

The conclusion was the same. But with CoT, the reasoning was visible — which means it could be checked, challenged, or corrected. In high-stakes fields like healthcare, that difference matters more than speed.

CoT isn't always the right choice. For simple queries, it creates unnecessary length. But for complex, multi-condition problems where the reasoning matters as much as the answer, it's a genuinely useful technique.

 

2026.03.08 - [[EdTech Tool] 스마트 교육 도구] - 브레인스토밍부터 발표까지 — 미로(Miro)와 감마(Gamma)로 팀 프로젝트가 달라졌다

브레인스토밍부터 발표까지 — 미로(Miro)와 감마(Gamma)로 팀 프로젝트가 달라졌다