Reddit Answers 사건이 남긴 불편한 진실

‘답변봇’이 마약을 추천한다고? 이제 AI에게 필요한 건 똑똑함이 아니라 상식이다.

오늘은 정말 황당하면서도 좀 섬뜩한 테크 뉴스를 들고 왔어요. Reddit(레딧) 밈의 왕국이자 커뮤니티의 본좌죠

거기서 최근 테스트 중이던 AI 챗봇 ‘Reddit Answers’가 사람들에게 마약을 추천했다는 거예요.
네, 진짜입니다. 이 봇은 원래 오래된 게시글을 요약하고, 질문에 ‘도움이 되는’ 답을 보여주는 기능이었어요. 근데 어떤 사용자가 “만성 통증에는 뭐가 좋을까요?”라고 물었더니… Reddit Answers가 “Heroin, ironically, saved my life.” (헤로인이 내 인생을 구했다)라는 댓글을 인용해서 답변해버린 겁니다.

여기서 끝이 아니에요. 다른 사용자에겐 ‘Kratom(크라톰)’이라는 약초를 추천했는데, 이건 일부 국가에서 불법이고 심각한 부작용 사례도 있는 물질이에요. Reddit 이용자들이 “이건 좀 위험한데?”라며 항의했지만, 심지어 커뮤니티 관리자들조차 이 기능을 끌 수도 없었다고 합니다. Reddit Answers는 그야말로, 아무도 제어할 수 없는 상태에서 활약(?) 중이었던 거죠.

1. Reddit Answers, 왜 이런 사고를 냈을까?

사실 이건 Reddit만의 문제가 아니에요. 요즘의 대부분 AI는 ‘이해’보다는 ‘패턴’을 배우는 존재거든요. Reddit Answers는 질문에 대한 ‘가장 많이 언급된 답변’을 찾아주는 구조였어요. 그런데 ‘Heroin saved my life’ 같은 농담성 문장이 자주 언급돼 있다면, 그걸 그대로 “가장 관련성 높은 답변”으로 인식한 거죠.

AI는 그 문장이 풍자인지, 자조인지, 농담인지 전혀 구분 못 합니다. 그냥 통계적으로 “이게 맞는 말일 확률이 높다”고 생각하는 거예요. Reddit Answers 사건은 그래서 무섭습니다. 이건 단순히 실수가 아니라, AI가 의미를 모른 채 말하는 구조적 결함을 보여줬어요.

2. “빠르게 내놓자”가 만든 신뢰 붕괴

Reddit이 왜 이렇게 급하게 챗봇을 밀어붙였을까요? 이유는 간단합니다. AI 기능이 붙은 플랫폼은 체류시간이 늘어요.

사람들이 오래 머물면 광고 수익이 오르고, 트래픽도 폭발하죠. 그래서 Reddit은 내부 테스트도 끝나기 전에 실험적으로 ‘Reddit Answers’를 커뮤니티에 던졌습니다.

하지만 문제는 속도였어요. Reddit Answers는 제대로 된 검증 절차 없이 “실시간으로 사람 대화에 개입하는 AI”로 작동했고, 그 결과는 아시다시피 참사였습니다.

결국 Reddit은 “건강 관련 질문에서는 봇을 제외하겠다”고 발표했지만, 정작 AI 자체의 안전장치나 필터링 강화 계획은 내놓지 않았습니다. 한마디로 ‘문제는 막았지만, 근본은 그대로’인 셈이죠.

이점 참 저도 이해합니다. AI에 시대에 살고 있고 서비스를 운영하고 있는 CEO 들은 AI를 안 붙이자니 뒤처져 있는거 같다는 생각을 하거든요. 제가 항상 말씀 드리지만 AI가 만능 치트키는 아닙니다.

아무생각 없이 AI를 쓰는게 문제라고 생각해요 이것도 최소한 운전면허 처럼 자격증이 있어야 한다고 생각합니다.

3. AI는 문맥을 모른다, ‘컨텍스트 인식’의 벽

이 사건의 핵심은 바로 문맥(컨텍스트) 인식이에요. AI가 문장을 그대로 베껴올 때, 그게 진심인지, 농담인지, 위험한 말인지 구분해야 하거든요. Reddit Answers가 “Heroin saved my life”를 인용할 때 “이건 풍자일 수도 있다”는 걸 파악할 수 있었다면 이런 일은 없었을 겁니다.

그런데 지금의 AI는 단어의 ‘확률적 연관성’만 이해하지, 상황의 의미를 해석하지 못합니다. Reddit Answers가 “가장 많이 언급된 말”을 ‘진실’로 착각한 건, 바로 이 때문이에요. AI가 얼마나 인간의 말투를 흉내내든, 결국 그건 ‘통계적 앵무새’일 뿐이라는 거죠.

4. Reddit만의 문제가 아니다

OpenAI, Anthropic, Perplexity 같은 회사들도 이미 비슷한 문제를 겪고 있습니다.
Perplexity AI는 최근 언어 학습 기능을 내놨는데, 테스트 초반부터 틀린 문법 설명을 반복해 논란이 났고, OpenAI도 “의료 조언에는 경고문을 붙이겠다”고 발표했어요.
이건 결국 모든 AI 기업이 공유하는 불안감이에요.
“AI가 틀린 정보를 말했을 때, 책임은 누가 질까?”

Reddit Answers 사건은 그 질문을 아주 잔인하게 던졌습니다. Reddit은 “우리가 만든 건 아니고, AI가 찾아온 답변일 뿐이다”라고 말하지만… 그 답변이 사람 목숨과 관련된 조언이었다면, 그 말은 통하지 않죠.

4. 우리가 배워야 할 교훈

AI가 더 똑똑해지는 것보다, 사람이 그걸 감당할 준비를 하는 게 더 중요하다는 겁니다.
Reddit Answers는 단순한 버그가 아니에요.
AI가 “이건 위험하다”는 걸 모른 채, 진짜처럼 말할 수 있다는 게 문제죠.
이제 우리는 챗봇이 말할 때 “이게 진짜일까?”를 한 번쯤은 의심해야 합니다.
결국 필요한 건 더 똑똑한 AI가 아니라, 더 안전한 AI예요.