AI를 10분만 써도 어려운 과제를 계속하는 능력이 약해질까요?

AI 요약

UC Berkeley 연구진이 AI 도움을 받은 뒤 도구를 사용할 수 없게 되면 어려운 과제를 이어 가는 행동이 달라지는지 실험했습니다. 연구진은 온라인 참가자 1,222명을 대상으로 무작위 대조 실험 세 건을 진행했습니다. 공동 저자인 Brian Christian은 AI가 답을 빠르게 내놓는 환경에 익숙해지면 시간이 걸리는 과제가 비효율적으로 느껴지고, 스스로 답을 찾는 ‘생산적인 고생(productive struggle)’이 줄어들 수 있다고 설명합니다.

실험에서 관찰한 변화

첫 실험에서는 참가자 354명이 분수 문제 15개를 풀었습니다. 한 집단은 도움 없이 문제를 풀었고, 다른 집단은 ChatGPT를 사용할 수 있었습니다. AI를 쓴 집단은 처음에는 정답률이 높았지만, 12문제를 푼 뒤 도구를 제거하자 남은 문제에서 정확도가 빠르게 떨어졌습니다. 더 큰 규모의 두 번째 실험에서도 AI 도움을 받던 참가자들은 도구가 사라진 뒤 오답을 내거나 과제를 포기하는 일이 늘었습니다. 도움 없이 푼 집단은 끝까지 더 잘 수행했습니다. 세 번째 실험은 201명을 대상으로 SAT 독해 문제를 냈고, 비슷한 결과를 얻었습니다.

연구진은 이 결과를 AI 의존이 인지적 체력을 약화할 가능성을 보여주는 신호로 해석합니다. AI가 답을 대신 내놓으면 학습자가 자료에 오래 몰입하고, 강점이나 관심사를 발견하는 과정이 줄어들 수 있다는 설명입니다. Christian은 특히 학술 연구에서 자료를 직접 살피고 팀으로 생각을 발전시키는 과정이 중요하다고 말합니다. 연구자 열 명이 함께 아이디어를 다듬던 일이 연구자 두세 명과 챗봇의 작업으로 바뀌면 과학적 전문성을 기르는 방식도 달라질 수 있다고 우려합니다. AI를 답변 제공자보다 교사처럼 설명하는 도구로 설계해 사람의 능력을 대체하기보다 보완해야 한다는 제안도 내놓습니다.

결과를 해석할 때의 주의점

Reddit 토론에서는 기사 제목이 실험 결과를 과장한다는 반론이 많이 나왔습니다. 실험은 AI 사용 직후 몇 문제를 풀거나 포기하는지 측정했을 뿐, 능력이 장기간 약해지는지 확인하지 않았다는 지적입니다. 한 댓글은 가장 큰 실험의 정답률 차이가 71%와 77%였고 효과 크기도 작았으며, 지속성 차이는 통계적으로 유의하지 않았다고 설명합니다. 또 참가자가 AI에게 답을 그대로 묻는 대신 힌트나 설명을 요청했을 때는 대조군과 비슷한 성적을 보였다는 점을 들어, AI 자체보다 답을 복사하는 사용 방식이 결과를 좌우했을 가능성을 제기합니다.

실험 설계에 대한 비판도 이어졌습니다. 참가자들은 과제를 하던 중 갑자기 AI를 사용할 수 없게 됐고, 대조군은 처음부터 끝까지 도움 없이 문제를 풀었습니다. 따라서 AI에 특화된 인지 저하인지, 익숙한 도구를 갑자기 잃은 데 따른 좌절감인지 구분하기 어렵다는 주장입니다. 계산기 같은 다른 답변 도구를 비교 조건으로 두지 않았다는 지적도 나왔습니다. 반면 일부 이용자는 AI를 설명과 자료 탐색에 쓰면 새로운 기술을 배우는 데 도움이 된다고 말했습니다. 토론은 AI 사용 여부만 따지기보다 답을 대신 맡기는지, 학습을 돕도록 쓰는지 구분해야 한다는 의견으로 갈렸습니다.

Reddit 반응

• @u/ARudeAsshole — 이 기사는 말도 안 됩니다. 연구가 실제로 한 일과 보여준 결과가 제목과 다릅니다. AI에 익숙해진 사람들이 짧은 실험 중간에 AI를 갑자기 빼앗긴 뒤 더 못한 결과입니다. 10분 사용이 지능이나 주의력, 삶의 어려운 일을 버티는 능력을 오래 약화한다고 입증하지 않았습니다.
• @u/ischmal — AI가 기술을 약화할 가능성은 그럴듯하고 실제 우려이기도 합니다. 하지만 이 연구가 보여준 건 어떤 기술을 몇 분 연습하면 그 기술을 평가받을 때 더 잘한다는 사실뿐입니다.
• @u/UAP44 — 가장 큰 실험에서 차이는 작았고, 제목이 강조하는 지속성 효과는 통계적으로 유의하지 않았습니다. AI에게 답을 복사한 사람에게 피해가 집중됐고, 힌트와 설명을 쓴 사람은 대조군과 비슷했습니다. 더 정확한 제목은 ‘어떤 도구로든 답을 복사하면 배우지 못하지만, AI를 교사처럼 쓰면 해가 관찰되지 않았다’일 겁니다.
• @u/skurvecchio — 방법론이 의심스럽습니다. 대조군은 과제 중간에 AI를 빼앗겼고, 참가자에게 문제를 건너뛸 선택지도 줬습니다.
  • @u/matchmisuu — 결과는 도구로 쉽게 과제를 하게 한 다음 그 도구를 치우면 사람들이 과제를 더 어렵게 느낀다는 뜻입니다. 인지 능력이 실제로 손상됐다는 뜻은 아닙니다. 참가자에게 정답마다 20달러를 준다고 했으면 결과가 달라졌을지도 모릅니다.
• @u/ISuckAtJavaScript12 — 직장에서 AI를 쓰도록 강요받고, 저와 동료들이 멍청해지는 것 같습니다. 질문과 답변, 결정까지 전부 Claude를 거쳐야 합니다. 한 번은 서비스 장애가 났는데 Claude도 중단되자 복구될 때까지 사실상 아무 일도 진행되지 않았습니다.
• @u/NetworkSingularity — AI를 개인용 사고 장치처럼 대하지 마세요. 대학을 막 졸업한 신입사원처럼 대하세요. 아는 것도 많고 자료도 잘 찾지만 다른 일에는 어리석을 수 있습니다. 직접 생각하고 AI에게 일을 맡기되 자동으로 믿지는 마세요.
• @u/runenight201 — 저는 오히려 AI가 어려운 일을 더 잘 이어 가도록 도와줬습니다. 혼자서는 할 수 없는 하위 작업 때문에 포기하곤 했는데, AI가 그 일을 처리해 주면서 더 높은 수준의 목표를 계속 진행할 수 있습니다.
  • @u/Xercies_jday — AI에게 자료와 더 알아볼 방향을 물으면 더 나은 Wikipedia처럼 쓸 수 있습니다. 일을 대신 해달라고 하면 그 일을 하는 능력을 잃을 수 있습니다.
• @u/zffjk — 20년 IT 경력에서 높은 성과를 낸 비결은 가장 똑똑하거나 뛰어난 사람이 되는 게 아니었습니다. 끈기와 정리 능력이 중요했습니다. 어느 직급에서든 둘 중 하나가 없으면 나머지는 힘을 쓰지 못합니다.

원문: UC Berkeley News / 번역·요약: Trawling