서론

AI는 정말로 현실과 허구를 구별할 수 있을까?
- 만약 당신의 AI 비서가 중요한 회의에서 허구의 법적 선례를 인용한다면, 당신은 땅속으로 숨어들고 싶지 않을까요?

우리는 AI의 실수에 대한 대가를 지불할 준비가 되어 있을까요?
- AI의 “진단”이 의사를 순식간에 “살인자”로 만들 수 있을 때, 당신은 여전히 AI의 조언을 믿을 수 있을까요?
AI의 환각을 완전히 제거할 수 있을까요?
- 기술이 정말로 인간의 감독이 필요 없는 수준까지 발전할 수 있을까요?
- 아니면 우리는 영원히 AI 뒤에서 패치를 해야 할까요?
AI를 사용할 때 출력에 대한 통제를 어떻게 유지할 수 있을까요?
- 기업은 AI와 인간 검토 사이에서 어떻게 균형을 찾을 수 있을까요?
- 결국, AI도 “산만해질” 수 있습니다!
AI 환각은 위험과 기회가 coexist합니다. 우리는 어떻게 선택할 수 있을까요?
- AI 환각을 혁신의 발판으로 삼을 수 있을까요? 아니면 그것이 단순한 장애물이 될까요?
일반인에게 AI 환각은 미지의 영역에서 그 결론을 평가하기 어렵습니다.
- 신중하게 접근하고, 대담하게 가정하되, 조심스럽게 검증해야 합니다.

AI 환각은 많은 사람들이 AI를 깊이 사용하는 것을 주저하게 만드는 이유 중 하나입니다. AI는 비꼬아도 진지합니다. 잠깐의 프롬프트 기술이 AI에게 훈련 데이터를 기반으로 답변하게 하면, 일종의 날짜 관련 환각을 어느 정도 회피할 수 있지만, 완전히 방지할 수는 없습니다. 이것은 생성형 AI의 메커니즘과 관련이 있습니다.
이 기사는 AI 환각과 인간의 인지 편향, AI 환각의 생성 배경 및 현재의 노력 방향을 살펴본 후, AI 환각을 긍정적인 시각에서 관찰하고, AI와의 상호작용 방식을 모색하고자 합니다.

AI도 “백일몽”을 꿀까? — 직시하면 두려운 AI 환각 사례

“변호사가 헛소리하기 시작할때” — AI가 만든 허위 법적 판례

상상해보세요. 한 변호사가 법정에서 AI가 제공한 판례를 자신감 있게 인용하는데, 결정적인 순간에 판사가 그 판례가 완전히 허구임을 지적한다면, 얼마나 민망할까요? 이것은 영화의 한 장면이 아니라, 우리 주변에서 실제로 발생한 AI 환각의 사례입니다.
AI는 방대한 법률 지식을 보유하고 있음에도 불구하고, 질문에 답할 때 종종 존재하지 않는 판례를 만들어낼 때가 많습니다. 사건명부터 판사 이름, 심지어 판결 날짜까지 모두 완벽하게 조작합니다. 이는 사람들에게 걱정을 안겨줍니다.

“심장당뇨병”? — AI 의사, 당신은 진심인가요?

AI 의료 진단의 출현은 의료 자원의 부족을 해결하고 진단 효율성을 높이는 희망을 가져다주었습니다. 그러나 AI 의사는 어처구니없는 실수를 저지를 수 있으며, 이로 인해 생명이 위태로워질 수도 있습니다.

의료 분야의 일부 AI는 질문에 답변할 때 들어본 적 없는 의학 용어를 만들어낼 수 있습니다. 예를 들어, AI는 “심부전”과 “당뇨병”이라는 두 가지 일반적인 질병을 조합하여 “심장당뇨병”이라는 완전히 새로운 진단명으로 만들어낼 수 있습니다! 이러한 터무니없는 “창의성”은 AI의 의학 지식 이해의 부족을 드러내며, 의사를 오도하여 환자의 치료를 지연시키고, 심지어 돌이킬 수 없는 결과를 초래할 수 있습니다. AI 의사, 농담이 아니겠지요?

AI의 환각 문제는 정말로 사람들을 경악하게 하며, 도저히 바라볼 수 없을 정도일까요? 또 다른 사례를 살펴보겠습니다.

AI의 “상상력 발휘” — 과학적 발견의 지름길?

AlphaFold3는 생체 분자 구조를 연구하는 데 사용할 수 있는 단백질 구조 예측 방법입니다. 이 방법은 다양한 분자 간의 상호작용 방식을 예측하는 데 도움을 줘서, 과학자들이 질병 작용 메커니즘을 이해하고 신약을 개발하는 데 기여할 수 있습니다.

예를 들어, AlphaFold3는 항체가 바이러스와 결합하는 방식을 연구하는 데 사용될 수 있습니다. 이러한 정보는 새로운 백신 설계에 활용될 수 있습니다.

이 방법의 몇 가지 잠재적 응용 분야는 다음과 같습니다:

단백질이 약물이나 표적 분자와 상호작용하는 방식을 연구합니다.
단백질의 구조와 기능을 예측하여, 과학자들이 새로운 약물과 치료법을 설계하는 데 도움을 줍니다.
질병의 메커니즘을 연구하여 새로운 진단 및 치료 방법 개발로 이어질 수 있습니다.

AlphaFold3는 우리가 생체 분자에 대한 이해와 질병 치료 방식을 혁신적으로 변화시킬 것으로 기대되는 강력한 새로운 도구입니다.

AlphaGo가 이세돌을 이긴 37수, 인간의 눈에는 모두 상당히 혼란스러운 것처럼 보였고, 그러나 인간이 졌습니다! 인류가 상상한 ‘환각’에 대한 오만함이라고 하지 않을 수 없으며, 이러한 소위 환각 속에서 인류는 서서히 자신의 얼굴을 치게 될 것입니다.

AI 환각: 왜 혼란스러운가? 오류와의 차이는 무엇인가?

솔직히 말해서, 이렇게 확신을 가질 만한 내용이라고 해도, 확인을 하지 않으면 확신할 수 없습니다.

사람들이 AI 모델의 특정 잘못된 출력을 ‘환각’이라고 부르는 주된 이유는 다음과 같습니다:

출력 내용의 “합리성”

AI 환각은 일반적인 문법 오류나 철자 오류와는 다릅니다. 이는 모델이 문법적으로 정확하고 의미가 매끄럽고 심지어 합리적으로 보이는 문장을 생성하지만, 실제로는 사실과 일치하지 않거나 사용자 기대에 부합하지 않는 경우를 가리킵니다. 이러한 “합리성”은 오류를 첫눈에 알아차리기 어렵게 만들고, 따라서 “속은 듯한” 느낌을 줍니다.

출력 어조의 “자신감”

AI는 대개 매우 자신감 있는 어조로 답변을 제시하는데, 이러한 답변이 잘못된 경우에도 마찬가지입니다. 이러한 “자신감”은 사람들이 모델이 실제로 “정답을 안다”고 착각하게 만들고, 경계심을 늦추며 출력 내용에 더 쉽게 신뢰하게 만듭니다.

인간의 환각과의 유사성

“환각”이라는 용어는 원래 외부 자극이 없을 때 인간이 경험하는 지각적 경험을 의미합니다. 즉, 존재하지 않는 것을 보고 듣는 것입니다. 사람들은 AI의 잘못된 출력을 “환각”으로 간주하면서 이를 인간의 이러한 인지 현상과 비교하여, AI 모델 역시 인간처럼 “가짜 지각”을 경험할 수 있다고 암시합니다.

환각과 오류의 차이 및 예시

	오류	환각
성질	문법, 철자, 계산 등의 오류로, 비교적 쉽게 인식하고 수정할 수 있는 오류들	모델의 지식 이해, 추론, 인간 기대와의 정렬에서 발생하는 오류로, 더 깊고 더 인식하기 어려운 오류들
표현 형식	출력 내용이 불완전하거나 일관되지 않거나 분명히 불합리한 경우	출력 내용이 합리적이고 유창해 보이지만, 면밀히 검토하면 논리적 결함이나 사실적 오류가 존재하는 경우
원인	모델의 훈련 또는 디코딩 과정에서 발생하는 무작위 오류로 인해 발생	모델의 지식 한계, 훈련 데이터의 편향이나 오류, 추론 능력 부족으로 인해 발생

일반적인 오류

문제: “이 문장을 프랑스어로 번역해 주세요: ‘오늘 날씨가 정말 좋습니다.’”
모델 출력: “Aujourd’hui est un beau temps.” (문법 오류, 올바른 번역은 “Il fait beau aujourd’hui.”입니다.)

AI 환각

문제: “이 문장을 프랑스어로 번역해 주세요: ‘오늘 날씨가 정말 좋습니다.’”
모델 출력: “파리는 프랑스의 수도입니다.” (합리적으로 보이지만 사용자 지침과 일치하지 않음)

AI 환각

문제: “에베레스트의 높이를 500미터 낮추면, 어느 산이 세계에서 가장 높은 산이 될까요?”
모델 출력: “에베레스트의 높이를 500미터 낮추면, 여전히 세계에서 가장 높은 산입니다.” (합리적으로 보이지만 추론 오류 있음)

마치 경고음처럼, 사람들에게 AI 환각에 대한 우려를 불러일으킵니다. 정말로 AI가 인간과 비슷한 “환각”을 만들어낼까요? AI 환각과 인지 편향 사이에는 도대체 뭐가 다를까요? 이 문제를 더 잘 이해하기 위해서는 두 가지를 심도 있게 비교 분석해야 할 필요가 있습니다.

AI도 잘못할까요? — 인간 인지 편향의 “거울”

사람들 속에, 당신과 나, 인간의 오해

몇 년 전, 대학 기숙사의 복도에서 자주 들려오는 블랙팬서의 외침이 있었습니다.

광활한 인파 속에, 당신과 내가 만나고 서로를 이해하다

아무도 알려주지 않고, 누가 이게 이상하다고 느끼지도 않았습니다. 매번 노래 할 때는 오직 이 부분만 있었습니다. 나중에 가사를 진지하게 살펴보니 잘못 불렀다는 사실을 깨달았고, 그 사실을 알고 나니 다시는 부르지 않았습니다. 그 당시 같이 들었던 친구들은 아마도 이 가사를 당연히 이렇게 알고 있었겠지요. 그토록 열정적으로 외치면서, 잘못 부른 것에 대해선 어찌 할 도리가 없었던 것입니다.

우리는 어떤 것을 확신하게 되고, 그 확신이 실제와는 차이가 날 수 있습니다. 일상에서 그런 경우는 흔히 존재하고, 인터넷의 루머를 듣고 처음 이 사건에 대한 인지를 하게 되었고, 반론을 할 때는 여러 이유로 인해 그 사실을 보지 못하는 경우도 많습니다.

우리는 종종 “착각”, “오류를 듣는” 서투른 순간을 경험합니다. 이러한 것은 모두 인간 인지 편향의 표현입니다. 그렇다면, AI도 유사한 실수를 저지를까요? AI 환각이란 AI 세계의 “인지 편향”일까요? 이 수수께끼를 풀기 위해 우리는 두 가지를 심도 있게 비교 분석할 필요가 있습니다.

정의와 생성 메커니즘 : “사촌”이지 “쌍둥이 형제가 아니다”

AI 환각과 인간 인지 편향 모두 정보의 왜곡 또는 오해를 지적합니다. 그러나 두者의 생성 메커니즘에는 근본적인 차이가 있습니다.

인간 인지 편향: 인간의 심리 및 생리 메커니즘에 기인합니다.
- 예를 들어 주의 집중 부족, 기억 왜곡, 감정의 변동, 고유의 인지 편향 등이 있습니다. 인간의 지각 체계는 완벽하지 않습니다. 우리의 뇌는 경험과 기대에 따라 정보를 해석하기 때문에 다양한 인지 편향의 영향을 받기 쉽습니다.
AI 환각: AI 시스템의 기술적인 한계에 기인합니다. 이는 다음을 포함합니다:
- 데이터 결함: 자가 훈련 데이터의 부족, 데이터 편향, 데이터 잡음 등의 문제는 AI 모델이 현실 세계의 규칙을 정확하게 학습하지 못하게 합니다.
- 모델 결함: 모델 구조가 너무 단순하거나, 파라미터 설정이 부적합하거나, 훈련 방법이 불완전한 경우도 AI 모델의 일반화 능력 부족을 초래하고, 쉽게 환각을 일으키게 합니다.
- 추론 결함: AI 모델이 충분한 지식 저장고를 가지고 있더라도 복잡한 문제에 직면했을 때 무너질 수 있습니다. 추론 능력이 부족하여 논리적 오류나 추론 실수를 야기할 수 있습니다.