Предисловие

Может ли ИИ действительно различать реальное и вымышленное?
- Если ваш ИИ-ассистент во время важной встречи упомянет несуществующий прецедент, вы не захотите укрыться под землёй?

Готовы ли мы расплачиваться за ошибки ИИ?
- Когда “диагностика” ИИ может мгновенно превратить врача в “убийцу”, вы все еще доверяете его рекомендациям?
Можно ли полностью устранить галлюцинации ИИ?
- Может ли техника развиться до того уровня, чтобы не нуждаться в человеческом надзоре?
- Или же нам всегда придется исправлять ошибки ИИ?
Как сохранить контроль над выводами ИИ при его использовании?
- Как фирмам найти баланс между ИИ и ручной проверкой?
- В конце концов, ИИ тоже может “отвлекаться”!
Галлюцинации ИИ несут как риски, так и возможности, как мы должны это сбалансировать?
- Можно ли рассматривать галлюцинации ИИ как трамплин для инноваций, а не как обременение?
Для обычных людей сложно оценить заключения ИИ в неизвестных областях
- К этому нужно относиться осторожно: смело выдвигать гипотезы и внимательно проверять.

Галлюцинации ИИ — это одна из причин, почему многие люди отказываются углубленно использовать ИИ. ИИ может говорить неправду с уверенностью. Ранее существовали методы написания запросов, чтобы избежать несуществующих данных, заставляя ИИ отвечать на основании тренировочных данных, но это не может полностью предотвратить эту проблему, что связано с механизмом генеративного ИИ.
В данной статье мы попробуем рассмотреть галлюцинации ИИ и когнитивные искажения человека, а также фон их возникновения и направление текущих усилий, в конечном итоге с положительной точки зрения, посмотреть на взаимодействие с ИИ и выяснить, как общаться с ним.

ИИ тоже “мечтает”? — Ужасные примеры галлюцинаций ИИ

“Когда юрист начинает говорить ерунду” — ИИ выдумывает несуществующие юридические прецеденты

Представьте себе адвоката, который в суде уверенно ссылается на прецедент, предоставленный ИИ, но в критический момент судья указывает, что этот прецедент совершенно вымышлен. Какой это будет неловкий момент? Это не сцена из фильма, а реальный пример галлюцинации ИИ, наблюдаемой вокруг нас.
Хотя ИИ обладает массивной юридической базой знаний, он часто излагает несуществующие прецеденты при ответах на вопросы — вплоть до названий дел и имен судей, даже даты решения созданы с максимальной правдоподобностью. Это не может не вызывать беспокойство.

“Сердечный диабет”？！— ИИ-врач, ты серьезен?

Появление ИИ в медицине дало надежду на решение проблемы нехватки медицинских ресурсов и повышение эффективности диагностики. Однако, ИИ-врачи могут совершать ошибки, которые вызывают смех, а иногда даже угрожают жизни.

Некоторые ИИ в области медицины могут выдумывать никогда не слышанные медицинские термины в ответах. Например, он может совмещать “сердечную недостаточность” и “диабет” и создавать совершенно новый диагноз — “сердечный диабет”! Эта абсурдная “креативность” не только подчеркивает недостаток понимания ИИ в области медицины, но и может ввести врачей в заблуждение, задерживая лечение пациентов и порой приводя к невозвратимым последствиям. ИИ-врач, ты не шутишь?

Видится, что проблема галлюцинаций ИИ просто за гранью! Но действительно ли это так? Давайте рассмотрим еще один пример.

“Громкие умы” ИИ — кратчайший путь к научным открытиям?

AlphaFold3 — это метод предсказания структуры белков, который может быть использован для изучения структуры биомолекул. Он способен предсказывать способы взаимодействия различных молекул, что может помочь учёным понять механизмы заболеваний и разработать новые лекарства.

К примеру, AlphaFold3 может быть использован для изучения того, как антитела связываются с вирусами. Эта информация может быть использована для разработки новых вакцин.

Вот некоторые потенциальные применения этого метода:

Изучение взаимодействия белков с другими молекулами, такими как лекарства или целевые молекулы.
Прогноз структуры и функций белков, что может помочь учёным разрабатывать новые лекарства и методы лечения.
Изучение механизмов заболеваний, что может привести к разработке новых диагностических и терапевтических методов.

AlphaFold3 — это мощный новый инструмент, который обещает коренным образом изменить наше представление о биомолекулах и лечении заболеваний.

После 37-го хода AlphaGo против Ли Седоля почти все люди были в недоумении, однако люди проиграли! Трудно сказать, что это не “галлюцинации”, придуманные высокомерными людьми, под этой “галлюцинацией” люди постепенно будут обмануты сами собой.

Галлюцинации ИИ: почему это запутанно? Чем они отличаются от ошибок?

По правде говоря, казалось бы, что если не проверять, то всё будет в порядке.

Причины, по которым некоторые ошибки модели ИИ называются “галлюцинациями”, в основном заключаются в следующем:

“Справедливость” выходного содержимого

Галлюцинации ИИ отличаются от обычных грамматических или орфографических ошибок. Они указывают на то, что модель генерирует грамматически правильные, плавные и даже выглядящие разумными предложения, которые на самом деле не соответствуют фактам или ожиданиям пользователя. Эта “рациональность” затрудняет первое обнаружение ошибок, создавая ощущение “обмана”.

“Уверенность” в выводах

ИИ обычно дает ответы очень уверенно, даже если они неправильны. Эта “уверенность” легко вводит людей в заблуждение, заставляя их думать, что модель действительно “знает” ответ, и тем самым ослабляет бдительность, позволяя легче поверить в выводы.

Параллель с человеческими галлюцинациями

Термин “галлюцинация” изначально относится к человеческому восприятию, возникающему без внешних стимулов, например, увидеть или услышать несуществующие вещи. Люди называют ошибки ИИ “галлюцинациями” также в аналогии с человеческим когнитивным явлением, предполагая, что модели ИИ могут также создавать “ложное восприятие”.

Различие между галлюзиями и ошибками: примеры

	Ошибка	Галлюцинация
Природа	Ошибки в грамматике, правописании или расчетах, они более легко распознаваемы и исправляемы	Ошибки в понимании знаний, выводах и ожиданиях пользователя, они более глубокие, труднее заметить и исправить
Внешний вид	Выводы не полные, не связные или явно неразумные	Выводы выглядят разумными и плавными, но при тщательном анализе можно обнаружить логические дыры или фактические ошибки
Причина	Случайные ошибки в процессе обучения или декодирования	Ограниченность знаний модели, отклонения в данных или недостаток логики

Общая ошибка

Вопрос: “Переведите это предложение на французский: ‘Сегодня хорошая погода.’”
Вывод модели: “Aujourd’hui est un beau temps.” (грамматическая ошибка; правильный перевод — “Il fait beau aujourd’hui.”)

Галлюцинация ИИ

Вопрос: “Переведите это предложение на французский: ‘Сегодня хорошая погода.’”
Вывод модели: “Париж — столица Франции.” (выглядит разумно, но не соответствует инструкции пользователя)

Галлюцинация ИИ

Вопрос: “Если понизить высоту Эвереста на 500 метров, какая гора станет самой высокой в мире?”
Вывод модели: “Если понизить высоту Эвереста на 500 метров, он всё равно останется самой высокой горой в мире.” (выглядит разумно, но логика ошибочная)

Как колокол тревоги, это вызывает беспокойство о галлюцинациях ИИ. Разве ИИ действительно будет генерировать “галлюцинации”, подобные человеческим? Каковы различия и связи между галлюцинациями ИИ и когнитивными искажениями человека? Чтобы лучше понять этот вопрос, необходимо провести глубокий сравнительный анализ.

ИИ тоже может ошибаться? — “Зеркало” человеческих когнитивных искажений

В толпе, есть ты и я, человеческие иллюзии

Много лет назад на коридорах университетского общежития часто звучал гневный крик “Черного пантеры”

Среди безбрежного моря людей, есть ты, есть я, встречаемся, знакомимся, и исследуем друг друга

Никто не предупреждал, никто не чувствовал дискомфорта, каждый раз пели только эти две строки, позже всмотревшись в текст, понял, что пел неправильно, и с тех пор, зная, что неправильно, больше не пел. Я думаю, что те, кто услышал тогда, возможно, подразумевали это, ведь такой восторженный крик, не может быть ошибочным, верно?

Мы часто верим, что некоторые вещи верны, но они были неправильно поняты — жиз