ШІ навчили говорити "я не знаю": як це зменшує галюцинації у відповідях

Вчені навчили ШІ розпізнавати межі власних знань і чесно визнавати помилки

Дослідники з KAIST розробили методику, яка вчить нейромережі ідентифікувати незнайому інформацію та знижувати рівень впевненості у сумнівних ситуаціях.

Про це інформує РБК-Україна, посилаючись на наукове дослідження, опубліковане у фаховому віснику Nature Machine Intelligence.

Більше цікавого: ШІ навчився "ховати" образи у мемах і картинках: популярні фільтри виявилися безсилими Чому ШІ стає самовпевненим?

Група дослідників під керівництвом професора Се-Бума Пайка з'ясувала, що корінь проблеми захований у методі "випадкової ініціалізації", який використовується майже у всіх моделях глибинного навчання.

Нейромережі ще до початку роботи з реальними даними схильні демонструвати високу впевненість навіть у випадкових сигналах. Ця базова установка зберігається під час тренування і згодом провокує галюцинації у генеративного ШІ.

"Впроваджуючи ключові принципи розвитку мозку, ШІ може розпізнавати стан власних знань у спосіб, подібний до людського. Це важливо, адже допомагає ШІ розуміти, коли він не впевнений або може помилятися, а не просто покращувати частоту правильних відповідей", - зазначає професор Пайк.

Методика "розминки" на шумі

Рішення підказала біологія: людський мозок формує нейронні зв'язки через спонтанну активність ще до народження, коли зовнішні подразники відсутні. Науковці перенесли цей досвід у цифрову площину, впровадивши фазу warm-up (розминки):

Навчання на шумі: перед роботою з реальними об'єктами алгоритм короткочасно тренують на випадковому наборі даних, що не мають сенсу.

Налаштування невизначеності: під час цього процесу ШІ адаптує рівень своєї впевненості до мінімуму, фактично вивчаючи стан "я поки нічого не знаю".

Коригування бази: після такої підготовки модель починає навчання з чистого аркуша, де її впевненість у відповіді прямо пропорційна якості отриманих знань.

Від правильних відповідей до метакогніції

Застосування нової стратегії дозволило ШІ значно краще розпізнавати дані, які відрізняються від навчальної вибірки (out-of-distribution detection). У ситуаціях, де звичайна модель впевнено б помилилася, оновлений алгоритм сигналізує про високий рівень невизначеності.

"Фактично це крок до створення метакогніції у машин - здатності розрізняти "що я знаю" та "чого я не знаю", - вважають науковці.

Дослідники наголошують, що такий підхід не просто підвищує точність відповідей, а й робить поведінку ШІ прогнозованою.

Вчені переконані: технологія може бути застосована до будь-якої архітектури глибокого навчання, і це підвищить загальну надійність систем штучного інтелекту в усьому світі.

Ще більше цікавого:

• ШІ боїться сказати "ні": вчені попереджають про приховану небезпеку
• Роботи отримали "інтуїцію" за 110 млн доларів: як ШІ навчився моделювати майбутнє