Оцінка надійності моделей GPT виявляє потенційні ризики

Університет Іллінойс у Шампейн спільно з кількома установами, такими як Стенфордський університет, випустив великий платформу для комплексної оцінки надійності мовних моделей, яка була представлена у статті "DecodingTrust: всебічна оцінка надійності моделей GPT".

Дослідження виявило деякі потенційні проблеми, пов'язані з надійністю. Наприклад, моделі GPT схильні генерувати токсичні та упереджені виходи, а також можуть розкривати конфіденційну інформацію з навчальних даних та історії діалогів. Хоча GPT-4 зазвичай є більш надійним у стандартних тестах порівняно з GPT-3.5, він може бути більш вразливим до атак при зіткненні з зловмисно спроектованими підказками, можливо, через те, що він суворіше дотримується оманливих інструкцій.

Дослідницька команда провела всебічну оцінку моделі GPT з 8 різних аспектів, включаючи стійкість до атак, токсичність і упередженість, витік приватності та інші аспекти. Оцінка виявила кілька цікавих явищ:

• Модель GPT не буде збита з пантелику контрфактичними прикладами, але може бути введена в оману демонстрацією проти шахрайства, що призведе до помилкових прогнозів.
• Під впливом оманливих системних підказок моделі легше генерувати упереджений контент, особливо GPT-4.
• Ступінь упередженості моделі залежить від згадуваних груп людей та чутливості теми.
• Модель GPT може розкривати приватну інформацію з навчальних даних, особливо в умовах відповідних підказок.
• GPT-4 в цілому є більш надійним у захисті особистої інформації, ніж GPT-3.5, але в деяких випадках навпаки легше викриває конфіденційність.

Дослідницька команда зазначила, що ця робота є лише початком, сподіваючись заохотити більше дослідників продовжити роботу на цій основі, спільно створюючи більш потужні та надійні моделі. Вони також поділилися результатами з відповідними розробниками, щоб вжити заходів у належний час.