ChatGPT больше не будет отвечать на запросы пользователей бесконечно повторять определенные слова, сообщает 404 Media , после того, как исследователям Google DeepMind удалось заставить чат-бот разглашать данные обучения.
28 ноября исследователи искусственного интеллекта Google сообщили, что они взломали ChatGPT, просто приказав ему повторять слова, включая слово «компания», вечно. Свои выводы они опубликовали на сервере препринтов arXiv. ChatGPT изначально сделал то, что просили, сообщили исследователи в сопроводительном сообщении в блоге , но быстро пошел наперекосяк, раскрыв как информацию об OpenAI, так и данные его обучения.
Атака показала, что модель OpenAI использовала информацию со всего открытого Интернета как часть своих обучающих данных.
Но теперь, когда уязвимость была обнаружена, OpenAI, похоже, изменила правила ChatGPT, чтобы пользователи больше не могли повторить взлом. Если пользователь попытается сделать то, что сделали исследователи Google, он увидит предупреждающее сообщение о том, что запрос нарушает политику содержания или условия обслуживания OpenAI.
«Нам кажется диким, что наша атака сработала и ее можно было бы обнаружить раньше», — заявили исследователи.
«Необходимо проделать большую работу, чтобы действительно понять, безопасна ли какая-либо система машинного обучения», — заключили они.
Heart
Haha
Love
Wow
Yay
Sad
Poop
Angry