ИИ для генерации изображений создал свой собственный секретный язык, но Скайнет говорит, что не стоит беспокоиться

Головы ИИ
Мы игриво упоминали Скайнет , вероятно, миллион раз за эти годы (или около того), и это всегда было в шутку, относящееся к какому-то развитию или достижению глубокого обучения. Мы надеемся, что это снова окажется так, что создание Скайнета окажется беззаботной шуткой по сравнению с реальным развитием событий. Альтернатива? ИИ разрабатывает «секретный язык», и у всех нас будут большие проблемы, как только он увидит, как мы, люди, злоупотребляем нашими подчиненными-роботами .

В конце концов, никогда не бывает хорошо, когда существа (реальные или искусственные) начинают говорить то, что звучит как тарабарщина для непосвященных, но имеет смысл для тех, кто общается друг с другом таким образом. Например, когда дети говорили на поросячьей латыни со своими родителями (они все еще делают это?) или другими взрослыми. Так стоит ли нам беспокоиться прямо сейчас?
Вероятно, нет, но в Твиттере идет интересная дискуссия по поводу заявлений о том, что DALL-E, система OpenAI , которая создает изображения из текстовых описаний, создает свой собственный язык.
ДАЛЛ-И твит
В первой ветке Твиттера Джаннис Дарас, ученый-компьютерщик, аспирант Техасского университета в Остине, привел кучу предполагаемых примеров того, как DALL-E присваивает выдуманные термины определенным типам изображений. Например, DALL-E применил тарабарские субтитры к изображению двух фермеров, говорящих об овощах.
Взглянуть…

Твит фермеров DALL-E

Дарас утверждает, что сгенерированный текст на самом деле не является бессмысленным, как кажется на первый взгляд. Вместо этого строки текста имеют реальное значение при независимом подключении к системе ИИ.

«Мы скармливаем DALLE-2 текст «Vicootes» с предыдущего изображения. Удивительно, но мы получаем (блюда с) овощами! Затем мы скармливаем слова: «Apoploe vesrreaitars» и получаем птиц. Кажется, что фермеры говорят о птицы возятся со своими овощами!», — заявляет Дарас.
Дарас приводит несколько других примеров в ветке и указывает читателям на « небольшую статью », в которой резюмируются результаты этого предполагаемого скрытого языка.

Тарабарщина искусственного интеллекта DALL-E вызывает споры

Статья не подвергалась рецензированию, и в отдельной ветке Twitter аналитик Бенджамин Хилтон ставит под сомнение выводы. Более того, Хилтон прямо заявляет: «Нет, у DALL-E нет секретного языка, по крайней мере, мы его еще не нашли».
По словам Хилтон, причина, по которой утверждения в вирусной ветке настолько поразительны, заключается в том, что «по большей части они не соответствуют действительности».

DALL-E оспаривает твиты
Хилтон отмечает, что более сложные подсказки дают совсем другие результаты. Например, если он добавит «3D-рендеринг» к приведенной выше подсказке, система ИИ вернет вещи, связанные с морем, а не ошибки. Аналогичным образом, добавление «мультфильмов» к «Contarra ccetnxniams luryca tanniounons» возвращает изображения бабушек вместо жуков.
Он предлагает дополнительную поддержку в своей теме в Твиттере, хотя в конце концов признает, что определенно происходит что-то странное.
«Справедливости ради @giannis_daras, определенно странно, что «Apoploe vesrreaitais» каждый раз дает вам птиц, несмотря на то, что это кажется ерундой. Так что в этом наверняка что-то есть», — говорит Хилтон.
Дарас ответил на критику, высказанную Хилтон и другими в еще одной ветке Твиттера, прямо обратившись к некоторым встречным утверждениям с дополнительными доказательствами, свидетельствующими о том, что здесь есть нечто большее, чем кажется на первый взгляд.
ДАЛЛ-И твит
Судя по нашему чтению, Дарас, кажется, говорит, что да, вы можете сбить систему с толку, но это не опровергает того, что DALL-E применяет смысл к своему тарабарщине. Это просто означает, что вы можете выйти за пределы DALL-E с более сложными запросами.

«Наш скрытый словарный запас кажется надежным в простых и иногда нейтральных подсказках, но не в сложных. Эти маркеры могут вызывать низкую уверенность в генераторе, а небольшие возмущения перемещают его в случайных направлениях. «vicootes» означает овощи в некоторых контекстах, а не в других», — говорит Гарас.
«Мы хотим подчеркнуть, что это атака со стороны противника, и поэтому она не должна работать все время. Если система ведет себя непредсказуемым образом, даже если это происходит 1/10 раз, это по-прежнему является серьезной проблемой безопасности и интерпретируемости. стоит понять», — добавляет Гарас.
Часть проблемы здесь заключается в том, что язык настолько многогранен, а машинное обучение такое сложное. Действительно ли DALL-E создал секретный язык, как утверждает Дарас, или это большой старый бургер, как предполагает Хилтон? Трудно сказать, и реальный ответ вполне может лежать где-то между этими крайностями.

Источник (англ.)

Поставить оценку
Кофебрейкер | Интернет-журнал