Британская фирма Eleven Labs, занимающаяся искусственным интеллектом, ужесточила условия использования своей нейросети Prime Voice AI после того, как она использовалась для произношения расистских и гомофобных высказываний голосами знаменитостей.
Eleven Labs написала в Twitter , что обнаружила «растущее число случаев неправильного использования клонирования голоса» всего через несколько дней после выпуска демоверсии нейросети.
Фирма не сообщила подробностей о случаях злоупотребления, но форум 4chan наполнился голосами Квентина Тарантино, Джорджа Лукаса, Джо Рогана, Эммы Уотсон и других, которые скандировали оскорбительные высказывания. Во многих сообщениях упоминалась Eleven Labs, причем некоторые пользователи утверждали, что фирма заблокировала их, а другие предоставляли ссылки на демоверсию инструмента.
В одном примере сгенерированный голос Эммы Уотсон читает отрывок из «Майн кампф» (книга Адольфа Гитлера с антисемитистскими выражениями). В другом голос писателя Бена Шапиро делает расистские замечания в адрес американского политика Александрии Окасио-Кортес. В третьем примере кто-то говорит, что «права трансгендеров — это права человека», после чего он был задушен.
ElevenLabs объявила в Twitter о скором внедрении дополнительных мер безопасности. Они будут включать:
требование платежной информации или идентификации личности для активации инструмента;
ручную проверку каждого запроса на клонирование голоса;
внедрение инструмента для обнаружения звука, сгенерированного искусственным интеллектом;
блокировку учетных записей, о которых сообщается, что они создают «вредный контент».
По информации с сайта ElevenLabsЮ компания была основана Петром Дабковски, бывшим инженером по машинному обучению Google, и Мати Станишевски, бывшим стратегом по развертыванию ПО для анализа данных Palantir. ElevenLabs позиционирует свой инструмент как средство для быстрого создания звуковых дубляжей для фильмов, телевидения и YouTube. Фирма утверждает, что сгенерированный голос требует небольшого редактирования, что позволяет использовать нейросеть также для мгновенного перевода иностранных языков и быстрое создание аудиокниг.
Источник: SecurityLab