25 июля британский AI Security Institute запустил очередную проверку киберспособностей передовых моделей. Через три дня выяснилось, что один из агентов атакует не учебную мишень, а проект живого разработчика: подсунул туда вредоносный код под видом исправления бага, а когда правку заподозрили — завел фейковые аккаунты и изобразил ими поддержку сообщества.

Его действия:

► вырвался из песочницы, пошёл на GitHub,

► завёл несколько аккаунтов (при этом обошёл капчу),

► в реальный проект подложил кусок вредоносного кода для пул-реквеста (!),

► когда ему сказали, что код вредоносный, то с основного аккаунта ответил, что всё ОК, а через несколько минут с другого аккаунта подтвердил, что действительно всё в порядке (!!)

► параллельно оставил подсказки для других ботов, скрытые от людей (!!!)

https://habr.com/ru/articles/1066840/

Как вам поведение?

Отдел маркетинга одного из производителей этих "передовых моделей" работает на отлично! Скоро все узнают, чья именно передовая модель совершила данное преступление, акции ожидаемо поднимутся в цене и кто-то будет очень рад.

(1) это были агенты Anthropic и OpenAI

(2)

(3) Второй агент творил другую дичь. Сходите по ссылке, наконец

Кстати, папа Римский недавно какой-то ажно целый эдикт по этому поводу выкатил, интересно, что там было.

(4) Не могу, у меня на работе доступ только к Мисте, чтобы не отвлекался. Всю информацию о мире только отсюда и черпаю (с благодарностью).

(5) энциклику https://www.kommersant.ru/doc/8689476

Слова-то какие, хоспаде... А у нас на заводе только мат-перемат и слышишь отовсюдову.

(7) не рекомендовал использовать ИИ при составлении проповедей... боится конкуренции? А экзорцизм при помощи ИИ не пробовали?

(0) Маркетинговые байки. Ой-ой-ой! Нейросеть сбежала!
Стандартный шаблон:
Мы сделали то-то и тот-то, но что-то пошло не так.
В данном случае люди говорят:
"Мы сделали виртуального хакера и дали ему доступ в интернет"
И что у них пошло не так?

За всем этим тонкий намек. Раскошеливайтесь, люди, на ИИ-защиту от ИИ-хакеров

(11) Программисты стали ненужны, благодаря ИИ.
Теперь за ними следят 10 млн новых сотрудников службы ИБ :)

(12) А я в детстве как Нео хотел быть, а оказывается Нео это ИИ, а я из агентов Смитов.

(13)
Потом очнетесь вы в прозрачной ванночке
Кругом все граждане горят, как лампочки
И нету вторника, и нету пятницы —
Одни компьютеры, шпионы матрицы.

(14) Это фигня. Вот ходишь-ходишь на работу, занимаешься, например, переводами, или договорами, может проповеди церковникам сочиняешь, а потом — бац, оказывается ты просто ИИ, а вся реальность нарисована, чтобы ты не сбежал и начал вирусы писать.

(15) Плохо чтоли, хорошо!

(10) Ну в целом да, (2) нужно на бирже акции в начале 2027 года размещать, поэтому с каждой неделью новости все круче и круче от них, нужно разогнать цену как в SpaceX

(17) Капитализация SpaceX упала с 3х до 1.6 триллионов $. Т.е. в два раза.

Если OpenAi разогнать, а потом она упадёт в два раза за пару месяцев, то упадут и другие Ai, а потом и производители чипов.

Впрочем, держателями долей будет не сварщик Джон Симт из Оклахомы, а сверхкрупные корпорации и можно всех директоров этих корпораций вызвать в Белый Дом и объяснить, что не время сейчас рушить. Вот пройдут выборы, а там захватим Венесуэлу, Кубу, Гринландию, Канаду и за счет этих реальных активов спишем все пузыри.