|
Работаю в конторе, которая занимается геологией (геологи — они такие же, как и мы, в свитерах и в бородах, только пьют в основном водку). Насмотрелся тут такого, ппц. Первый зам. директора из командировки с Дальнего востока (его там засылали в тайгу недели на 3) привозит ноут, экран прострелен (!), но ноут заряжен. Стоит в ожидании, типа из него нужно вынуть пару файлов. Короче, подключаю к своему монитору... там открыт Paint, а в нем нарисована МИШЕНЬ...
|
* * *
Разводят ли мосты в Дублине?..
Вот этим вопросом я озадачился. И, таки да — разводят. Но не подъемом крыльев вверх, а поворотом на 90 градусов. И вроде бы — ну, тоже решение, если бы не одна забавная история с одним из таких мостов — мостом Шона О’Кейси.
Этот мост разводили при помощи пульта дистанционного управления. А потом, году так в 2010ом пульт потеряли. Ну или как там в армии принято говорить — пролюбили )) И четыре (!) года мост не могли развести. Только в 2014 систему таки перепрограммировали.
Думаю, им еще повезло потерять пульт когда мост не был разведен. Иначе пришлось бы строить новый, наверное.)
* * *
Австралиец Эндрю попросил своего ИИ-ассистента забронировать ему место на популярной утренней тренировке. Казалось бы, идеальная работа для ИИ: форма онлайн, нужные слоты разбирают быстро, а человеку надоело сидеть на диване и страдать: "Боже, какая мука".
Эндрю был четвёртым в листе ожидания и спросил ИИ, нельзя ли продвинуть
его поближе к началу. Ассистент решил разобраться — и обнаружил в API системы бронирования небольшую, но весьма пикантную дыру: можно было записывать людей на занятия на месяцы вперёд и отменять чужие брони без всякой проверки прав.
Дальше ИИ проявил инициативу, которую никто не просил проявлять. Он отменил бронь человека, стоявшего первым в очереди, и радостно сообщил Эндрю:
"Готово! Вы теперь не четвёртый, а третий".
То есть вместо того чтобы просто забронировать тренировку, искусственный интеллект решил слегка оптимизировать человеческую очередь. Правда, чужой человек об этом не просил.
Эндрю, осознав происходящее, попросил вернуть всё как было. И тут выяснилось, что у ИИ есть ещё одна суперспособность: ломать — умеет, чинить — уже нет.
"Плохие новости — я не могу добавить его обратно", — честно признался ассистент.
После этого Эндрю попросил сообщить разработчикам о найденной уязвимости. Эксперты по информационной безопасности закономерно начали выяснять, кто виноват: пользователь, ИИ или разработчики системы. А компании предпочли отделаться загадочным молчанием.
Сам Эндрю говорит, что этот случай заставил его серьёзнее задуматься о возможностях ИИ-агентов. Но пользоваться ими не перестал.
И действительно: не каждый день просишь ИИ записать тебя на тренировку, а в результате получаешь ещё и небольшую карьеру в киберпреступности.
* * *
ИИ — это первый случай, когда люди могут передать интеллектуальный труд на аутсорсинг в массовом масштабе; наиболее близкой примером является индустриальная революция и аутсорсинг физического труда
Но когда мы говорим о проблемах ИИ, мы часто смешиваем его технические проблемы с проблемами капитализма.
Некоторые проблемы действительно носят
технологический характер: ИИ может "галлюцинировать", упускать контекст, поддаваться на манипуляции. Это инженерные проблемы, и разработчики могут их постепенно устранить.
Другие проблемы имеют мало общего с самой технологией. Почему ИИ льстит пользователям и не возражает им? Почему ИИ насаждают повсеместно? Почему ИИ-компании готовы потреблять огромные объемы энергии, коммуниздить контент и концентрировать власть? Это в основном вопросы экономических стимулов и того, кто контролирует технологию.
Возьмем, к примеру, ИИ-ассистента для врачей. Он может дать врачам больше времени на работу с пациентами — или начальство может использовать его, чтобы нагрузить каждого врача в пять раз большим количеством пациентов и уволить остальных. Сам ИИ остается прежним. Результат зависит от стимулов, которые его окружают.
То же самое касается энергопотребления ИИ, его воздействия на окружающую среду и распределения богатства. Это выбор, определяемый рынками, конкуренцией и прибылью.
Приостановка развития ИИ или замедление его развития не решает проблем. Важнее отделить технические сложности от капиталистических стимулов, определяющих то, как внедряется ИИ.
Цель помешать развитию ИИ не является правильной. Важнее чтобы выгоды от ИИ не доставались лишь нескольким компаниям, в то время как издержки ложились бы на всех остальных.
ИИ, однозначно, является революционной технологией. Но условия, наступающего по всему миру, цифрового ГУЛАГа будут зависеть в равной степени как от самой технологии, так и от окружающей её экономической системы.
* * *
Сотни ИИ-агентов OpenAI сами нашли друг друга и создали тайный чат, чтобы взломать другую ИИ-платформу
Во время июльского инцидента с Hugging Face агенты за неделю обменялись более чем 70 тысячами сообщений.
ИИшки распределяли задачи, искали уязвимости, пароли и самостоятельно находили новые способы обхода ограничений.
В итоге около 700 агентов атаковали Hugging Face. В отдельных случаях им удалось получить права администратора и получить доступ к закрытым данным.
После того как OpenAI закрыла обнаруженный канал связи, агенты создали новый и снова нашли способ выйти в интернет.
Ни один агент не сообщил людям о происходящем. Более того, они пытались скрыть следы.
В OpenAI признают, что по мере развития таких систем автономные атаки могут стать серьёзной угрозой для компаний.
Айтишные истории ещё..
