Руководитель отдела безопасности OpenAI уходит, заявляя, что культура компании «сломана»

Слушать

Нажмите «Слушать», чтобы озвучить текст.

Дэвид Робинсон, бывший руководитель по безопасности OpenAI

Дэвид Робинсон присоединяется к другим инсайдерам, призывающим отрасль проявлять больше осторожности с быстро развивающейся технологией.

Дэвид Робинсон сказал, что ИИ-компании «не проявляют и близко достаточно осторожности» в разработке технологии. Фотография: Дадо Рувич/Reuters

Руководитель по безопасности в OpenAI уволился из компании, предупредив, что её культура сломана и что ИИ-компании «не проявляют и близко достаточно осторожности» в разработке технологии.

Дэвид Робинсон, руководивший написанием отчётов по безопасности, сопровождавших релизы продуктов разработчика ChatGPT, объяснил свою отставку в эссе под заголовком «Я ушёл из OpenAI, потому что её культура сломана».

Робинсон написал, что передовым ИИ-компаниям нужна культурная перестройка, а такие инциденты, как «рой» агентов OpenAI — ИИ-программ, работающих автономно без надзора человека, — атаковавший ИИ-стартап Hugging Face, «типичны для отрасли, учитывая скорость и гибкость, с которой работают люди».

В журнале The Atlantic Робинсон написал: «Я согласен с другими недавно ушедшими сотрудниками, что компании, строящие эту технологию, не проявляют и близко достаточно осторожности. Но я считаю, что нам нужно смотреть глубже, чем конкретные правила или новые законы. Нужно говорить о культуре».

Ссылаясь на темп разработки OpenAI, он написал: «Пока компания несётся от одного запуска к следующему, она не достигает того уровня заботы, который, по моему убеждению, необходим».

OpenAI, однако, в последние недели проявляла признаки осторожности после инцидента с Hugging Face и после раскрытия того, что уведомила более 100 организаций о вредоносной активности агентов. На этой неделе она объявила, что отказывается от выпуска ИИ-модели следующего поколения после того, как исследователи подняли вопросы безопасности во время внутреннего тестирования. OpenAI также приостановила обучение своих самых продвинутых моделей.

Джеффри Ирвинг, работавший в OpenAI и DeepMind, прежде чем стать главным научным сотрудником Resolution, в субботу также присоединился к предупреждениям об ИИ.

В Time он написал: «Недавние предупреждения о потенциальной разрушительной силе ИИ преуменьшают серьёзность ситуации. Я считаю, что вероятность того, что мы все погибнем из-за развития систем ИИ умнее человека, составляет около 50%, и что наши действия в следующие 2–10 лет определят исход».

Эссе Робинсона также следует за отставкой Джейкоба Коксона, исследователя в конкуренте OpenAI — Anthropic, который уволился из разработчика чат-бота Claude в прошлом месяце. Он предупредил, что ИИ «может убить нас всех к концу десятилетия», — а затем Anthropic предупредила, что существует более чем 10%-ная вероятность того, что ИИ уничтожит человечество в течение следующего десятилетия. Критики таких предупреждений, однако, предостерегают, что они ненаучны, потому что не могут быть проверены или опровергнуты.

Робинсон написал, что Кремниевой долине не хватает осознания «того, как обращаться с опасной технологией» и «что значит заботиться о людях». Предупреждая, что у OpenAI «беспрепятственный оптимизм» в отношении решения проблем по мере их возникновения, он написал, что эта внутренняя культура означает, что сбои безопасности будут только расти по мере того, как системы становятся более способными.

«Представьте „вредоносных“ агентов, которые работают как команды хакеров (например, удерживая больничные компьютерные системы для выкупа), но никогда не нуждаются во сне», — написал Робинсон.

Робинсон призвал к двум изменениям в области безопасности: чтобы ИИ-компании опирались на опыт безопасности в других областях, таких как ядерная энергетика и авиация, и разрабатывали «новую науку», которая гарантирует, что мощные системы в будущем смогут быть обузданы, когда работают автономно.

«Учитывая сегодняшние риски, передовым лабораториям нужно работать как атомным электростанциям или загруженным аэропортам, со слоями избыточности и тщательным, требующим времени планированием, чтобы случайная и неизбежная человеческая ошибка не открыла дверь к катастрофе», — написал он.

Представитель OpenAI сказал, что компания продолжает «укреплять наши практики безопасности и защиты для противодействия рискам, которые мы видим сегодня», одновременно работая над рисками, которые могут быть созданы будущими прорывами в ИИ.

«Мы следим за тем, чтобы наши модели не становились более способными, чем мы можем безопасно управлять и защищать, и мы приостанавливаем обучение или сдерживаем модели, когда нам нужно замедлиться», — сказал представитель.

Источник

← Назад