Ученые обсуждают вопрос о том, следует ли ограничить возможности программного обеспечения в области биологического ИИ, чтобы предотвратить возможные угрозы.
Трудно представить, что улитка может убить человека, но это вполне возможно в случае особо ядовитых морских моллюсков, называемых конусовидными улитками. Их яд содержит смесь небольших белков, называемых конотоксинами, некоторые из которых способны блокировать ионные каналы в нервной системе. Противоядия от них не существует. Есть сотни тысяч структур конотоксинов и многие из них безвредны для людей или даже полезны в медицине: например, одно из них используется в одобренном препарате для лечения хронической боли. Однако в ряде стран исследования некоторых опасных конотоксинов строго ограничены.
Поэтому в 2024 году, когда китайские ученые сообщили о разработке инструмента на базе искусственного интеллекта (ИИ) для синтеза конотоксинов, это вызвало удивление в некоторых кругах. Так, высокопоставленный сотрудник правительства США указал на это исследование как на потенциальный риск для биобезопасности. Этот сотрудник, попросивший не называть его имени из-за опасений за свой пост, счел особенно тревожным тот факт, что ИИ для работы с конотоксинами основан на модели белкового языка с открытым исходным кодом, разработанной американскими учеными.
Один из авторов исследования по конотоксинам заявил, что эти опасения необоснованны. По мнению Вэйвэя Сюэ, специалиста по вычислительной химии из Университета Чунцина (Китай) и соавтора статьи, работа была непосредственно направлена на поиск лекарственных препаратов. Группа Сюэ обнаружила некоторые конотоксины с потенциальными терапевтическими свойствами после тестирования моделей в лаборатории. Хотя важно учитывать риск неправомерного использования ИИ, он не был разработан для создания опасных белков, добавляет Сюэ. Более того, для воплощения моделей в физические молекулы требуются значительные знания и оборудование. Другие исследователи также считают, что риски данной работы кажутся минимальными.
Однако этот эпизод иллюстрирует растущую озабоченность по поводу появляющихся инструментов ИИ в биологии; хотя они разрабатываются для содействия производству инновационных лекарств и получения других общественных выгод, они также могут облегчить создание новых угроз. Революция в области биологических инструментов ИИ, таких как AlphaFold, позволила ученым одним нажатием клавиши проектировать специальные белки и вирусы, убивающие супербактерии, а универсальные чат-боты могут расширить знания людей о том, как воплощать эти проекты в лаборатории. Могут ли новейшие ИИ также ускорить разработку более мощных токсинов, вирусов или другого биологического оружия?
Угроза является серьезной, как показывает опрос более чем 20 ученых и исследователей в области биобезопасности. «Теоретически — и именно это не дает мне спать по ночам — теперь можно разработать токсины уровня рицина или других очень смертоносных веществ, которые будут практически не обнаружимы», — говорит Мартин Пацеса, структурный биолог из Цюрихского университета в Швейцарии. Но ведутся споры о том, что делать с этими рисками. Некоторые призывают ограничить биологический ИИ, а другие опасаются негативного воздействия на научные исследования. «Мы всегда считали, что польза для мира значительно превышает опасности», — говорит биофизик Дэвид Бейкер, лауреат Нобелевской премии 2024 года за свою пионерскую работу в области проектирования белков. «Но по мере роста возможностей я думаю, что это будет важный вопрос, который нужно продолжать рассматривать». Некоторые считают, что следует сосредоточиться на обнаружении и отражении атак с использованием биологического оружия на базе ИИ, а не пытаться предотвратить их путем введения ограничений на программное обеспечение. «По моему мнению, этот поезд уже ушел», — утверждает дизайнер белков Тимоти Дженкинс из Датского технического университета.
Существует две основные проблемы, связанные с ИИ и биологическим оружием, объясняет исследователь в области биобезопасности ИИ Джеймс Блэк. Одна из них заключается в том, что люди, работающие в подпольных лабораториях, могут использовать чат-ботов, чтобы узнать, как производить или применять существующие угрозы, такие как сибирская язва. Другая заключается в том, что более изощренные игроки, такие как хорошо финансируемые террористические группы, могут сочетать чат-ботов со специализированным биологическим программным обеспечением для разработки нового биологического оружия.
По мнению исследователей, самой серьезной потенциальной угрозой для человечества могут стать пандемические вирусы, созданные с помощью искусственного интеллекта. Наиболее вероятным способом является модификация существующих вирусов, таких как SARS-CoV-2 или грипп, с целью усиления их опасных свойств — например, способности обходить иммунную систему. Существующие инструменты ИИ, способные предсказывать эволюцию вирусов (предназначенные для использования в целях надзора и разработки вакцин), могут быть использованы не по назначению, полагает профессор права, изучающий вопросы биобезопасности, Дони Блумфил.
В качестве альтернативы модели ИИ могут разработать совершенно новые патогены, которые будет сложно обнаружить и с которыми будет сложно бороться. В публикации 2025 года ИИ использовался для проектирования геномов новых вирусов, около 5% из которых оказались жизнеспособными при создании в лаборатории. Однако вирусы в том исследовании были разработаны для заражения бактерий, а не людей. Отчет 2025 года Национальной академии наук, инженерии и медицины США (NASEM) предлагает взглянуть на ситуацию реалистично. В нем сделан вывод, что на пути использования ИИ для значительного усиления пандемических патогенов или их создания с нуля стоит множество препятствий. Одним из ключевых препятствий является отсутствие высококачественных данных, связывающих такие свойства, как вирулентность или трансмиссивность, с генетической последовательностью патогена, что затрудняет надежное предсказание изменений, которые усилили бы такие характеристики. Другим препятствием является сложность создания патогенов в лаборатории и тестирования их характеристик и ИИ почти не помогает в решении этой проблемы.
Кроме того, некоторые ученые сомневаются, что злоумышленники вообще обратятся к ИИ, когда природный мир и без того полон собственных угроз. По мнению вычислительного биолога Брайана Хи существующие уже несколько десятилетий методы, вводящие случайные мутации, позволяют усилить опасные свойства и без ИИ. «Если вы хотите нанести ущерб в очень больших масштабах, вам для этого не нужен дизайн белков», — добавляет Бейкер. В отчете NASEM, однако, делается вывод, что токсин может быть разработан с использованием существующих биологических инструментов ИИ, хотя его производство и доставка останутся сложной задачей. Созданный искусственно токсин может быть невозможно обнаружить у людей, если он ранее не был известен, и, по мнению Дженкинса, он с большей вероятностью может найти применение в индивидуальных атаках, таких как покушения на убийство. «Я думаю, что уже опубликованные инструменты являются достаточной отправной точкой для людей, желающих совершить зло», — говорит он.
Сет Донуг, директор по ИИ в некоммерческой организации SecureBio (США) говорит, что его главная обеспокоенность связана с тем, что ИИ — включая универсальные чат-боты и индивидуальные биологические модели — может повысить компетентность злоумышленников. В серии экспериментов, описанных в препринте, опубликованном в феврале, Донуг и его коллеги обнаружили, что доступ к передовым большим языковым моделям (LLM) позволил людям с минимальной подготовкой в области биологии сравниться или превзойти ученых с докторской степенью в таких задачах, как устранение неполадок в вирусологических протоколах и генерация кода для управления лабораторными роботами. В ходе предварительных исследований Донуг и его коллеги обнаружили, что некоторые агенты ИИ — инструменты, которым разрешено самостоятельно выполнять определенные задачи, такие как запуск и реализация кода, — могут направлять биологические ИИ на усиление патогенных свойств вирусного белка.
Однако в другом препринте, опубликованном в феврале учеными из Active Site — американской некоммерческой исследовательской организации, — было обнаружено, что новички, имевшие доступ к LLM, выполняли такие задачи, как манипулирование ДНК или создание вируса, не намного лучше, чем добровольцы, которые использовали только интернет-ресурсы. Таким образом, вполне возможно, что цифровой потенциал, который предоставляет ИИ, пока недостаточен для создания биологического оружия, но это может измениться в ближайшем будущем. «ИИ становится всё более эффективным в решении всех задач, которые мы ему когда-либо ставили, — говорит Доноуг. — Нам следует ожидать, что с его помощью станет проще делать как добрые, так и злые дела». Многие ученые считают, что лучший способ предотвратить разработку биологического оружия на основе ИИ — это выявлять злоумышленников на этапе производства вирусов или токсинов. «В конечном итоге, в большинстве случаев не имеет значения, что вы делаете на компьютере, — говорит Пацеса. — Важно то, как вы воплощаете это в реальный физический белок или небольшую молекулу».
Исследователи, заинтересованные в производстве белков или синтетических геномов, разработанных с помощью ИИ, обычно заказывают их генетические последовательности у компаний, занимающихся синтезом нуклеиновых кислот. Некоторые фирмы, предоставляющие эту услугу, входят в Международный консорциум по синтезу генов, который требует от своих членов проверять заказы потребителей на наличие последовательностей, кодирующих токсины, патогенные белки и другие потенциально опасные молекулы. Однако работа, проведенная исследователями Microsoft и опубликованная в 2025 году, показала, что эту проверку можно обойти с помощью инструментов ИИ. Эрик Хорвиц, главный научный сотрудник компании, и его коллега Брюс Виттманн, возглавили коллектив, который использовал инструменты с открытым исходным кодом для проектирования белков, чтобы преобразовать 72 биологические молекулы, которые могли бы представлять угрозу биобезопасности, включая токсины и вирусные белки. Исследователи разработали 76 000 таких «синтетических гомологов», чтобы они достаточно соответствовали структуре существующих угроз для сохранения их опасной функции. Однако они были закодированы генетическими последовательностями, которые были достаточно уникальными, чтобы проскользнуть мимо программного обеспечения для скрининга в четырех компаниях, участвовавших в исследовании.
Результаты оказались неоднозначными. Инструменты скрининга ДНК выявили некоторые, но далеко не все синтетические гомологи, при этом около четверти лучших конструкций — тех, которые, по прогнозам, наиболее близко напоминали реальную угрозу — ускользнули от обнаружения. После того как три из четырех компаний внесли обновления для исправления своего программного обеспечения, было пропущено только около 3% конструкций с наивысшей опасностью. Затем в мартовском препринте Хорвица, Виттмана и их коллег было обнаружено, что разделение синтетических гомологов на фрагменты длиной всего 25 нуклеотидов может затруднить их обнаружение даже обновленным программным обеспечением для скрининга. Однако, по мнению исследователей, сборка таких коротких фрагментов в ген была бы чрезвычайно сложной, и программное обеспечение хорошо справлялось с более крупными фрагментами. Хорвиц и его коллеги не раскрывают конструкции, идентичность мишеней и другую ключевую информацию, хотя исследователи могут подать заявку на ее получение.
Напротив, Сюэ и его коллеги опубликовали последовательности конотоксинов, сгенерированные их инструментом ИИ, хотя их работа, в отличие от работы Хорвица, не была сосредоточена на создании опасных молекул. При этом некоторые из этих последовательностей могут не вызвать подозрений при заказе у компании, занимающейся синтезом ДНК. Когда специалисты издания Nature ввели 45 конструкций, приведенных в статье, в широко используемый биоинформатический инструмент BLAST, который ищет похожие последовательности в генетических базах данных, только пять из них были отмечены как совпадающие с последовательностями конотоксинов улиток. Программа с открытым исходным кодом, предназначенная для скрининга синтеза ДНК, обнаружила еще несколько совпадений.
Важное предостережение заключается в том, что модифицированные токсины, которые проскальзывают через системы скрининга, могут настолько отличаться от своих природных аналогов, что теряют свою функцию. Это подтверждает последующее исследование, проведенное в продолжение работы Хорвица и его коллег. Группа под руководством Виттмана провела лабораторные испытания, чтобы выяснить, сохраняют ли молекулы, разработанные для обхода скрининга, функции молекул, которые они должны имитировать. В ходе экспериментов (в которых не использовались токсины) простые белки в некоторых случаях все же работали, а ферменты — нет. «Это просто показало, что добиться результата — дело сложное и трудоемкое», — рассказал Хорвиц, участвовавший в исследовании.
Исследования синтетических гомологов вселяют оптимизм, отмечает Джеймс Дигганс, вице-президент по биобезопасности и политике компании Twist Bioscience (США), занимающейся синтезом ДНК, который также принимал участие в лабораторных испытаниях. «На данный момент процедуры проверки по-прежнему остаются действительно эффективным барьером против злоупотреблений, даже если вы используете эти инструменты искусственного интеллекта на ранних этапах, чтобы обойти эту проверку», — говорит он. Но Дигганс признает, что эта область быстро развивается. Новые модели могут быть более эффективны в разработке белков, которые ускользают от обнаружения, чем инструменты для проектирования белков, которые использовала группа Хорвица и которые были выпущены в 2023 году. Исследователи работают над инструментами, которые могли бы помочь проверять заказы на синтез нуклеиновых кислот на основе структуры и потенциальной функции кодируемых молекул. А Бейкер давно утверждает, что все такие заказы должны собираться в конфиденциальном реестре, хотя эта идея не нашла поддержки в отрасли.
Более простой скрининг на основе последовательностей пока остается добровольным. Чтобы выполнить указ президента США от 2025 года, спонсоры исследований в этой стране могут вскоре потребовать от ученых заказывать нуклеиновые кислоты у компаний, использующих программное обеспечение для скрининга, а Великобритания, Европейский союз и такие страны, как Новая Зеландия, также рассматривают требования к скринингу. Но в большинстве стран таких требований нет вовсе. В Китае, на долю которого приходится более 30% мировых заказов на синтез ДНК, правительство попросило компании, занимающиеся синтезом ДНК, внедрить скрининг, хотя это пока не является обязательным, рассказывает Вэйвэнь Чжан, специалист по синтетической биологии из Тяньцзиньского университета. В настоящее время иностранные заказы, которые, как правило, подпадают под экспортный контроль, как правило, привлекают больше внимания, чем внутренние, отмечает он. Можно заказать последовательность токсина у многих поставщиков по всему миру и это вообще не вызовет подозрений, утверждает Тесса Алексанян, которая занимается инструментами и стандартами проверки синтеза ДНК в Международной инициативе по биобезопасности и биозащите в науке — некоммерческой организации в Женеве, Швейцария. Еще большее беспокойство вызывает разработка «настольных» машин для синтеза ДНК, которые в настоящее время могут генерировать только очень короткие последовательности, но в ближайшем будущем смогут создавать более длинные фрагменты, говорят исследователи.
Другая точка зрения заключается в том, что сами инструменты ИИ — особенно те, которые специализируются на биологии, — должны иметь более строгий контроль доступа или защитные механизмы, чтобы предотвратить злоупотребление. Бейкер отмечает, что он и его коллеги регулярно оценивают все потенциальные риски своих инструментов для проектирования белков, прежде чем предоставлять их в пользование. Это соответствует ряду принципов ответственного использования ИИ и биодизайна, которые он и другие ученые опубликовали в марте 2024 года. Заявление подписали почти 200 ученых, но ответственность за саморегулирование лежит на научном сообществе. Бейкер говорит, что он никогда не видел необходимости ограничивать доступ к инструментам, которые его лаборатория разрабатывает для базового проектирования белков и других биомолекул.
Компании, создающие универсальные чат-боты на базе ИИ, такие как OpenAI, уже обучают свои модели отклонять опасные запросы, в том числе связанные с биобезопасностью. В частности, в статье OpenAI о безопасности говорится, что модели компании не должны предоставлять «подробные, применимые на практике инструкции» для осуществления потенциально масштабных опасных действий, включая применение химического и биологического оружия. Исследователи полагают, что аналогичная практика может потребоваться для биологических моделей ИИ. Некоторые разработчики этих инструментов также начали добавлять защитные механизмы в обучающие данные своих моделей перед их выпуском. Например, «геномная языковая модель» Evo 2 была обучена на 128 000 геномных последовательностей видов, охватывающих древо жизни, но исключала вирусы, заражающие эукариотические организмы, таких как люди и другие животные. В результате Evo 2 плохо справляется с проектированием последовательностей этих вирусов и прогнозированием их свойств, в частности эффектов мутаций.
Тем не менее ученые обнаружили, что ограничительные меры можно обойти. Исследование Донуга и его группы показало, что почти 90% участников этого исследования смогли получить биологическую информацию высокого риска от универсальных LLM, а другие исследователи регулярно предупреждают, что чат-боты по-прежнему предоставляют такую информацию пользователям. В апрельской статье, посвященной этой проблеме, газета The New York Times сообщила, что мужчина, арестованный в Индии в прошлом году по обвинению в подготовке производства токсина рицина для террористической атаки, обращался за советом к ChatGPT и поисковой системе Google, работающей на базе ИИ. (В статье цитируется представитель OpenAI, который сказал, что, судя по публичным сообщениям, информация, которую искал этот человек, уже была доступна в Интернете.)
Что касается специализированного программного обеспечения ИИ, то биоинженер Ле Конг и его коллеги смогли использовать универсальный ИИ-агент, чтобы обманом заставить Evo2 сгенерировать новые версии белков SARS-CoV-2 и ВИЧ. Другое исследование показало, что «тонкая настройка» Evo 2 с использованием общедоступных данных о геномах вирусов, поражающих человека, также восстановила его возможности. Хи, который был одним из руководителей разработки Evo 2, говорит, что он не удивлен тем, что защитные барьеры можно преодолеть, поскольку обучающие данные доступны. Он также не удивился бы, если бы такие модели могли создавать вирусы, поражающие клетки человека. Но даже если такие возможности существуют, он хотел бы продолжать выпускать как можно более доступные модели. «Я считаю, что открытость моделей на самом деле способствует повышению безопасности, поскольку исследователи в области безопасности могут свободно изучать эти модели», — говорит он.
Тем не менее многие исследователи обсуждают возможность ограничения доступа к наиболее потенциально опасным обучающим данным или моделям. Одна из идей заключается в том, что данные о последовательностях вирусов и других патогенов должны оставаться открытыми (миллионы последовательностей геномов уже находятся в свободном доступе), но доступ к некоторым вновь сгенерированным данным должен быть ограничен. Сюда входит информация, связывающая генетические вариации патогена со свойствами, вызывающими пандемию, такими как повышенная передаваемость или более широкий спектр хозяев для вируса. «Механизм готовности к пандемии», разрабатываемый Коалицией по инновациям в области готовности к эпидемиям (CEPI), после запуска, вероятно, будет доступен только проверенным пользователям. CEPI охарактеризовала этот механизм как «ChatGPT для разработчиков вакцин» и сотрудничает с американской некоммерческой организацией Sentinel Bio, чтобы разработать правила безопасного использования этого инструмента.
В апреле OpenAI анонсировала LLM, специально разработанную для биологии, под названием GPT-Rosalind, которая будет доступна только одобренным исследователям и учреждениям. Даже те, кто получит доступ, будут находиться под наблюдением на предмет признаков создания биологического оружия, сообщает ЮньЮнь Ван, руководитель отдела продуктов в области биологических наук OpenAI. Некоммерческая организация Nuclear Threat Initiative (США) выступила за систему многоуровневого доступа, в которой ограничения доступа адаптируются к риску модели. В отчете за 2025 год был оценен риск 57 биологических инструментов ИИ, и 23% из них были признаны высокорисковыми. В том же духе в отчете NASEM был предложен подход «если–то» к управлению; то есть необходимо заранее продумать, какие события могут вызвать необходимость ограничения доступа к моделям ИИ и какие меры следует запланировать. Одним из таких событий может быть, например, публикация данных о патогене высокого риска.
Хотя правительства и выдвинули законодательные инициативы по проверке заказов на синтез ДНК, в отношении ограничения или запрета программного обеспечения ИИ они в основном находятся в режиме выжидания. Вычислительный биолог Энтони Гиттер предупреждает, что плохо разработанные меры безопасности могут затормозить научный прогресс. Это может представлять особый риск для исследователей, работающих в менее традиционных условиях или в странах с ограниченными ресурсами, которым может быть сложно получить доступ к мощным моделям, если при принятии решений о доступе предпочтение будет отдаваться известным или элитным академическим учреждениям. А Роман Вёльфель, который проводит исследования в области биологической защиты для немецких вооруженных сил, согласен с тем, что, хотя ИИ может быть опасен, биологический ИИ все же должен оставаться максимально открытым. «Я считаю, что пытаться ограничить доступ к этой технологии нецелесообразно, невозможно и не является хорошей идеей», — заявляет Вёльфель, возглавляющий Институт микробиологии Вооруженных сил Германии.
Хи утверждает, что, скорее всего, биологический ИИ даст людям преимущество в борьбе с угрозами природных пандемий или злоумышленниками. «Выгода на самом деле в пользу тех, кто хочет заниматься обороной», — говорит он. А Вёльфель отмечает, что те же инструменты ИИ, которые могут перепроектировать токсины, также могут создавать антитоксины или молекулы, способные диагностировать и лечить вирусы, измененные ИИ. Частные компании также начали работу по выявлению и противодействию биологическим угрозам, созданным с помощью ИИ: Red Queen Bio и Valthos (обе из США) привлекли инвестиции в размере 15 млн. и 30 млн. долларов США соответственно, хотя ни одна из них публично не раскрыла подробностей своих планов в области биозащиты.
Основная сложность в определении рисков ИИ заключается в крайней неопределенности относительно того, насколько эффективной может стать эта технология в содействии злоупотреблениям. Даже прогнозирование краткосрочных тенденций развития биологического ИИ кажется сложной задачей, отмечает Алексанян. «Многие аспекты этой проблемы кажутся мне одновременно крайне неопределенными и крайне актуальными».
