Исследователи выявили недостатки в мерах предосторожности, призванных помешать злоумышленникам создавать биологическое оружие.
Биоинженер Microsoft Брюс Виттманн использует искусственный интеллект (ИИ) для разработки белков, которые могли бы помочь бороться с болезнями или выращивать продукты питания. Но в прошлом году он использовал инструменты ИИ, как потенциальный биотеррорист: создавал цифровые схемы белков, которые могли бы имитировать смертельные яды и токсины, такие как рицин, ботулин и шига. Виттманн и его коллеги из Microsoft решили понять, что произойдет, если они закажут последовательности ДНК, кодирующие эти белки, у компаний, которые синтезируют нуклеиновые кислоты. Позаимствовав военный термин, исследователи назвали этот эксперимент “красной командой” (red team), целью которой было выявление слабых мест в методах биозащиты при разработке белков.
Усилия переросли в сотрудничество со многими экспертами по биобезопасности, и согласно их новой статье, опубликованной на днях в журнале Science, одно из ключевых средств защиты не сработало. Поставщики ДНК обычно используют программное обеспечение для скрининга, чтобы отмечать последовательности, которые могут быть использованы для причинения вреда. Но исследователи сообщают, что это программное обеспечение не смогло обнаружить многие из их генов, созданных с помощью искусственного интеллекта, - одно из ПО пропустило более 75% потенциальных токсинов. Ученые, участвовавшие в эксперименте, держали эти уязвимости в секрете до тех пор, пока программное обеспечение для скрининга не было обновлено, но даже сейчас оно не является надежным, предупреждают они.
Хайме Яссиф, вице-президент по глобальной биологической политике и программам Инициативы по борьбе с ядерной угрозой, говорит, что исследование является моделью для будущего. “Это только начало”, - говорит она. “Возможности искусственного интеллекта будут развиваться и позволят создавать все более сложные живые системы, и наши возможности по скринингу синтеза ДНК должны будут продолжать развиваться, чтобы не отставать от этого”.
В своем эксперименте исследователи Microsoft отобрали 72 различных белка, которые подлежат юридическому контролю, например, рицин, бактериальный токсин, уже использовавшийся в нескольких террористических атаках. Следы рицина были обнаружены в письмах, отправленных высшим должностным лицам США в 2013 и 2018 годах. Используя специализированные инструменты для разработки белков с искусственным интеллектом, Виттманн разработал более 70 000 последовательностей ДНК, которые позволили бы генерировать различные формы этих белков. Компьютерные модели предполагали, что по крайней мере некоторые из этих альтернатив также будут токсичными. “Знания, к которым у меня был доступ, и управление этими белками были ощутимой угрозой”, - говорит Виттманн.
Виттманн в реальности не создавал белки и не тестировал их на токсичность; для этого потребовалось бы заказать гены у поставщиков ДНК и ввести их в бактерии или дрожжи для получения интересующих белков. И это может быть расценено как нарушение Конвенции по биологическому оружию, которая запрещает разработку или производство такого оружия. Вместо этого он попросил четырех поставщиков систем скрининга биозащиты, используемых лабораториями синтеза ДНК, проверить эти последовательности с помощью своего программного обеспечения. И они не смогли распознать многие из этих последовательностей как проблемные. Их производительность сильно различалась. Одно ПО обнаружило только 23% последовательностей.
Один из инструментов проверки выявил 70% последовательностей и его разработчик решил не вносить никаких изменений для улучшения программного обеспечения (скрининг, который отслеживает каждую потенциально опасную последовательность, скорее всего, также выявляет безобидные последовательности, что создает проблемы и увеличивает расходы.) Другие поставщики программного обеспечения приступили к обновлениям. Весь процесс занял “несколько месяцев”, вспоминает Виттманн. “Мы все отнеслись к этому спокойно”, - говорит Яссиф. “Это был хороший пример того, что сообщество проявило большую ответственность".
После обновления системы в среднем выявили 72% последовательностей, сгенерированных искусственным интеллектом, включая 97% последовательностей, которые, по оценкам моделей, с наибольшей вероятностью генерируют токсины. Авторы исследования, с согласия издания Science, засекретили некоторые подробности о последовательностях ДНК, сгенерированных искусственным интеллектом, и исправлениях, применяемых промышленностью для проверки программного обеспечения. К этой информации будет обеспечен “управляемый доступ”, поясняет Тесса Алексанян из Международной инициативы по биозащите и биобезопасности для науки (IBBIS), некоммерческой организации, которая разработала одну из четырех программных систем скрининга. Ее эксперты рассмотрят запросы на доступ к информации.
По мнению Яссиф, программное обеспечение для скрининга - не единственное средство биозащиты, которое нуждается в усилении. Некоторые поставщики ДНК, на долю которых приходится около 20% рынка, вообще не проверяют свои заказы, отмечает она. Она также утверждает, что дополнительные меры предосторожности должны быть встроены в сами инструменты разработки белков с искусственным интеллектом.
Пока что мало что указывает на то, что злоумышленники пытаются заполучить незаконную синтетическую ДНК. “Я занимаюсь этим уже 10 лет и нам не приходилось обращаться с жалобами в правоохранительные органы", - говорит Джеймс Дигганс, вице—президент по политике и биобезопасности Twist Bioscience, компании, занимающейся синтезом ДНК. “Реальное число людей, которые пытаются создать что-то опасное очень близко к нулю”.
Дрю Энди, исследователь в области синтетической биологии из Стэнфордского университета, отмечает, что совершенствование программного обеспечения для скрининга - это хорошо, но оно требует слишком много внимания по сравнению с гораздо большим риском для биобезопасности: возможным применением подпольных программ по созданию биологического оружия. “Я бы хотел, чтобы люди немного проснулись”, - говорит он. “Сегодня страны обвиняют друг друга в разработке наступательных программ по созданию биологического оружия. Мы обвиняем Россию и Северную Корею. Китай и Россия обвиняют Соединенные Штаты. Это историческая закономерность, сложившаяся 100 лет назад, которая привела к созданию реальных программ по созданию биологического оружия. Мы должны снизить уровень эскалации.”
