Микробиология 2.0 - "закулисное" рассмотрение приложений искусственного интеллекта для интерпретирующего чтения культуральных чашек в обычных диагностических лабораториях (аннотация)
#новые технологии #машинное обучение #культуральная диагностика #исскуственный интелект
Лабораторная автоматизация с функциями искусственного интеллекта (ИИ) в настоящее время вошла в рутинную клиническую диагностику для интерпретации роста на агаровых средах.
В настоящее время применение ИИ ограничено образцами мочи и скринингами инфекционного контроля, однако некоторые детали разработки алгоритмов по-прежнему остаются в ведении специалистов по разработке ИИ и не очень хорошо понимаются врачами-лаборантами. Создание алгоритмов не является тривиальной задачей и представляет собой высокоструктурированный процесс, в котором необходимо учитывать несколько аспектов для разработки соответствующих данных для конкретного предполагаемого использования. Понимание этих соображений подчеркивает ограничения любого созданного алгоритма и позволяет улучшить практику разработки, чтобы цели алгоритма могли быть тщательно проверены до начала рутинного использования.
Интерпретация культуральных посевов требует многолетнего обучения, и только благодаря частоте наблюдений за культурами можно изучить наиболее распространенные и редкие организмы в клиническом контексте, а значит, достичь компетентности путем повторения. Несмотря на годы обучения и профессиональное желание быть точным на 100% в 100% случаев, это, к сожалению, нереально. При любой ручной интерпретации культуральной чашки существует риск неправильной интерпретации, особенно при поиске одиночных колоний среди комменсальной флоры. О несогласованных результатах между микробиологами также сообщают Glasson et al. (2016), которые обнаружили, что согласие между микробиологами по морфологии колоний составляет 97,5% при чтении агара МакКонки, но только 87,5% при чтении кровяного агара. Аналогично, Brenton et al. (2020) определили, что микробиологи согласны между собой в 88,6% случаев при подсчете роста на би-плэйтах.
Кто бы мог подумать, что микробиологи не смогут договориться?
Искусственный интеллект (ИИ) и некоторые современные приложения цифровой обработки изображений предлагают возможность стандартизации некоторых, но не всех аспектов интерпретационной микробиологии. Алгоритмы ИИ формируются из множества входных данных, которые моделируются с помощью компьютерных вычислений для определения выходного результата с наибольшей вероятностью правильного результата для данного приложения. Для интерпретации культуральных чашек соображения о том, что лежит в основе разработки алгоритма, не являются тривиальными, а представляют собой хорошо продуманный и структурированный процесс, обычно включающий работу нескольких функциональных групп, в том числе клинических руководителей, микробиологов, инженеров, специалистов по ИИ и разработчиков программного обеспечения. Создание надежного алгоритма, который тщательно оценен и пригоден для использования по назначению, практически сложно и требует строгих условий и процессов для создания правильного набора данных для ввода/обучения и, в конечном счете, для тестирования/оценки/проверки работы алгоритма по сравнению с истинным состоянием.
Здесь нет никаких правил игры, однако производительность алгоритма полностью зависит от качества используемых данных, и источник обучающих данных имеет решающее значение для определения конечного применения или предполагаемого использования. В этой связи важно отметить, что чем более обобщенной является модель для классификации, тем шире ее применение и тем выше вероятность успеха в отношении точности работы в обычных лабораторных условиях.
FDA недавно выпустило руководство "Принципы надлежащей практики машинного обучения при разработке медицинских устройств", которое представляет собой общую дорожную карту для разработки программного обеспечения с поддержкой ИИ в устройствах, вполне применимую к предполагаемому применению для чтения культуральных чашек. В основе этого документа заложен вопрос риска для пациента; устройство, в котором используется ИИ, не должно создавать дополнительный риск для безопасности пациента. Данные, управление данными и измеряемая производительность развернутых алгоритмов имеют решающее значение для обеспечения минимизации риска для пациента.
Определение теста или предполагаемого использования алгоритма особенно важно. Как алгоритм будет полезен, и что необходимо учесть при разработке? Иногда, казалось бы, безобидные детали оказывают серьезное влияние на эффективность алгоритма, если не учесть их заранее.
На примере культур мочи, вариации, которые встречаются в различных испытательных лабораториях на этапе предварительной интерпретации, включают сбор образцов и использование консервантов, объемы инокуляции, методы инокуляции (металлические петли, пластиковые петли, пипетки, магнитные шарики), методы инокуляции ("рыбья кость", квадрант, определяемый пользователем), типы и материалы этикеток (бумага, пластик), типы штрих-кодов, размер штрих-кодов, печать штрих-кодов и расположение этикеток. Конечно, моча должна быть нанесена на агар, а алгоритм должен быть разработан с учетом конкретного производителя (или производителей), так как тонкие различия в составе сред возникают даже в пределах одного типа среды у разных производителей.
По иронии судьбы, ИИ особенно чувствителен к тонким изменениям, которые обычно не различимы человеком, но алгоритм при этом фактически нарушен или скомпрометирован. Использование средств контроля для обеспечения целостности системы при отсутствии сбоев компонентов особенно важно в системах ИИ для обеспечения стабильной работы алгоритма. Это означает, что после разработки алгоритма он строится для очень определенного набора переменных, которые должны оставаться фиксированными, и система должна находиться под строгим контролем. Действительно, метод получения изображения также должен оставаться фиксированным для любой данной системы ИИ, поскольку изменение освещения, камеры, углов освещения и камеры приведет к появлению "новых" изображений, которые повлияют на работу алгоритма. Кроме того, внедрение, например, любого нового метода инокуляции потребует детального исследования для изучения любых изменений в общей производительности, и вполне может оказаться, что потребуется исправление (или повторная разработка) алгоритма с последующей повторной проверкой.
В настоящее время программа PhenoMatrix™ (Copan, Италия) обеспечивает оценку агаровой чашки в сочетании с экспертными правилами, где пользователь должен принять решение алгоритма, чтобы продолжить отчет или дальнейшую работу, с опубликованными исследованиями, охватывающими стрептококки группы B и Streptococcus pyogenes (Van et al., 2019; Baker et al., 2020).
APAS® Independence (Clever Culture Systems) в настоящее время является единственной системой с разрешением FDA в качестве медицинского устройства класса II, которая позволяет проводить диагностику при отрицательном результате отсутствия роста в образцах мочи (Glasson et al., 2017), а также при отсутствии значительного роста при использовании для выявления MRSA (Gammel et al., 2021). В этих случаях вмешательство человека требуется только при значительном росте.
Недавно была разработана глубокая конволюционная нейронная сеть с использованием изображений образцов мочи, полученных с помощью BD Kiestra. Ретроспективные изображения оценивали в автономном режиме и сравнивали результаты Стандарта ухода (SoC) с классификацией алгоритма (Alouani et al., 2022). Авторы сообщили о 98% точности для общей модели, но также подчеркнули различия в моделях, полученных на основе двух независимых массивов данных. При этом модель была обучена на более чем 100 000 изображений в течение 2 лет, что представляет собой впечатляющий объем данных, который, в конечном счете, обладает высокой степенью обобщения для учета повседневных нюансов, которые можно ожидать в лабораторных процессах. Однако неясно, как эта автономная система может быть внедрена в рутинные лабораторные процедуры, и авторы также признают, что поддержание такой системы - это "большая работа".
Ожидания от приложений ИИ постоянно растут, возможно, даже слишком завышено. Учитывая описанные выше приложения, есть все основания ожидать большего. Однако с точки зрения промышленности и нормативно-правового регулирования, приложения ИИ могут использоваться только по назначению, поддерживаемому производителем культуральной среды, если нет других обоснований и существенных доказательств для поддержки дополнительных требований. Это означает строгое соблюдение типа образца и условий инкубации. Учитывая, что среды изначально разрабатывались для оценки человеком с помощью хорошо натренированного глаза микробиолога, а не продвинутой системы визуализации с ИИ или без него, эта парадигма должна измениться, чтобы позволить технологическому прогрессу бросить вызов статус-кво снижения времени считывания сред, в особенности, поскольку снижение времени считывания помогает сократить время работы лаборатории и, следовательно, время ведения пациентов. Возможно, с увеличением количества доказательств в поддержку любых предлагаемых показаний к применению, следует либо оспорить позицию регулирующих органов, либо производителям сред и отраслевым специалистам по разработке ИИ работать вместе, чтобы продвинуть область с новыми показаниями к применению.
Хотя использование ИИ в лабораторных условиях может быть весьма полезным, все еще остаются некоторые вопросы, которые необходимо решить. Во-первых, это фенотипически отличные полиморфизмы одного микроорганизма, которые могут быть интерпретированы ИИ как отдельные организмы, как это может быть и при оценке человеком, а также классификация вариантов малых колоний. Как было сказано ранее, чем шире входные данные, тем выше обобщенность модели и тем выше вероятность точности алгоритма. В связи с этим понимание и планирование этих ограничений при проектировании имеет решающее значение для конечного развертывания алгоритмов.
Кроме того, ожидать от системы ИИ правильного определения категории "контаминация" - сложная задача, поскольку зачастую это, казалось бы, безобидное решение зависит от многолетнего опыта и понимания типа образца и полной клинической картины с учетом подробной истории болезни. В этом отношении может помочь полностью интегрированная система ИИ-ЛИС, в которой доступны все данные, но в настоящее время невозможно собрать такую подробную информацию, необходимую для достоверной оценки.
Очевидно, что жажда знаний в области ИИ у врачей-бактериологов велика, и по мере появления большого количества подробных публикаций необходимо обучение и тренинг по стратегиям ИИ, чтобы лучше понимать некоторые ограничения этой технологии. Это особенно важно при рассмотрении вопроса о внедрении в повседневный рабочий процесс и обеспечении мер по эффективному устранению любых ложноотрицательных результатов, получаемых от автоматизированных систем. Также несколько рискованно ожидать, что алгоритмы будут "учиться" по ходу работы и адаптировать образец за образцом неконтролируемым образом.
Безусловно, подход с использованием фиксированных алгоритмов позволил получить достаточно доказательств, чтобы продемонстрировать, что использование этих технологий связано с низким риском для пациентов, что подтверждается высокой чувствительностью/процентным положительным согласием (PPA) и высокой отрицательной предсказательной ценностью (Faron et al., 2016; Brenton et al., 2020; Uwamino et al., 2022). Также не стоит думать, что ИИ будет надежно идентифицировать организмы воспроизводимым образом, без каких-либо дополнительных подтверждающих исследований (если это не указано производителями сред). Хотя существует естественная возможность попытаться сделать это с помощью хромогенных агаров, недифференцирующие агары будут представлять собой сложную задачу.
"Самое печальное в искусственном интеллекте то, что ему не хватает артистизма и, следовательно, интеллекта", - писал Жан Бодрийяр.
Применение ИИ в этой области невозможно, если интеллект, мастерство и прозорливость микробиологов не будут двигать развитие в нужном направлении. Мы только прикоснулись к поверхности, и все мы являемся частью продвижения ИИ в нашей области.
