Ученые, работающие с ВОЗ, исправили некоторые вызывающие удивление ошибки в своих оценках количества смертей, вызванных пандемией, после шквала вопросов по поводу первоначального отчета ВОЗ, опубликованного в начале мая.
В пересмотренном техническом документе, посвященном их методам, исследователи снизили оценку смертности от пандемии в Германии на 37%, опустив ее избыточный уровень смертности ниже, чем в Великобритании и Испании. Они также повысили оценку для Швеции на 19%.
В исследовании ВОЗ, опубликованном 5 мая, оценивались избыточные уровни смертности - то есть рост смертности выше ожидаемого уровня - для 194 стран. Организация сообщила, что с января 2020 года по декабрь 2021 года в мире из-за пандемии умерло от 13,3 до 16,6 миллиона человек, что более чем в 2,5 раза превышает число зарегистрированных смертей от COVID-19. Эта оценка была более консервативной, чем другие анализы избыточной смертности. Однако некоторые наблюдатели вскоре выразили обеспокоенность цифрами по отдельным странам, особенно по Германии. Считалось, что она справилась с COVID-19 лучше, чем многие другие страны Европы, но ВОЗ оценила ее избыточную смертность как более высокую, чем у многих ее соседей.
"Почти сразу мы поняли, что есть проблема", - говорит Джон Уэйкфилд, статистик из Университета Вашингтона в Сиэтле, возглавляющий проект ВОЗ по глобальной смертности от COVID-19, который 18 мая опубликовал в Твиттере пересмотренный документ. Он говорит, что сейчас группа находится в процессе пересмотра всех своих оценок.
Проект ВОЗ - это живая модель, которая, по словам исследователей, всегда будет обновляться по мере того, как демографы будут получать больше информации. Организация пока не изменила цифры на своем сайте. Официальные систематические обновления оценок избыточной смертности - в том числе для Германии и Швеции - последуют "в следующей версии, запланированной на конец этого года", говорит Сомнатх Чаттерджи, старший советник в Отделе данных и аналитики ВОЗ.
Ошибки имеют значение, потому что исследование ВОЗ быстро привлекло внимание мировых СМИ как официальная оценка истинного числа жизней, потерянных в результате пандемии. Проект также является политически чувствительным: некоторые критики использовали первую серию неверных оценок, чтобы оспорить политику Германии в отношении пандемии. А правительство Индии оспаривает оценку ВОЗ, согласно которой в стране погибло от 3,3 млн до 6,5 млн человек, что примерно в 10 раз больше, чем официальное число погибших от COVID-19 в Индии. (Другие исследователи утверждают, что оценка ВОЗ заслуживает большего доверия, чем оценка индийского правительства; цифра ВОЗ также согласуется с результатами ряда других исследований).
В интервью журналу Nature Уэйкфилд объяснил, какие проблемы обнаружила его группа в своей работе. "Мы хотим вынести это на всеобщее обозрение, потому что это неправильно. Мы должны исправить это", - говорит он.
Общая картина
Чтобы определить, сколько людей умерло из-за пандемии, исследователи моделируют все случаи смерти за указанный период и вычитают из них базовый уровень ожидаемых смертей (те, которые произошли бы в отсутствие пандемии). Остается только количество смертей сверх нормы - более надежный показатель смертности, связанной с пандемией, чем официальные данные, поскольку многие страны занижают данные о смертях от COVID или вообще их не учитывают.
Такая оценка может дать лишь приблизительные данные, поскольку она требует сложного моделирования и регулярного пересмотра по мере поступления новых данных. Например, по данным ВОЗ, только 100 стран мира на данный момент представили данные о смертности в стране за каждый месяц, по крайней мере, за часть периода пандемии. Тем не менее, данные ВОЗ показали, что некоторые страны, такие как Индия, Россия и Египет, значительно занизили количество смертей от COVID-19: избыточное количество смертей в этих странах в течение 2020-21 годов было намного выше, чем официальное количество смертей от COVID-19. Оценки также показали страны, в которых количество смертей намного превышает нормальный уровень - некоторые из них находятся в Южной Америке. Особенно выделяется Перу, где количество смертей почти вдвое превысило обычную смертность за эти два года.
Однако критиков удивили некоторые результаты по богатым странам, которые своевременно предоставляют данные о смертности, таким как Германия и Швеция. Проблема, по-видимому, заключалась в том, как моделировалась ожидаемая смертность. В течение нескольких часов после публикации результатов ВОЗ комментаторы в Twitter отметили, что прогнозируемый организацией уровень ожидаемой смертности в Германии в 2020-21 гг. оказался на удивление низким, что привело к увеличению цифр избыточной смертности.
В чем ошиблась ВОЗ
Исследователи моделируют ожидаемую смертность путем экстраполяции исторических тенденций. Например, в широко цитируемом проекте World Mortality Dataset (WMD) используется линейная экстраполяция смертности в 2015-19 годах для учета основных тенденций смертности. Один из участников этого проекта, экономист Ариэль Карлински из Еврейского университета в Израиле, также входил в техническую группу Уэйкфилда. Однако группа ВОЗ использовала математическую функцию, называемую сплайном, для оценки ожидаемой смертности на 2020-21 годы. К сожалению, отметили комментаторы в Twitter, эта функция оказалась слишком чувствительной к небольшому спаду смертности в Германии в 2019 году; она предсказала снижение смертности также в 2020 и 2021 годах.
"Экстраполяция сплайна - заведомо плохая практика", - говорит Йонас Шёли, демограф из Института демографических исследований Макса Планка, Германия. Журнал Nature поговорил с другими демографами, которые с ним согласны. Шёли попросили ознакомиться с техническим документом ВОЗ еще в апреле, и он говорит, что тогда предупредил Уэйкфилда, что экстраполяция сплайном может привести к "ошибочным прогнозам тенденций". Но на тот момент данные и оценки уже были установлены командой ВОЗ; к Шёли обратились для проверки другого аспекта работы.
После критики Уэйкфилд и группа ВОЗ пересмотрели свой метод экстраполяции. Но затем они обнаружили вторую проблему, которая оказалась более серьезной: их данные о фактических смертях в Германии не совпадали с исходными данными немецких статистических бюро, также собранными в рамках таких проектов, как WMD. Это несоответствие затрагивало не только данные о смертях, зарегистрированных в 2020 и 2021 годах, но и исторические данные за 2015-19 годы. Это сыграло важную роль в низкой экстраполяции ожидаемых смертей.
Несоответствие произошло потому, что ученые ВОЗ скорректировали - или "масштабировали" - исходные данные о смертности. По словам Уэйкфилда, ВОЗ часто так поступает с данными, которые получает от стран. Это может быть вызвано вескими причинами: организация пытается скорректировать заниженные данные, несоответствия с другими данными или ошибки "завершенности" - например, когда данные о смертности за последние месяцы должны расти по мере поступления новых результатов. Однако менее очевидно, что этот процесс должен применяться к Германии, стране с подробной отчетностью по смертности. "Нам необходимо изучить способ корректировки заниженных данных", - говорит Уэйкфилд.
Команда Уэйкфилда вернулась к исходным данным и использовала линейную экстраполяцию на 2020 и 2021 годы. Как ни странно, экстраполяция с помощью сплайна на необработанные данные дала аналогичные результаты, добавляет Уэйкфилд. Общий эффект снижает оценки избыточной смертности в Германии в 2020-21 годах с 195 000 до 122 000 (с диапазоном между 101 000 и 143 000). Уровень избыточной смертности в Германии снижается до 72,7 на 100 000 человек в год по сравнению со 116 в год в предыдущем докладе ВОЗ.
Исследователи также исправили цифры ВОЗ по Швеции, после аналогичной критики. Одной из групп, высказавших свое мнение, была Группа реагирования актуариев COVID-19 - форум, состоящий в основном из актуариев из Великобритании, которые регулярно изучают влияние пандемии на смертность. 16 мая эта группа опубликовала блог, в котором отметила, что данные о смертности в Швеции, приведенные в докладе ВОЗ, не совпадают с данными Статистического управления Швеции. На самом деле, цифры ВОЗ, похоже, отличались от данных официальных источников отчетности по многим европейским странам.
Оказалось, что это были те же две проблемы: метод сплайнов и масштабирование. И снова команда Уэйкфилда пересмотрела свой подход и стала использовать линейную экстраполяцию на необработанных данных. В этом случае ежегодный коэффициент избыточной смертности в Швеции вырос с 55,8 до 66,1 на 100 000 человек. Шёли ставит в заслугу Уэйкфилду то, что он быстро решил эту проблему. "Пример для подражания, как нужно относиться к честной общественной экспертной оценке", - написал Шёли в Твиттере.
Другие европейские страны также могут пострадать от масштабирования ВОЗ цифр смертности - Норвегия является еще одной страной, в отношении которой критики высказывали сомнения. Уэйкфилд говорит, что его команда теперь пересмотрит процедуры ВОЗ по масштабированию, а также то, как она экстраполирует исторические данные. "Я не думаю, что это имеет большое значение для большинства стран", - говорит он.
В результате пересмотра цифры ВОЗ для Германии значительно приблизились к данным другой модели, подготовленной журналом The Economist. Но третья модель, разработанная Институтом метрики и оценки здоровья (IHME) в Сиэтле, штат Вашингтон, опубликованная в журнале The Lancet, теперь является исключением. По ее оценкам, в Германии произошло более 200 000 избыточных смертей. "Метод Economist является более прозрачным и обоснованным", - написала команда Уэйкфилда в своем техническом документе. Хайдонг Ванг, демограф и специалист по вопросам здоровья населения в IHME, ответил лишь, что различия в общих оценках могут возникать из-за того, как модели обрабатывают данные о смертности, включая то, как цифры корректируются с учетом недостаточной регистрации и проблем полноты, а также как модели оценивают ожидаемую смертность.
Как сравнивать страны
Как только результаты ВОЗ были опубликованы, исследователи, политики, журналисты и другие использовали их для сравнения стран. Некоторые рассматривали их как способ оценки политических мер, принятых странами в ответ на пандемию.
Одна из тонкостей заключается в том, что превышение уровня смертности - не единственная полезная метрика. Другой показатель - это доля смертей, превышающих норму в стране, что может дать несколько иные результаты. Например, смертность в Германии во время пандемии была на 6,5% выше нормы, а в Швеции - на 7,5% (несмотря на то, что коэффициент избыточной смертности на душу населения в Германии выше, чем в Швеции. Эти цифры имеют диапазон неопределенности - или "достоверные интервалы", как их называют исследователи. Тем не менее, даже когда достоверные интервалы двух стран пересекаются, страна с более высокой средней оценкой имеет большую вероятность того, что у нее действительно более высокий уровень избыточной смертности, говорит Уэйкфилд.
Более серьезной проблемой при сравнении является то, что, хотя цифры смертности показывают, насколько сильно страны пострадали от пандемии по отношению друг к другу, это отчасти является отражением демографических различий между ними. Если мы хотим оценить относительный успех стратегии смягчения последствий пандемии в той или иной стране, говорит Шёли, очень важно использовать цифры, скорректированные с учетом демографических особенностей страны, поскольку риск смертности от COVID-19 выше для пожилых людей и мужчин. Уэйкфилд говорит, что такая корректировка дала бы более нюансированную картину, но ВОЗ не опубликовала глобальные показатели избыточной смертности с поправкой на возраст, поскольку во многих местах отсутствуют надежные оценки смертности с поправкой на возраст.
Некоторые организации представляют предварительные данные, используя стандартизированные по возрасту показатели смертности. Например, Управление национальной статистики Великобритании делает это в своих сравнениях смертности от всех причин в Европе, хотя оно еще не включило данные до конца 2021 года.
Другие исследователи, включая Шёли, применили аналогичный подход, представив в препринтах информацию о том, как средняя продолжительность жизни - которая рассчитывается с использованием возрастных коэффициентов смертности - изменилась за время пандемии в более чем 20 странах. На основании этих расчетов, например, Великобритания оказалась хуже Испании и Италии в плане потери продолжительности жизни за последние два года, несмотря на то, что эти три страны имеют примерно одинаковые показатели превышения смертности. Испания, Италия и Германия имеют примерно одинаковые показатели продолжительности жизни, а Швеция и другие скандинавские страны к концу 2021 года восстановили средние потери продолжительности жизни, вызванные пандемией.
Цифры также показывают, что Соединенные Штаты показали худшие результаты, чем многие сравнительно богатые страны, потеряв более двух лет средней продолжительности жизни по сравнению с 2019 годом. Однако расчеты продолжительности жизни, как правило, придают больший вес преждевременным смертям среди более молодых людей, поскольку в таких случаях теряется больше лет жизни. По словам демографов, в Соединенных Штатах также наблюдается заметное превышение числа смертей в более молодых возрастных группах.
Размышляя над исправлениями, Уэйкфилд признает, что ошибки были досадными. "Послушайте, мы ошиблись", - говорит он. "И у меня нет с этим проблем, если честно. Потому что это наука, верно? Если кто-то критикует кого-то, давайте просто исправим это. Это не значит, что все неправильно. Я думаю, это означает, что у нас очень прозрачный подход и что мы готовы принять к сведению аргументированную критику". "Я надеюсь, что люди понимают, что невозможно с первого раза правильно определить каждую страну, и я определенно считаю, что наши оценки более надежны, чем оценки IHME и The Economist, - добавляет он.
По его словам, наибольшая неопределенность в исследованиях избыточной смертности связана не с данными европейских стран, а со странами, которые не публикуют своевременных данных о смертности по всем причинам. Для этих стран демографы должны использовать компьютерные модели, чтобы оценить, какой, вероятно, была смертность, на основе данных других стран с похожими характеристиками и любых обследований, которые дают представление о смертности в регионе.
Именно на эту сложную процедуру команда ВОЗ потратила большую часть своего времени, говорит Уэйкфилд. Именно эти результаты, скорее всего, изменятся в последующих обновлениях, если удастся собрать дополнительные данные о смертности, используя такие меры, как опросы, а также официальную статистику. "Если бы мы смогли получить данные по многим странам Африки, это было бы большим улучшением", - говорит он.
