Последние 25-30 лет принцип медицины, построенной на доказательствах, приобретает главенствующую роль в принятии клинических решений. В вопросах профилактики и лечения заболеваний клиницисты и администраторы здравоохранения основываются на лучших современных доказательствах. В качестве модели достоверности знаний доказательная медицина использует принцип пирамиды (пирамида доказательств) [1]. На ее вершине располагаются знания, полученные в рамках проведения систематического обзора (СО) и последующего метаанализа (МА) результатов рандомизированных контролируемых исследований (РКИ), тогда как данные оригинальных РКИ стоят на ступень ниже. Кроме того, практически все профессиональные общества, которые создают клинические рекомендации и другие согласительные документы, ссылаются на СО и МА, как на наиболее весомый источник знаний в той или иной области. При этом нет градаций, какие именно исследования включаются в сами СО и МА: только РКИ или РКИ и проспективные/ретроспективные наблюдательные исследования. Стоит учитывать, что в ряде случаев, СО и МА могут быть выполнены некорректно, что может приводить к манипуляциям данными и получению ложноположительных (чаще всего) или ложноотрицательных выводов.

В рамках этого литературного (описательного) обзора авторы опишут методологию создания и проведения СО и МА, особенности дизайна исследования и сложности, которые возможны при их планировании, проведении и интерпретации. Настоящая работа может быть полезной врачам, которые в своих решениях опираются на принципы доказательной медицины и аспирантам/соискателям, которые в рамках своих диссертационных работ ссылаются на те или иные СО и МА. В обоих случаях необходимо грамотно оценивать качество проведенного СО и МА, понимать этапность проведения и риски, которые могут возникать на всех этих этапах и приводить к возможным последствиям.

Основоположником подхода объединения данных нескольких исследований в одно можно считать Karl Pearson [2]. Именно он внес идею объединения схожих исследований с целью увеличения статистической мощности и снижения вероятности ошибки второго рода, т.е. вероятности не обнаружить различия там, где они присутствуют: «Многие из групп… они слишком малы, чтобы вообще можно было сформулировать какое-либо определенное мнение, принимая во внимание размер возможной ошибки» [2]. С 70-х годов прошлого века, когда стали проводиться РКИ, возникла потребность объединения полученных результатов между собой. В 1976 г. Gene Glass впервые вводит термин МА и обосновывает необходимость «управлять массивом» данных, чего не было до эры доказательной медицины [3]. МА («meta-analysis») — это статистический анализ объединения результатов нескольких исследований между собой согласно выбранным критериям и выдвинутой авторами гипотезе. Частота публикаций МА увеличивается из года в год. С методологической точки зрения современные СО и МА обязаны Archibald Cochrane, одному из основоположников доказательной медицины. Именно он предложил широко использовать МА как основу метода обобщения имеющихся современных данных для принятия клинических решений. В 1992 г. он организовал Кокрановское сотрудничество (Cochrane Collaboration), цель которого — создание качественных СО и МА в разных областях медицины 1.

Вклад СО и МА в современную медицину сложно переоценить. В ряде специальностей они предоставили информацию, которая легла в основу клинических рекомендаций даже при отсутствии качественных и крупных РКИ. Ярким примером является оценка эффективности применения ацетилсалициловой кислоты (АСК) в рамках вторичной профилактики сердечно-сосудистых заболеваний [4]. На момент проведения СО и МА не было ни одного крупного РКИ, где бы использовали длительную терапию АСК в качестве вторичной профилактики. В большинстве небольших РКИ АСК назначали не дольше 1 года. Проведенный МА продемонстрировал эффективность препарата у пациентов высокого риска сердечно-сосудистых заболеваний в отношении риска острого инфаркта миокарда, ишемического инсульта и сердечно-сосудистой смерти [5]. МА, в свою очередь, способен подтвердить нецелесообразность проведения того или иного вида терапии. К примеру, на основании противоречивых данных РКИ гиполипидемическая терапия была признана неэффективной у пациентов со сниженной фракцией выброса [5].

К еще одному достоинству СО и МА можно отнести возможность оценить профиль безопасности препарата: риск развития нежелательных явлений или дополнительные свойства препарата, т.к. в рамках РКИ мощности исследования может быть недостаточно. В качестве примера можно привести исследования, где была оценена длительная терапия статинами на предмет возникновения деменции, стеатоза печени, поликистоза яичников и других состояний [6]; были выявлены органопротективные действия ингибиторов ангиотензин-превращающего фермента (иАПФ) и блокаторов рецепторов ангиотензина II (БРА) в сочетании с антагонистами кальция у пациентов с артериальной гипертензией [7].

Таким образом, в ряде случаев, когда отсутствуют данные крупных РКИ, грамотно проведенные СО и МА могут быть полезны для уточнения эффективности и безопасности лекарственных препаратов.

Когда речь заходит о медицине, построенной на доказательствах, один из главных ее принципов отражен в виде пирамиды доказательств. Она позволяет оценить качество полученных данных в клинических исследованиях согласно их дизайну. Предполагается, что, чем выше клиническое исследование находится в пирамиде, тем выше достоверность полученных в нем результатов. Но данный подход надо рассматривать через призму возникновения возможных систематических ошибок в исследовании. Согласно документу ICH E9 («International Conference on Harmonisation» (Международная конференция по гармонизации)), систематическая ошибка («systematic bias») — это систематическая тенденция любых факторов, связанных с дизайном, проведением, анализом и оценкой результатов клинических исследований, вызывать отклонение оценки эффекта вмешательства от его истинного значения [8]. При этом выделяются две разновидности систематических ошибок — «операционные» и «статистические» [8]. Первая разновидность включает в себя все ошибки, связанные с дизайном исследования, его проведением и сбором материала, вторая — некорректные статистические методы обработки полученных данных. Стоит отметить, что ни один статистический метод не позволяет нивелировать операционные ошибки, которые возникли на этапе сбора материала. Также необходимо отметить, что разные литературные источники могут предлагать отличающиеся друг от друга классификации и трактовки ошибок, тем не менее, сходясь в основных тенденциях 2.

Предполагается, что проспективные исследования имеют более низкий риск развития систематических ошибок в сравнении с ретроспективными. Среди всех проспективных исследований максимальной достоверностью характеризуются двойные слепые РКИ. Их дизайн включает рандомизацию и использование слепого метода, что позволяет имитировать чистые экспериментальные условия, сводя к минимуму вероятность возникновения любых отклонений результатов от истины (bias). Таким образом, формируются группы, которые отличаются только по изучаемому признаку. Другие факторы, которые могут оказать влияние на результат, сведены к минимуму. При этом с помощью рандомизации можно свести к минимуму влияние как учтенных факторов, так и неучтенных, чего нельзя сделать в наблюдательных исследованиях. Кроме того, в рамках РКИ можно выделить внутренний и внешний контроль качества. Риск развития систематических ошибок связан не только с дизайном самого исследования, но и с качеством его проведения, включая заполнение первичной документации, корректную оценку первичных исходов всеми участниками исследования, репрезентативность включенных пациентов и т.д. Эти аспекты выходят за рамки «классической» пирамиды доказательств. Вместе с тем, возникает ряд других вопросов. Могут ли крупные когортные исследования давать более качественные результаты, чем небольшие РКИ? Насколько правомерно данные, полученные в крупном РКИ с жесткими конечными точками, ставить ниже выводов СО и МА, объединяющих данные небольших РКИ спорного качества? [9] Необходимо понимать, что иерархия доказательств справедлива только для исследований, которые проведены с высоким методологическим качеством [10]. Кроме того, при постановке ряда исследовательских вопросов может быть невозможно проведение РКИ по этическим или финансовым соображениям, и будут использоваться различные виды наблюдательных исследований. Необходимо также учитывать тот факт, что при объединении разных РКИ нарушается принцип рандомизации. Принимая во внимание перечисленные аспекты, ряд авторов предлагает модифицировать пирамиду доказательств. Одни рекомендуют проводить не прямые разграничения между исследованиями, а делать волнистые линии [11], что отражает сомнения, описанные в первом вопросе. Другие предлагают вывести из пирамиды СО и МА и представлять их в виде линзы, через которую более пристально рассматриваются фактические данные, полученные в РКИ или других исследованиях [12, 13]. Также существуют рекомендации, которые отличаются от классического представления пирамиды в сторону построения «греческого храма» с учетом этапов получения научного знания, источников этих знаний и сделанных выводов [14].

Таким образом, в рамках эволюции мышления доказательной медицины классическая пирамида не позволяет ответить на ряд вопросов. Иерархия доказательств — это, скорее, иерархия методологий. Каждая из них может предоставлять как хорошие (максимальное снижение систематических ошибок), так и плохие результаты в зависимости от корректности использования, интерпретации и ряда других факторов [15][16].

Для того, чтобы перейти к рассмотрению СО, необходимо провести грань между описательным (классическим, повествовательным, нарративным) и систематическим обзорами литературы. Первый, как правило, включает только те работы, которые уже известны автору и подтверждают его гипотезу. Он проводится без какой-либо четкой методологии, хотя в современных обзорных статьях можно встретить скудное и неполноценное описание литературного поиска, который, в большинстве случаев, трудно воспроизводится. Описательные обзоры присутствуют в монографиях, учебниках и диссертационных работах, не относятся к оригинальным исследованиям и отличаются невысоким уровнем достоверности [17]. В отличие от описательного, главным критерием достоверности систематического обзора является его воспроизводимость, полнота, прозрачность и понятная методология получения данных.

Тем не менее, классический описательный обзор литературы (коим является данная публикация) может быть полезен, например, в рамках переосмысления старых концепций и разработки новых путем объединения многих исследований. Также они позволяют произвести исторический экскурс в отношении развития той или иной научной мысли. Среди обзорных работ часто выделяют особую категорию — экспертное мнение («expert opinion»), отражающее представления известного и авторитетного исследователя по отношению к конкретному научному вопросу, что позволяет получить ценное субъективное мнение отдельного автора.

Любой качественный СО должен соответствовать четырем принципам, демонстрирующим непредвзятость авторов исследования в отношении изучаемых вопросов, в соблюдении которых должен удостовериться читатель при ознакомлении с работой [17, 18]:

В рамках написания СО необходимо выделить следующие основные этапы, которые также представлены на рис. 1:

Именно эти шаги позволяют ограничить риск систематической ошибки или предвзятости в рамках подготовки СО, что отличает его от описательного обзора и позволяет причислить к категории оригинальных исследовательских работ. При подготовке СО и МА следует пользоваться известными руководствами: PRISMA (предпочтительные компоненты для подготовки СО и МА («Preferred Reporting Items for Systematic Reviews and Meta-Analyses» (Предпочтительные параметры отчётности для СО и МА)) [19], MARS (стандарты отчетности по МА) [20]; MOOSE (МА обсервационных исследований в эпидемиологии) [21]. В них подчеркивается необходимость прозрачности и полноты методов представления данных и результатов СО и МА [22]. Кроме того, рекомендуется ознакомиться с одним из базовых документов — Cochrane Handbook for Systematic Reviews of Interventions [23].

Наиболее популярными и авторитетными являются рекомендации PRISMA3, призывающие разработать протокол СО, в котором закрепляется обоснование проведения исследования, его основной вопрос (цель), а также методы поиска, отбора и анализа данных. Протокол должен быть обнародован и зарегистрирован в открытых базах данных (например, регистр PROSPERO 4) до начала работы, что позволяет повысить достоверность полученных данных и избежать нецелесообразного дублирования результатов. Также возможна публикация протокола СО в виде самостоятельной статьи.

Как при проведении любого оригинального исследования, перед началом СО литературы необходимо сформировать его цель. Она должна включать нулевую и альтернативную гипотезу (наличие или отсутствие разницы по изучаемому признаку в исследуемых когортах). Для СО и МА существуют критерии постановки цели, описываемые в терминах PICO(TS) [24]. Они представлены в табл. 1. С возможными примерами постановки цели читатель может ознакомиться в приведенных СО и МА [25][26].

После постановки цели СО и МА формулируются критерии включения и невключения публикаций и их анализ, которые определяют границы обзора, в т.ч. временные. Те исследования, которые могут ответить на поставленный вопрос, должны быть найдены в рамках литературного поиска. Однако, не все найденные исследования будут включены в финальный анализ. Некоторые исследования могут оказаться ненадлежащего качества. Могут отсутствовать полнотекстовые статьи и т.д. [16].

Корректный поиск требует формулировки правильных ключевых слов и запросов, для чего рекомендуется использовать словарь терминов MeSH («Medical Subject Headings» (Рубрикатор медицинских заголовков) 5. Согласно рекомендациям PRISMA необходимо выбрать не менее 2 источников поиска литературы, для чего могут быть использованы разнообразные базы данных (см. рис. 1). Поиск литературы должен проводиться не менее чем двумя авторами по выбранным ключевым словам и базам данных независимо друг от друга. Это позволяет снизить риск ошибки и предвзятого анализа. Первичный литературный поиск осуществляется по заголовкам и аннотациям, на основании чего формируется список потенциально релевантных публикаций, которые оценивают на предмет соответствия критериям включения и невключения при анализе полнотекстовых версий. Список включенных исследований должен быть согласован обоими авторами. Процесс разрешения разногласий между экспертами должен быть заранее определен и отражен в протоколе СО. Например, разногласия по поводу включения решаются консенсусом после рассмотрения критериев включения и невключения, соответствия статьи заявленной цели исследования и ее качества. При этом читатели должны понимать, почему исследования, которые могли быть включены, в итоге не попали в анализ, или почему были выбраны те или иные критерии отбора.

Стоит отметить, что сами авторы на основании разработанных критериев отбора задают чувствительность (поиск как можно большего количества статей, которые могут быть релевантными) и специфичность (проверка того, что эти статьи действительно релевантны) своего анализа. При этом регламентирующие документы по этому поводу отсутствуют.

Весь вышеописанный процесс должен быть зафиксирован диаграммой поиска источников литературы, пример которой представлен на рис. 2 [27].

Если на этапе поиска литературы были внесены изменения в его процесс (изменены критерии отбора, базы поиска или другие критические изменения), то их необходимо внести как в протокол исследования, так и в общедоступную регистрационную запись (PROSPERO) 6.

Краеугольным камнем СО и МА является поиск качественной литературы [15][16]. Тем не менее, даже если поиск проведен должным образом, риск систематических ошибок может оставаться и быть связан не столько с процессом поиска, но и с качеством опубликованных исследований. Здесь можно выделить два аспекта: риск публикационной ошибки («publication bias» или более широкое понятие — «dissemination bias») и оценка качества найденных публикаций [15].

Публикационная ошибка — это явление, связанное с тенденцией публиковать в основном статистически значимые (положительные) результаты. Исторически считается, что работы с наличием статистической значимости (р <0,05) публикуются чаще, чем исследования с негативным результатом. Более того, рецензенты и редакторы научных журналов охотнее принимают в печать положительные работы [28]. Также считается, что отрицательный результат может быть следствием низкого качества исследования. Такого рода подход в научном обществе несет за собой ряд негативных последствий. Во-первых, профили безопасности и эффективности вмешательства воспринимаются лучше, чем они могут быть, что представляет опасность для пациентов. Во-вторых, исследователи, не зная о факте проведения подобного исследования, могут самостоятельно и независимо запустить аналогичную работу, что ведет к потере времени и ресурсов. Таким образом, СО и МА могут сильно исказить сведения о препарате при отсутствии публикаций с негативными результатами.

Описанная проблема диктует необходимость включения в анализ не только опубликованных, но и неопубликованных данных. Для этого авторам необходимо оценить зарегистрированные в открытых базах данных (например, регистр clinicaltrials.gov 7), но не опубликованные исследования, которые могут отвечать на поставленный вопрос [16]. Также дополнительные сведения могут быть получены при анализе материалов конференций, тезисов, допечатных сервисов (preprints.org 8), на которых часто выкладываются результаты исследований задолго до официальной публикации. Другой возможностью может быть прямая связь с исследователями и прямой запрос результатов работы, которые могли быть опубликованы в журналах, не индексируемых в традиционных базах данных.

Для оценки риска публикационной ошибки принято использовать воронкообразный график (рис. 3) и тест Эггера («Egger’s test») [29]. Первый представляет собой диаграмму, на которой по вертикальной оси размещается показатель точности измерения эффекта (чаще всего, это стандартная ошибка, величина которой обратно пропорциональна мощности исследования, или объём выборки), а по горизонтальной оси — размер эффекта. В результате такого построения крупные исследования с минимальной стандартной ошибкой и максимально точной оценкой эффекта вмешательства концентрируются на вершине воронки и формируют средний размер эффекта (вертикальная линия посередине), а остальные работы с меньшим размером выборок и большей стандартной ошибкой должны располагаться в пределах воронки симметрично относительно среднего эффекта. При этом исследования с меньшей выборкой дают более значимое отклонение размера эффекта от центральной величины, которое должно всегда носить симметричный характер. Основным признаком публикационного смещения является несимметричное распределение результатов в воронке, что свидетельствует о наличии пропущенных, вероятнее всего, неопубликованных, данных. Визуальную оценку симметричности воронкообразного графика рекомендуется дополнять проведением теста Эггера. При получении значения p<0,05 асимметрию следует считать статистически значимой [29][30].

Второй причиной возникновения ошибок при проведении СО и МА может быть включение некачественных исследований или отсутствие контроля качества. В исследованиях D. Moher и соавт. [19][31] были оценены 240 СО и МА, и только в 48% случаев авторы проводили оценку качества включаемых публикаций. Дополнительная сложность состоит в отсутствии однозначных критериев оценки и рекомендаций по их интерпретации. В литературе имеются разнообразные чек-листы для определения качества РКИ, в частности шкалы Jadad, Delphi, шкала коллаборации Кокрана (Cochrane Back Review Group) [16]. Многие авторы и редколлегии журналов рекомендуют проводить оценку с помощью чек-листа CONSORT 9, который, однако, создавался не столько для оценки качества РКИ, сколько для создания содержательных и полноценных отчетов о завершенном клиническом исследовании.

В рамках выполнения СО и МА для снижения риска систематических ошибок и оценки качества РКИ принято использовать инструмент — Cochrane Collaboration risk of bias assessment tool (RoB2 tool), представляющий собой валидированный опросник по пяти доменам (рандомизация, отклонения от вмешательств, пропущенные значения исходов, измерение исхода, отбор результатов для публикации) с оценкой общей вероятности систематической ошибки, которая может быть низкой, высокой или вызывать некоторые опасения [22, 32]. Обычно результаты такой оценки приводятся в виде разноцветной таблицы с обозначением качества исследования по каждому домену и общей оценки (рис. 4). С помощью разработанного Cochrane Collaboration инструмента в формате Excel весь процесс проводится в автоматическом порядке с формированием финальной таблицы. На текущий момент есть переведенная на русский язык предыдущая версия инструмента — RoB1. Она может быть проще для восприятия и понимания, чем RoB2 tool [33]. Для нерандомизированных клинических исследований были предложены самостоятельные инструменты, в частности, шкала Newcastle-Ottawa и ROBINS-I [34-37]. Первая представляет собой опросник по трем доменам, в которых исследование в сумме может получить от 0 до 9 баллов: отбор (0-4 звезды), сопоставимость (0-2 звезды) и исходы (0-3 звезды). При этом не существует однозначной интерпретации результатов: одни авторы предлагают учитывать общую сумму (≤5 — низкое качество, 6-7 — умеренное качество, 8-9 — высокое качество) [37], в то время как другие делают акцент на распределении звезд по доменам [38] (хорошее качество: 3-4 звезды в домене отбора, и 1-2 звезды в домене сопоставимости, и 2-3 звезды в домене исходов; удовлетворительное качество: 2 звезды в домене отбора, и 1-2 звезды в домене сопоставимости, и 2-3 звезды в домене исходов; низкое качество: 0-1 звезда в домене отбора, или 0 звезд в домене сопоставимости, или 0-1 звезда в домене исходов). Пример интерпретации шкалы Newcastle-Ottawa приведен в табл. 2. Более подробная информация по данной шкале читатель представлена в статье О. Ю. Ребровой и В. К. Федяевой [37]. С помощью инструмента ROBINS-I [34] оценка производится также по трем доменам: до вмешательства (конфаундеры, отбор), во время вмешательства (классификация вмешательств), после вмешательства (отклонения от вмешательств, пропущенные значения, измерение исхода, отбор результатов), однако интерпретация полученных результатов усложнена, а автоматизированная форма по аналогии с инструментом RoВ2 tool [35] до сих пор не разработана, что ограничивает удобство использования инструмента.

Отдельно стоит отметить, какие исследования авторы включают в СО и МА, т.к. их дизайн напрямую влияет на риск возникновения систематических ошибок. Можно выделить несколько возможных ситуаций, которые представлены на рис. 5.

Тем не менее, вопросы, связанные с включением отобранных работ и оценкой их качества, представляют большую проблему. Авторы могут найти только те работы, которые были опубликованы. Таким образом, объединение данных может приводить не только к уменьшению ошибки второго рода, но и к увеличению риска систематических ошибок. Наиболее предпочтительным с точки зрения строгости проведения является объединение результатов всех регистрационных РКИ у одной (схожей) популяции пациентов, например: пациентов с фибрилляцией предсердий или хронической сердечной недостаточностью.

Среди прочих регистрационные РКИ (РКИ, результат которых привел к регистрации нового препарата или нового показания), являются наиболее предпочтительными, т.к. проходят как внутренний, так и внешний этап контроля качества. Внешний контроль качества проводит Министерство здравоохранения (или несколько министерств, если РКИ международное) в момент получения разрешения и подачи финального отчета. Внутреннюю валидацию проводят внутри компании-производителя на этапе инициации исследования и подачи досье на регистрацию. Эксперты внутри компании оценивают как бизнес-необходимость, так и клиническую необходимость, исходя из полученного профиля эффективность/безопасность. Другими словами, сам факт регистрации повышает достоверность полученных данных в РКИ. Менее предпочтительной является оценка результата всех РКИ, посвященных изучению конкретной популяции пациентов. Риск развития систематических ошибок может быть выше при объединении разных популяций пациентов, получающих вмешательство по различным показаниям. В таких ситуациях необходимо разделять клиническую гетерогенность, которую оценивают авторы МА и статистическую, которую оценивает выбранный статистический пакет [32]. Объединение работ с разными дизайнами, например РКИ и крупных наблюдательных проспективных исследований (когортных или медицинских регистров) может увеличивать риск ошибки, что связано, как с более низким общим уровнем доказательности, так и с размером самих когорт, определяющих удельный вес эффекта в процессе синтеза данных. При существенном различии популяций когортного исследования и РКИ, результаты последнего могут «раствориться» в первом. Наименее предпочтительным с этой точки зрения является включение результатов ретроспективных исследований в СО и МА.

Предложенная авторами настоящей статьи пирамида имеет один большой недостаток. Она не включает информацию о дизайне РКИ (двойное слепое исследование или простое; какие конечные точки оценивались, были ли использованы релевантные статистические методы и много другое), что также может влиять на достоверность полученных данных. Впрочем, факт прохождения регистрации (регистрационные РКИ) может нивелировать этот недостаток, т.к. в каждом конкретном случае, эксперты, которые работают в регулирующих органах оценивают все эти аспекты и риск влияния этих аспектов на результат исследования.

Не все СО заканчиваются выполнением МА, но все МА должны начинаться с проведения СО. МА — статистическая технология для объединения индивидуальных эффектов отдельных исследований с целью оценки его обобщенной величины. Он выполняется в том случае, когда отобранные работы схожи по клиническим характеристикам, используемой методологии, а также гомогенны в отношении величины эффекта вмешательства [16][39]. Результатом синтеза данных является обобщенная величина отношения шансов (ОШ) или относительного риска (ОР) для качественных показателей или (стандартизированная) разность средних для количественных величин с расчетом их 95% доверительного интервала (ДИ). Визуально это представляется в виде графика forest plot, позволяющего оценить размер эффекта в каждом из включенных исследований, наличие или отсутствие разнонаправленности результатов, а также вклад каждой конкретной работы в обобщенный результат [40].

ДИ — это диапазон значений, содержащий истинную величину эффекта всех включенных исследований, который традиционно задается на уроне 95% [41]. Это означает, что при многократном отборе различных выборок из одной и той же генеральной совокупности 95% из них будут содержать истинный параметр величины эффекта [41][42]. Графически ДИ принято представлять в виде ромба, ширина которого соответствует величине интервала для обобщенной оценки, а по центру проходит вертикальная пунктирная линия, отражающее среднее значение [43]. Чем шире ДИ, тем выше неопределенность в отношении величины эффекта. При этом величина ДИ обратно пропорциональна размеру выборки, поэтому исследования с большим числом включенных пациентов дают более узкие границы ДИ. Его ширина также зависит от вариабельности изучаемого параметра во включенных исследованиях. Чем выше вариабельность, тем больше ДИ. Определенная вариабельность всегда присутствует в МА, поскольку каждое исследование имеет свою выборку с различной величиной эффекта.

Выбор уровня статистической значимости также влияет на ширину ДИ: она будет больше при значимости в 99% и меньше при значимости в 90% [41][42][44].

Данный этап подразумевает оценку адекватности объединения результатов разных исследований между собой [44]. При этом можно выделить математическую и клиническую оценку. Например, при объединении исследований, оценивающих влияние употребления томатов, картофеля, моркови и других овощей на риск развития рака толстого кишечника, общий эффект в рамках МА будет свидетельствовать о влиянии всех продуктов на заявленный исход, но не сможет дать информацию о воздействии каждого их них. Поэтому результаты любого МА необходимо оценить с клинической точки зрения на предмет целесообразности объединения различных воздействий и популяций. Например, можно ли объединять результаты исследований, изучавших использование низких дозах препарата у легкой категории больных и высоких доз у пациентов с тяжелыми формами заболевания [45]? Таким образом, возможность выявления причинно-следственных связей в рамках СО и МА, объединяющих различных пациентов с неодинаковым периодом наблюдения, разными условиями оказания медицинской помощи и сопутствующими состояниями, носит ограниченный характер. Именно поэтому основной клинический вопрос СО и МА рекомендуется формулировать в соответствии с терминами PICOS(TS) [24], что позволяет конкретизировать популяцию и условия измерения эффекта.

Потенциально важные различия отдельных исследований, объединенных в рамках МА, называют гетерогенностью. Под ней понимают различия в истинных размерах эффекта и потенциально влияющих на него факторах [22]. Для ее оценки разработано несколько статистических критериев: Q-критерий Кокрана (показатель общей дисперсии внутри исследования), статистика I2 (отношение вариабельности результатов между исследованиями к общей наблюдаемой вариации) и τ2 (показатель дисперсии между исследованиями) [22]. Обычно показатель I2 <0,25 (25%) характеризует низкую гетерогенность, от 0,25 (25%) до 0,5 (50%) — умеренную гетерогенность и >0,5 (50%) — высокую гетерогенность. Неоднородность можно исследовать и иногда управлять ею, но ее нельзя устранить [22].

Для того, чтобы обсудить риск манипуляций данными в рамках подготовки СО и МА, приведем гипотетический пример. Есть группа новых лекарственных препаратов, каждый из которых был изучен в рамках регистрационного РКИ в схожей популяции пациентов сравнении со стандартной терапией. При этом во всех РКИ выявлена тенденция к снижению частоты развития какого-либо события (например, по критериям безопасности или эффективности у определённой группы больных). Для того чтобы провести методологически правильный СО и МА, необходимо сформулировать клинический вопрос в соответствии с терминами PICO(TS), определить критерии поиска и зарегистрировать протокол в регистре PROSPERO.

Результаты математического объединения данных регистрационных РКИ представлены на рис. 6, этап 1. Величина обобщённого эффекта демонстрирует отсутствие статистически значимых различий по изучаемому исходу: ОШ, 0,70; 95% ДИ, 0,55-1,19. В результате объединения данных обобщённый 95% ДИ оказался меньше такового для каждого отдельного исследования, но его верхняя граница пересекает единицу, что свидетельствует об отсутствии статистически значимых различий. Результаты выполненной работы должны быть опубликованы с выводом об отсутствии значимых различий. Между тем, расположение верхней границы 95% ДИ недалеко от единицы позволяет предположить наличие статистически значимых различий при дальнейшем увеличении числа участников исследования, чего можно добиться путем включения в СО и МА ранее неучтенных работ. Но проведение повторного анализа с расширенными критериями включения требует обновления протокола и его повторной публикации в открытых регистрах во избежание спекуляций.

Допустим, что авторы решили пойти таким путем, и после публикации результатов первой работы, изменили исходные критерии поиска и отбора литературных источников, включив в анализ все возможные РКИ, которые были опубликованы в период 2012-2023 годов. При этом из критериев поиска исключается слово «регистрационные», т.к. для регистрации показаний достаточно одного качественного РКИ, а все последующие исследования не обязаны находить отражение в официальной инструкции к препарату. Тем не менее, это позволит увеличить выборку пациентов и мощность МА для подтверждения ранее выявленной статистически незначимой тенденции (рис. 6, этап 2).

Обновленный анализ с включением трех дополнительных исследований также не продемонстрировал значимых преимуществ новых препаратов: ОШ, 0,60; 95% ДИ, 0,40-1,02. Несмотря на увеличение количества пациентов, обобщённый эффект не достиг уровня статистической значимости, но было отмечено увеличение индекса гетерогенности I2 с 15% до 24%, который все еще сохранил низкое значение. Результаты обновленного анализа также должны быть опубликованы, но авторы решают продолжить литературный поиск с дальнейшим изменением критериев отбора.

Во всех исследованиях тренд изучаемого показателя был направлен в пользу новой группы препаратов за исключением единственной работы (см. рис. 6, этап 2.) Несмотря на небольшой размер выборки негативного исследования, именно его вклад, по-видимому, не позволил общему эффекту достичь уровня статистической значимости. При формировании других критериев отбора, которые бы исключили из анализа негативную работу, обобщенный 95% ДИ может выйти за пределы единицы, как представлено на рис. 6, этап 3.

Этого можно достичь очередным изменением критериев включения и невключения, которые позволят проигнорировать негативное исследование путем введения нового ограничения по численности участников. Включение РКИ с определенным количеством пациентов может быть логичным и оправдано авторами. Например, небольшие исследования зачастую имеют более низкое качество, что, однако касается не только размера выборки, но и использования слепого метода, наличия плацебо-контроля и прочих методологических особенностей, которые должны быть оценены с использованием валидных инструментов. Таким образом, более обоснованным выглядит исключение работ по критериям оценки качества, а не по размеру выборки.

Если авторы следуют необходимым правилам, то они должны каждый раз публиковать обновленные результаты, даже если статистической разницы получить не удается (см. рис. 6). В реальной практике последний вариант работы может стать единственно опубликованным, в особенности, когда не проводилась заблаговременная регистрация протокола СО и МА в открытых источниках. Дополнительным источником манипуляции может быть выбор модели МА. Например, модель фиксированных эффектов (fixed effects) или модель случайных эффектов (random effects). При отсутствии зарегистрированного протокола возможен выбор той модели, которая дает статистические различия между группами. С целью минимизации манипуляций, критерии выбора модели МА рекомендуется описывать в протоколе исследования, а выбор модели должен быть обоснован результатами оценки статистической гетерогенности.

Таким образом несмотря на наличие строгих правил и регламента выполнения СО и МА, необходимо опасаться таких ситуаций, когда финальный анализ может предшествовать регистрации протокола в регистре PROSPERO. В таком случае, СО и МА превращается по методологии проведения в ретроспективное когортное исследование, что не позволяет ставить его выше РКИ.

Пациенты с перенесенным венозным тромбоэмболическим осложнением (ВТЭО) на фоне онкологического заболевания, согласно современным клиническим рекомендациям, нуждаются в длительной антикоагулянтной терапии и вторичной профилактики. До недавнего времени «золотым стандартом» был далтепарин, который в отличие от антагонистов витамина К позволял снизить риск рецидива ВТЭО без увеличения геморрагических осложнений и летального исхода [46]. Однако длительный прием инъекционного препарата снижал приверженность к терапии у пациентов [47]. Поэтому, когда появились прямые оральные антикоагулянты, которые были лишены необходимости ежедневных инъекций, встал вопрос о клинической возможности их назначения пациентам с ВТЭО и онкологическим заболеванием. Всего было проведено 4 РКИ с ПОАК, 3 из которых оценивали эффективность (SELECT-D (ривароксабан), HOKUSAI-VTE Cancer (эдоксабан), CARAVAGGIO (апиксабан)). и одно исследование (ADAM VTE (апиксабан)) оценивало безопасность в качестве первичной конечной точки. В ряде РКИ ПОАК демонстрировали снижение частоты рецидива ВТЭО. Для оценки возможности снижения рецидивов ВТЭО на фоне применения ПОАК по сравнению с далтерапарином были проведены СО и МА. При этом, при включении всех исследований удалось продемонстрировать статистическое значимое снижение рецидивов [48], при включении исследований с хорошим качеством (исключив исследование ADAM VTE) — такого эффекта продемонстрировано не было [49]. Более подробно с деталями неоднозначности результатов исследования ADAM VTE можно ознакомиться в публикации К. В. Лобастова и И. В. Счастливцева [46].

Разные данные наблюдаются по оценке катетер-управляемого тромболизиса (КУТ) и системного тромболизиса на риск развития посттромботической болезни (ПТБ) у пациентов, перенесших проксимальный тромбоз глубоких вен. Так, МА 4 РКИ утверждает, что КУТ снижает риск развития ПТБ [50]. Аналогично, МА 6 РКИ показал, что КУТ снижает риск развития ПТБ [51]. Другой МА 6 РКИ утверждает, что системный тромболизис и КУТ не снижает риск развития ПТБ [52]. МА 10 когортных исследований и РКИ утверждает, что КУТ снижает риск развития ПТБ, но этот эффект наблюдается только в когортных исследованиях, но не в РКИ [53]. МА 19 РКИ утверждает, что любой тромболизис, включая системный и КУТ, снижает риск развития ПТБ [54]. Сетевой МА 7 РКИ утверждает, что ни один эндоваскулярный способ, включая КУТ, механическую тромбэктомию, фармако-механическую тромбэктомию, не снижает риск развития ПТБ [55]. При этом, исследования, которые входили в представленные МА, не всегда совпадали. Таким образом, в рамках поиска в представленных МА авторы включали зачастую разные исследования, что и влияло на результат.

Таким образом, приведенные примеры демонстрируют, как могут меняться результаты СО и МА в зависимости от критериев включения публикаций в СО и оценки качества включаемых исследований.

В 1976 г. G. Glass назвал метаанализ анализом анализов [3][16]. Продиктовано это было первоочередной необходимостью снижения вероятности ошибки второго рода путем увеличения мощности исследования. Современное понимание МА соответствует этому заявлению. Стоит отметить, что несмотря на вторичный анализ данных, в рамках МА не принято проводить коррекцию ошибки первого рода в отличие от РКИ, где всегда должна проводиться поправка на множественные сравнения. Кроме того, синтез данных несет угрозу суммирования риска возможных систематических ошибок каждого оригинального исследования [56]. При этом ни один из статистических пакетов не позволяет оценить возможные операционные ошибки. Основным механизмом снижения их вероятности в рамках в МА можно считать адекватные критерии объединения исследований и критическую оценку включенных публикаций. По данным D. Moher и соавт. [19] из 240 МА качество исследований включенных РКИ было оценено только в 48% случаев. При этом необходимо понимать, что любое включение некачественных данных снижает достоверность результатов СО и МА [30]. Такого рода МА могут транслировать вводящую в заблуждение информацию. Ряд авторов в качестве критерия качества МА рассматривает только число включенных событий. Так, МА с общим числом событий <200 могут быть полезны только для выработки гипотез. Валидными и надежными МА можно считать анализ с событиями больше 200. Впрочем, данный подход не оценивает качество включаемых исследований. События, которые были оценены в рамках РКИ, могут отличаться по достоверности от событий, которые были зафиксированы в крупных проспективных исследованиях, не говоря о ретроспективных анализах. Последние, в свою очередь, по размеру выборки часто превышают РКИ, а их удельный вес доминирует в обобщенном анализе.

Особую роль в методологии проведения СО и МА играет качественный поиск литературы по заранее спланированным критериям. В исследовании A. Dechartres и соавт. [57] было показано, что разные подходы к включению исследований приводят к различным оценкам размера эффекта и интерпретации результатов. Ключевой вывод их анализа заключается в том, что используемый исследователем подход к отбору публикаций во многих случаях не только влияет на величину предполагаемого эффекта оцениваемого вмешательства, но и в некоторых случаях изменяет статическую значимость различий [22][54]. Кроме того, ряд экспертов уделяют вниманию дате завершения включенных в СО и МА РКИ. Чем позже были проведены РКИ, тем более был выражен изучаемый эффект [58]. Это возможно объяснить снижением остаточного риска. Каждое последующее исследование проводится на фоне системной терапии, которая продемонстрировала свой эффект ранее, и каждому последующему препарату необходимо показать дополнительную дельту эффективности [9].

Для любого оригинального исследования (коим являются СО и МА) важным аспектом считается критическая оценка полученных результатов самими авторами исследования. Они должны описать ограничения исследования, его методологическое качество и влияние этих и других факторов на конечный результат. Отсутствие этой информации или формальный подход в ее предоставлении может свидетельствовать о недостаточной прозрачности в описании исследования и сокрытии важных его аспектов. Напротив, в качественных СО и МА эта информация должна быть представлена в достаточном объеме и позволять провести всеобъемлющую оценку результатов исследования читателем.

Большую проблему доверия к результатам СО и МА несет риск публикационной ошибки, о чем говорилось ранее. Относительно редкая публикация исследований с негативными (статистически незначимыми) результатами приводит к переоценке величины изучаемого в рамках СО и МА эффекта. Поэтому для корректного изучения исследовательского вопроса возникает потребность поиска неопубликованных результатов. Авторы СО и МА должны четко прописывать, какие действия предпринимались для такого рода поиска. С целью минимизации риска публикационной ошибки, редакторам журналов, рецензентам и редакционным коллегиями следует уделять особое внимание исследованиям, не достигшим статистически значимых результатов, но имеющим высокий методологический уровень и качество.

Эти и многие другие аспекты потенциально влияют на количественные результаты и качественную интерпретацию МА [22]. Тем не менее, учитывая огромный объем научной информации, публикуемой каждый год, СО и МА являются важным инструментом оценки медицинских методов лечения, особенно в тех случаях, когда данных РКИ недостаточно [17]. Правильно проведенный СО и МА требует привлечения междисциплинарных команд, которые проведут грамотный поиск литературы и последующий синтез данных. СО и МА должны быть проведены методически корректно, включая, но не ограничиваясь этапами, которые были приведены на рис. 1. При написании работы авторы должны руководствоваться принципами методичности, полноты, прозрачности и воспроизводимости, а информация должна быть представлена в непредвзятой, структурированной, ясной и прямолинейной форме [44].

Учитывая возможность манипуляции данными в рамках создания СО и МА не совсем корректно результаты, полученные в них ставить выше результатов, полученных в качественных РКИ. СО и МА могут дополнить или дать информацию, которую невозможно получить в рамках РКИ в связи с низкой мощностью. Особенно это важно при анализе профиля безопасности препаратов, а также, дополнительных свойств, что может быть хорошей базой для проведения последующих РКИ.

Отношения и Деятельность. Навасардян А. Р. является руководителем региональных медицинских советников в компании АО «БАЙЕР», Микаелян М. В. является руководителем медицинской поддержки бизнеса бизнес-юнита «Общая терапия» АО «БАЙЕР» на момент написания статьи. Этот факт не оказал влияния на содержание публикации и все авторы заявляют об отсутствии потенциального конфликта интересов, требующего раскрытия в данной статье.

Relationships and Activities. Navasardyan A. R. is the MSL Manager (Bayer JSC), and Mikaelyan M. V. is the Medical Affairs Manager for Cardiovascular Portfolio (Russia and CIS) (Bayer JSC) at the time of writing. This fact did not influence the content of the publication, and all authors declare no potential conflicts of interest that need to be disclosed in this article.

Благодарности. Авторы выражают благодарность за научную поддержку «Независимой национальной академии доказательной медицины» и «Национальному обществу доказательной фармакотерапии».

Acknowledgments. The authors express their gratitude for the scientific support provided by the “Independent National Academy of Evidence-Based Medicine” and the “National Society of Evidence-Based Pharmacotherapy”.

1. Cochrane. Our evidence [cited 2023 Jun 16]. Available from: https://www.cochrane.org/ru/evidence. 2. European Medicines Agency. ICH E9 statistical principles for clinical trials — Scientific guideline [cited 2023 Jun 18]. Available from: https://www.ema.europa.eu/en/ich-e9-statistical-principles-clinical-trials-scientific-guideline. 3. PRISMA Statement. TRANSPARENT REPORTING of SYSTEMATIC REVIEWS and META-ANALYSES [cited 2023 Jun 16]. Available from: http://www.prisma-statement.org/. 4. National Institute for Health and Care Research. PROSPERO. International prospective register of systematic reviews [cited 2023 Jun 16]. Available from: https://www.crd.york.ac.uk/PROSPERO/. 5. National Library of Medicine. MeSH — NCBI [cited 2023 Jun 18]. Available from: https://www.ncbi.nlm.nih.gov/mesh/. 6. National Institute for Health and Care Research. PROSPERO. International prospective register of systematic reviews [cited 2023 Jun 16]. Available from: https://www.crd.york.ac.uk/PROSPERO/. 7. National Library of Medicine. ClinicalTrials.gov [cited 2023 Jun 18]. Available from: https://beta.clinicaltrials.gov/. 8. Preprints.org. The Multidisciplinary Preprint Platform [cited 2023 Jun 18]. Available from: https://www.preprints.org/. 9. EQUATOR Network. Reporting guideline. CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials [cited 2023 Jun 18]. Available from: https://www.equator-network.org/reporting-guidelines/consort/.