Метаанализ и систематический обзор в чем разница
Метаанализ и систематический обзор в чем разница
СИСТЕМАТИЧЕСКИЕ ОБЗОРЫ И МЕТА-АНАЛИЗЫ
В результате такого усреднения многих работ получается результат с ошибкой, меньшей, чем в любой из обработанных работ, взятой отдельно. (Это, разумеется, так, если результаты обрабатываемых измерений статистически совместимы между собой. В обратном случае, надо решать, не недооценили ли авторы работ свои ошибки, возможно, выбросить некачественные работы из рассмотрения или независимо переоценить их ошибку. Рассмотрение этих статистических трюков в наши задачи, впрочем, пока не входит).
Чтобы избежать субъективизма при составлении систематических обзоров предусматривается участие как минимум двух авторов, которые работают независимо друг от друга (слепым методом), при необходимости связываясь с авторами публикаций для решения возникших вопросов по методике проведения исследований и статистического анализа полученных данных.
Для исключения путаницы в понимании варианта получения данных, используемых клинической эпидемиологией, в теме «Медицина, основанная на доказательствах. Первый взгляд» описан общепризнанный профессиональными эпидемиологами вариант получения данных, когда информация из оригинальных работ объединяется с помощью специального статистического анализа для получения количественного систематизированного обзора, называемого мета-анализом, в котором присутствуют числа.
Для мета-анализов используют специально созданные компьютерные программы «RеvМаn». Такую программу Кокрановское Сотрудничество предоставляет бесплатно всем исследователям, составляющим мета-анализ, но для того чтобы воспользоваться этой программой, необходимо знание английского языка и методов математической статистики.
Эпидемиологи-непрофессионалы называют систематическим обзором работу, результат которой не имеет численного выражения
Отсюда возникает вреднейший миф о двух одинаково эффективных вариантах обобщения данных в клинической эпидемиологии: из систематического (качественного, о чем информация скромно опускается) обзора и из количественного систематического анализа, т.е. мета-анализа.
Профессиональные эпидемиологи (Флетчер Р., Флетчер С., Вагнер Э. Клиническая эпидемиология: основы доказательной медицины, М.: МедиаСфера, 1998.- 350с.) утверждают, что «Качественные наблюдения не являются предметом клинической эпидемиологии».
Обратное мнение прорвалось на публику, например, в виде известной книги эпидемиолога-непрофессионала Триши Гринхальх «Основы доказательной медицины», вышедшей в издательстве «Гэотар-Медиа» в 2006 году: качественный систематический обзор во многих случаях является предпосылкой для количественных исследований, и «хорошее качественное исследование действительно может прояснить суть происходящего, а не отражать лишь то, что лежит на поверхности».
По моему скромному мнению, под «качественным» здесь понимается просто сильно загрубленное, но количественное исследование, результат которого имеет вид вроде
Поэтому, когда практикующему врачу или руководителю необходимо сделать выбор на основании данных из систематического обзора качественного или количественного, то здесь можно сказать только так: систематический качественный обзор (бла-бла-бла) может предшествовать систематическому количественному обзору (математике), но это совсем не значит, что на основании данных из всех материалов, поименованных «систематический обзор», нужно принимать решение.
Введение. Широкое распространение получило убеждение, что система оплаты труда врачей может оказывать влияние на эффективность работы врачей (Donaldson, 1989). Разные системы оплаты использовались для достижения различных целей (например, улучшения качества лечения, снижения затрат, набора персонала в испытывающих нехватку сотрудников областях). Однако о конечных результатах влияния различных систем оплаты труда на достижение таких целей известно мало (Scott, 1995).
Например, были сделаны предположения о том, что подушевая оплата позволяет снизить издержки, но в то же самое время снижает качество лечения по сравнению с системой оплаты за единицу услуг (FFS) и что система оплаты, которая не устанавливает прямой связи между объемом выполняемой работы и оплатой (например, оклад), может быть более эффективной, чем системы вознаграждения, основанные на учете объемов выполненной работы (Gosden, 1999).
Такое разнообразие, возможно, объясняется различиями между странами при постановке целей развития здравоохранения, разницей в структуре и организации сектора здравоохранения, а также особенностями, связанными с каждой конкретной медицинской профессией.
Несмотря на то что и подушевая оплата труда, и оплата по окладам имеют некоторое сходство (заработок есть фиксированная величина), они отличаются друг от друга единицами, в которых осуществляется расчет заработной платы. Оплата по окладам может и не способствовать предоставлению определенного уровня услуг. Подушевая оплата может стать причиной того, что врачи будут стремиться к увеличению списка своих пациентов для роста своего дохода, что может привести к более высокой загруженности и более коротким консультациям (в данной статье под консультацией понимается любое взаимодействие врача и пациента). Наряду с этим при подушевой системе оплаты врачи, возможно, будут стремиться привлечь новых пациентов путем создания и поддержания высокой репутации.
В общем, использование стимулов, заложенных в системе оплаты по окладам и подушевой системе оплаты, может способствовать более экономному поведению со стороны врачей и привести к недостаточному объему предоставляемых услуг, тогда как применение системы оплаты за единицу услуг может стать причиной чрезмерного предложения услуг (Woodward,1984). Какое влияние окажет каждая из этих систем на состояние пациента, не совсем ясно, поскольку недостаточное использование лечебно-диагностических мероприятий может быть не менее пагубным для здоровья пациента, чем его избыток.
Каждый вид системы оплаты может оказать влияние на характер и количество предоставляемых медицинских услуг. При подушевой оплате большее внимание будет уделяться профилактике, которая позволит снизить будущие расходы, например, на консультации (Shimmura, 1988). При подушевой оплате врачи будут стремиться снизить издержки. Результатом таких изменений может стать дифференциация доступа для различных групп населения. Например, врачи могут ограничивать доступ пациентов с высокими потребностями в медицинской помощи для того, чтобы избежать увеличения размера затрат в расчете на одного пациента (Маynard., 1986). Такая воображаемая ситуация носит название «снятие сливок» (Маtsaganis, 1994).
Системы оплаты туда могут также влиять на решение о выборе места работы, а значит, и на набор и сохранение кадров. Например, различие в заработной плате при оплате по окладам, скорее всего, будет меньшим, чем при подушевой оплате и оплате за единицу услуг. В тех областях деятельности, где вероятность изменения размера заработной платы высока, врачи будут отдавать предпочтение должностям с окладом, поскольку оплата по окладам обеспечивает стабильный доход, а значит, и финансовую стабильность.
Системы оплаты также могут быть связаны с различными административными издержками. Самые высокие административные расходы могут потребоваться при системе оплаты за единицу услуг, поскольку в данном случае потребуется информация о каждой единице выполненной работы. При подушевой оплате врачи будут предоставлять данные для учета каждого пациента. Система же оплаты по окладам, вероятно, самая простая в смысле ведения учета (Rosen, 1989).
Цель данного обзора. Оценка влияния различных систем оплаты труда (подушевая оплата, оклад и смешанные системы) на показатели работы врачей.
Критерии отбора исследований. Оценка качества отобранных работ производилась двумя исследователями независимо друг от друга с использованием критериев, описанных ЕРОС group. В исследование включены методически качественные исследования, оценивающие влияние трех систем оплаты труда (оклад, подушевая оплата, сдельная система оплаты) на степень удовлетворенности врачей рабочей атмосферой, а также стоимость, виды и количество предоставляемых медицинских услуг, справедливость при получении медицинской помощи, состояние здоровья пациентов и степень их удовлетворенности.
Целевые выплаты (которые также могут быть отнесены к данному виду оплаты труда) не рассматривались в данном исследовании, поскольку они представляют собой необычный вид оплаты, в котором единицей оплаты выступает определенный объем или плановый показатель объема услуг. Они рассматриваются в отдельном исследовании (Guiffrida, 2000).
Сбор информации и анализ. Два исследователя независимо друг от друга собирали информацию и оценивали качество исследования. К рассмотрению принимались только те исследования, в которых содержались объективные показатели результатов медицинского обслуживания, затрат на медицинское обслуживание, а также показатели, характеризующие пациентов. Субъективные показатели принимались во внимание только в том случае, если для их оценки использовались стандартные и признанные методики. Исследования, для которых нельзя было точно установить вид системы оплаты труда, были исключены из рассмотрения.
Описание исследований. В результате электронного поиска была получена 5381 ссылка. Еще 118 ссылок были отобраны самими исследователями из своих собственных источников. Среди 332 просмотренных статей лишь восемь полностью удовлетворяли критериям отбора, используемым для данного исследования. Эти статьи содержали результаты четырех исследований. Из анализа исключены 12 исследований, которые соответствовали теме исследования, но не удовлетворяли минимальным критериям отбора, и одно незаконченное исследование.
Результаты. Два исследования сравнивали подушевую систему и оплату за единицу услуг. Исследование Krasnic (1990) сравнивало влияние системы подушевой оплаты с данными по контрольной группе врачей, оплата труда которых осуществлялась по смешанной схеме (подушевая система в сочетании с оплатой за единицу услуг). В исследовании проводилось сравнение количества предоставленных услуг, оказанных 100 врачами, выбранными случайным образом из группы врачей, для которых оплата производилась по подушевой системе, за шесть месяцев до того, как система оплаты их труда стала смешанной. Исследование продолжалось в течение 12 месяцев с момента изменения системы оплаты.
Вторая группа состояла из 326 врачей, для которых была установлена смешанная система оплаты труда. В данной группе система оплаты не менялась.
В третьем исследовании оценивалось влияния оплаты по окладам и оплаты за единицу услуг на поведение врачей (Hickson, 1987). В данном исследовании сравнивались группы из девяти случайным образом выбранных врачей, оплата труда которых производилась по окладам, с контрольной группой из девяти врачей, труд которых оплачивался из расчета за единицу услуг.
В четвертом исследовании сравнивались смешанная система и оплата за единицу услуг. Исследование Hutchison оценивало переход от оплаты за единицу услуг к смешанной системе и системе стимулирования амбулаторного лечения (Hutchison, 1996). Для врачей, которые находились в контрольной группе, была установлена оплата за единицу услуг. Тhе Аmbulatory Саrе Incentive Plan (ACIP) предоставлял премию в дополнение к подушевой оплате в случае снижения показателя госпитализации ниже определенного уровня (среднего показателя по району).
Характеристика врачей. В проведенных исследованиях были использованы данные о врачах США (Davidson, 1992, Hickson, 1987), Дании (Krasnic, 1990) и Канады (Hutchison, 1996). Среди этих врачей были педиатры (Hickson, 1987), врачи общей практики (Krasnic, 1990, Davidson, 1992) и семейные врачи (Hutchison, 1996). Характеристика врачей (возраст, пол и время с момента окончания учебного заведения) содержалась только в двух исследованиях (Hickson, 1987; Hutchison, 1996). Большинство врачей, которые принимали участие в исследованиях, были добровольцами.
Характеристика пациентов. Два исследования были связаны с предоставлением медицинских услуг детям (Davidson, 1992; Hickson, 1987). Еще в двух исследованиях участвовали пациенты различных возрастных групп.
В четырех исследованиях принимали участие 640 врачей и более 6400 пациентов. Результаты не были однозначными. При оплате за единицу услуг возросло количество посещений врачей, количество предоставляемых услуг по диагностике и количество выполненных лечебных процедур. Однако было отмечено меньшее количество госпитализаций по сравнению с подушевой системой оплаты. Применение системы оплаты за единицу услуг приводило к увеличению продолжительности лечения, но при этом пациенты отмечали меньшую удовлетворенность общением с врачом (по сравнению с группой пациентов, которые обращались к врачам, работающим за оклад). Авторы считают, что приведенных в исследованиях данных недостаточно, чтобы сравнить поведение врачей, работающих за оклад или получающих подушевую оплату, и степень удовлетворенности их работой пациентами.
Авторы делают вывод, что системы оплаты труда влияют на поведение врачей. Получены доказательства, свидетельствующие, что оплата за услуги обеспечивает лучшее качество первичной медицинской помощи по сравнению с оплатой труда в виде оклада или подушевой оплатой. Однако нет данных о влиянии этих видов оплаты на поведение врачей в долговременной перспективе, а также данных о влиянии метода оплаты труда врачей первичного звена на состояние здоровья их пациентов.
Пример 2. Реферат систематического обзора И.Н.Ступакова, И.В.Самородская, Сравнение методов реваскуляризации при стабильном течении стенокардии по критериям выживаемости, частоты развития ИМ, повторных реваскуляризации, облегчения симптомов стенокардии.
Результаты такого обзора могут быть использованы и клиницистами, и организаторами здравоохранения для отбора технологий, которые должны финансироваться из бюджета, и исключения из списка финансирования неэффективных технологий.
Представленные обобщенные результаты не являются статичными и нуждаются в дальнейшем периодическом пересмотре. Вытеснение эндоваскулярными вмешательствами АКШ, вероятно, связано с тем, что выявлены преимущества ТЛБА (стентирования) в отношении частоты госпитальных осложнений, меньшей продолжительности пребывания в стационаре, меньшей психологической травмы пациента при отсутствии значительных различий по выживаемости.
Интересно то, что преимущества перед МТ по выживаемости и частоте ИМ получены только для АКШ, но врачи используют эндоваскулярные вмешательства и вместо АКШ, и вместо МТ. Это, вероятно, связано с логическим суждением: «АКШ лучше, чем МТ, ТЛБА (СКА) = АКШ, следовательно, ТЛБА (стентирования) лучше, чем МТ».
Доказательная медицина. Систематические обзоры. Метаанализ (стр. 3 )
 | Из за большого объема этот материал размещен на нескольких страницах: 1 2 3 4 5 6 7 |
Различия между систематическими обзорами и обзорами литературы
Качество обзора и, следовательно, его ценность зависят от использования при его проведении научных методов, снижающих до минимума эти ошибки. Это основное, что отличает традиционные обзоры литературы от систематических обзоров (таблица 7-2.). Если обзор проведен согласно принципам, изложенным в правой колонке таблицы, более вероятно, что он будет систематическим и обеспечит наиболее объективные выводы. Если методы проведения обзора соответствуют приведенным в средней колонке, это скорее обзор литературы; вероятность того, что его выводы основаны на безошибочном объединении всех относящихся к данному вопросу данных, гораздо ниже.
Таблица 7-2.Различия между обзорами литературы и систематическими обзорами
Часто рассматривается широкий спектр вопросов
Часто посвящен определенному клиническому вопросу
Источники данных и стратегия поиска
Источники не всегда указаны, стратегия может быть ошибочной
Источники обычно всеобъемлющи, а стратегия поиска точно изложена
Принцип отбора данных
Не всегда указан, может быть ошибочным
Отбор основан на определенных критериях, применяемых одинаковым образом
Методы оценки данных
Строгие, критические методы оценки
Иногда научно обоснованные
Как правило, научно обоснованные
Возможности и ограничения систематических обзоров
Значение хорошо проведенного систематического обзора для практического врача трудно переоценить. Многие из нас перегружены объемом выпускаемой медицинской литературы и в результате часто предпочитают просматривать обзорные сообщения, а не публикации оригинальных исследований. Обзорные статьи позволяют нам оставаться на уровне современных знаний. Высококачественные систематические обзоры помогают определить границы известного и узнавать обо всех научно доказанных фактах. Отдельные исследования редко дают точные ответы на определенные клинические вопросы, а систематические обзоры могут помочь практическим врачам решать их. Критически анализируя первичные исследования, систематические обзоры помогают также выявить противоречия между результатами различных исследований. Количественно объединяя результаты нескольких небольших исследований, мета-анализ позволяет делать более точные, разносторонние и убедительные выводы. Примером тому служит недавно опубликованный обзор, подчеркнувший благоприятное влияние ограничения белков в пище на прогрессирование заболеваний почек диабетической и иной этиологии. Кроме того, систематический обзор нескольких исследований помогает лучше определить, для каких подгрупп больных применимы полученные результаты.
Систематические обзоры нужны и исследователям, так как позволяют суммировать существующие данные, усовершенствовать гипотезы, определять необходимые размеры выборки для исследования, помогают выработать план будущих исследований. Без этих обзоров исследователи могут пройти мимо многообещающих направлений или изучать уже решенные вопросы. Организаторам здравоохранения обзоры и другие обобщающие публикации необходимы для выработки политики оказания медицинских услуг, обеспечивающей оптимальные результаты при имеющихся ресурсах.
Систематические обзоры могут помочь в решении клинических проблем, но никогда не заменят клинического опыта. Врачи дают рекомендации конкретным больным, основываясь на аналогиях, опыте, логических построениях и теории, равно как и на научно обоснованных результатах исследований. Осведомленность об эффективности какой-либо терапии не заменит знания о том, как использовать ее для лечения конкретных больных. Научно обоснованные рекомендации могут привести к плохим практическим результатам, если применяются некритически или неосознанно. Структура принятия решений в медицине сложна; для этого требуется объединять воедино знания, навыки, морально-этические ценности и научно обоснованные факты при каждой встрече больного с врачом.
Прошлое, настоящее и будущее систематических обзоров
Распространенность обзорных статей быстро изменяется; число ежегодно издаваемых систематических обзоров увеличилось в прошлом десятилетии, по крайней мере в 500 раз. Теперь часто можно встретить несколько систематических обзоров по одним и тем же или близким клиническим вопросам. Например, оценке влияния кальция на артериальное давление были посвящены недавно два мета-анализа, опубликованные в течение одного месяца. Хотя дублирующие друг друга независимые обзоры, в которых получены аналогичные результаты, позволяют относиться к ним с большим доверием, за это приходится расплачиваться сужением возможностей — они могут отвлекать исследователей от проведения необходимых систематических обзоров в других областях. Ситуация может стать еще более сложной, если в нескольких обзорах результаты похожи, а клинические рекомендации различаются; такое случилось с пятью мета-анализами по ведению больных в отделениях интенсивной терапии, изданными в течение 5 лет (причем два из них были опубликованы в одном выпуске одного и того же журнала). Разрешить разногласия между мета-анализами можно, проведя на высоком методологическом уровне новый систематический обзор, в котором будут синтезированы все существующие данные. За прошедшие 10 лет были разработаны методические рекомендации, помогающие критически оценивать и применять обзорные статьи. Схема интерпретации данных оригинальных исследований и создания систематических обзоров с использованием уровней доказательности и степени обоснованности рекомендаций была с успехом использована несколькими группами исследователей. На согласительных конференциях Американской коллегии пульмонологов по предотвращению тромбозов лечебные рекомендации обычно классифицируются согласно степени их научной доказательности — в зависимости от того, основаны ли они на результатах крупных, строгих, рандомизированных исследований, мета-анализов, наблюдательных исследований или на мнении экспертов.
Поиск и анализ доказательной информации
Информационный поиск в области доказательной медицины требует от исследователя соответствующего опыта и использования системного подхода. Для успешного поиска необходимой информации по вопросам доказательной медицины большое значение имеют выбор доступных баз клинических данных (MedLine, Embase, Cochrane Library, Adonis и др.) и разработка адекватной методологии поиска (по ключевым словам или словосочетаниям, именам авторов и т. д.). Но даже при самом тщательном и квалифицированном поиске не всегда удается найти необходимую информацию о проведенных КИ (например, из-за некачественного индексирования или нежелания фирм-спонсоров публиковать отрицательные результаты КИ). Таким образом, данные некоторых необходимых КИ могут быть не охвачены. По этой причине при поиске доказательной информации компьютерный отбор необходимо дополнять другими методами поиска: «ручным» поиском информации о КИ, описание которых отсутствует в электронных базах данных; изучением списков литературы в найденных статьях; запросами исследователям и производителям ЛС.
Международное содружество ученых, названное Кокрановское сотрудничество, создано именно для того, чтобы помочь в подготовке, постоянном обновлении и распространении результатов систематических обзоров по лечебным вмешательствам.
Составление систематических обзоров — весьма трудоемкая работа, требующая совместных усилий исследователей. Кокрановское сотрудничество — наиболее активная организация, созданная с этой целью в 1992 г. Дж. Чалмерсом, в настоящее время насчитывающая около 3000 организаций-участников. Кокрановское Сотрудничество действует в виде сети сообщающихся центров в различных странах. Цель Кокрановского сотрудничества — создать исчерпывающий регистр всех рандомизированных КИ, необходимых для составления систематических обзоров.
Систематический обзор с метаанализом
Систематический обзор может включать количественный синтез результатов отдельных однородных исследований с помощью статистических методов обобщения данных – метаанализа.
Метаанализ (МА, англ. meta-analysis (MA)) – это систематический обзор с количественным синтезом первичных данных (т. е. обобщением результатов нескольких независимых исследований, посвящённых одной тематике) с целью получения суммарных статистических показателей.
Из этого следует, что для метаанализа подходят только те исследования, которые содержат количественные данные, и не просто любые числа, а статистические оценки и/или исходные выборки, к которым можно применять статистические методы обработки данных. Например, исследования, содержащие оценку эффекта какого-либо ЛП, описанную в качественных терминах «лучше / хуже», никоим образом не смогут стать основой для метаанализа, так как в таких терминах статистика не работает. Если же исследования выражают оценку эффекта в виде относительного риска или отношения шансов, то для них можно провести метаанализ по всем правилам этой статистической процедуры [1].
Если систематические обзоры представляют научные доказательства для внедрения результатов исследований в практику и принятия решений, то метаанализ является аналитической частью систематических обзоров.
Считается, что метаанализ является вершиной доказательной пирамиды и Святым Граалем для многих исследователей, выводы которого зачастую воспринимаются как жирная точка в рассматриваемом научном вопросе [2].
Так, постановлением Правительства РФ № 871 «Правила формирования перечней лекарственных препаратов для медицинского применения и минимального ассортимента лекарственных препаратов, необходимых для оказания медицинской помощи» [3], а также согласно Методическим рекомендациям по оценке сравнительной клинической эффективности и безопасности ЛП ФГБУ «ЦЭККМП» Минздрава России [4] безальтернативно предусмотрено присвоение наивысшего (I) уровня доказательности результатов и наивысшего уровня убедительности доказательств (А) метаанализам.
К несомненным преимуществам метаанализа относятся возможность увеличения статистической мощности исследования, а следовательно, точности оценки эффекта анализируемого вмешательства. Это позволяет более чётко, чем при анализе каждого отдельно взятого небольшого клинического исследования, определить категории больных, для которых применимы полученные результаты [5].
В метаанализы принято включать только РКИ. Чаще всего метаанализ используют для оценки клинической эффективности и безопасности ЛП, для этого объединяют результаты двух и более РКИ.
Метаанализы целесообразно выполнять в случаях, когда существует несколько клинических исследований (КИ) одинакового дизайна, посвящённых оценке клинической эффективности и/или безопасности одного и того же ЛП. Результаты этих КИ могут быть однонаправленными (согласованными), но могут и противоречить друг другу (например, в одном исследовании выявлено наличие эффекта изучаемого ЛП, в другом – не выявлено). Кроме того, всегда несколько различается размер выявленного в различных КИ эффекта. В такой ситуации возникает необходимость в обобщённом заключении, и формулирование такого заключения возможно по результатам выполненного метаанализа [6].
Обоснованием для проведения собственного синтеза результатов КИ методом метаанализа является:
Правильно выполненный метаанализ предполагает проверку научной гипотезы, подробное и чёткое изложение применявшихся при метаанализе статистических методов, достаточно подробное изложение и обсуждение результатов анализа, а также вытекающих из него выводов. Подобный подход обеспечивает уменьшение вероятности случайных и систематических ошибок, позволяет говорить об объективности получаемых результатов [5].
Цель метаанализа
Основной целью метаанализа является выявление, изучение и объяснение различий, обусловленных статистической гетерогенностью (неоднородностью) в результатах исследований [5].
Конечной целью метаанализа является, как пра¬вило, представление точечных и интервальных (95 % ДИ) оценок обобщённого эффекта лечения – обычно в форме таких показателей, как:
Основные этапы метаанализа
Критерии включения исследований в метаанализ и исключения из него
Проводится систематический поиск и отбор КИ в соответствии с определёнными ранее их критериями включения и исключения [6]. Правила выполнения систематического поиска литературы подробно описаны в Методических рекомендациях по оценке сравнительной клинической эффективности и безопасности лекарственного препарата ФГБУ «ЦЭККМП» Минздрава России [4].
Необходимо отметить, что в метаанализ могут быть включены не только РКИ, но и исследования другого дизайна, например проспективные сравнительные нерандомизированные КИ [6]. При этом выполнять метаанализ рекомендуется только на основании результатов РКИ, однако допустимым также является выполнение метаанализа на основании результатов исследований другого дизайна (например, сравнительных когортных исследований (англ. cohort study)) [6]. В дальнейшем повествовании мы будем рассматривать только включение РКИ и проведение на их основе метаанализа, поскольку исследования других дизайнов по изучению сравнительной эффективности ЛП неспособны контролировать ошибки и вмешивающиеся факторы, несмотря на все возможные статистические корректировки. Наиболее совершенным методом оценки эффективности ЛП являются РКИ. Однако, пострегистрационные наблюдательные исследования (англ. post-marketing surveillance studies, PMS (ПНИ)), могут применяться вместо РКИ, когда РКИ не нужны (например, вакцинация против оспы; тироксин при гипотиреозе; инсулин при инсулинозависимом диабете), или, когда их проведение невозможно (вмешательства при очень редких заболеваниях, изучение редких и отдалённых побочных эффектов и т. д.). Так же ПНИ называются обсервационными исследованиями (англ. observational studies), где в качестве изучаемого прогностического фактора выступает лекарственный препарат.
Критерии включения исследований в метаанализ и исключения из него должны содержать следующую информацию:
Необходимо отметить, что этап определения круга включаемых в метаанализ исследований часто становится источником систематических ошибок. Качество метаанализа существенно зависит от качества включённых в него исходных исследований и статей, то есть от качества систематического обзора, на основании которого он проводится. К основным проблемам при включении исследований в метаанализ относятся такие, как различия исследований по:
Основное требование к метаанализу – это наличие качественного систематического обзора.
В случае наличия существенной вариабельности в характеристиках популяции пациентов, различных аспектах применения сравниваемых ЛП, а также в том, каким образом оценивается (определяется) изучаемый исход в исследованиях, рассматриваемых для включения в метаанализ, обобщение результатов таких исследований будет являться неправомерным.
При этом очевидно, что при рассмотрении нескольких исследований, изучающих одни и те же ЛП, по одному и тому же исходу, в одной и той же популяции пациентов, будет в той или иной мере присутствовать клиническая гетерогенность (неоднородность). Выполнение метаанализа будет правомерным и не будет приводить к смещению эффекта относительно истинного в том случае, если клиническая гетерогенность включённых в такой метаанализ исследований будет рассмотрена и объяснена как с клинической точки зрения, так и в соответствии с принципами доказательной медицины. Например, в случае если ЛП сравнения в РКИ, рассматриваемых для включения в метаанализ, применяется в различных дозировках, необходимо обосновать, что различие в дозировке не влияет на эффект от применения данного ЛП, что будет являться допущением при выполнении такого метаанализа. Другим примером может являться различный путь введения, оцениваемый в рамках нескольких разных РКИ, рассматриваемых для включения в метаанализ: в случае если в одном РКИ ЛП применяется подкожно, а в другом РКИ – внутримышечно, необходимо обосновать, что различие в пути введения не влияет на эффект от применения данного ЛП, что также будет являться допущением при выполнении метаанализа [6].
Для оценки методологического качества каждого из включённых в метаанализ РКИ используется методика, разработанная ФГБУ «ЦЭККМП» Минздрава России в Методических рекомендациях по проведению сравнительной клинической эффективности и безопасности лекарственного препарата [4] (см. табл. 1 и 2).
Таблица 1. Оценка методологического качества клинических исследования [4]
Название домена / критерии оценки
Риск систематической ошибки*
/ балл по шкале** / усиление /
Обоснование для вынесения оценки
Заключение о методологическом качестве исследования
Высокое / удовлетворительное / низкое (подчеркнуть)
Примечания: * Для рандомизированных контролируемых исследований. ** Для метаанализов. *** Для непрямых или смешанных сравнений, сетевых метаанализов
Таблица 2. Методологическое качество включённых в систематический обзор исследований [4]
(высокое / удовлетворительное / низкое)
РКИ 1 (1-й автор, год [ссылка])
РКИ 2 (1-й автор, год [ссылка])
РКИ 3 (1-й автор, год [ссылка])
Примечания: МА – метаанализ; РКИ – рандомизированное контролируемое исследование.
* s/S – количество баллов, набранных исследованием / максимальное количество баллов согласно использованной методике оценки методологического качества в зависимости от дизайна исследования (кроме РКИ). ** Для РКИ приводится число доменов с низким, неопределённым и высоким уровнем риска возникновения систематической ошибки
Статистическая обработка данных в метаанализе
Метаанализ – это прекрасный способ наломать дров. Он является сложной математико-статистической процедурой. Его выполнение требует наличия в исследовательской группе квалифицированного биостатистика, имеющего опыт проведения подобных исследований. Поэтому если вы не владеете математическим складом ума, то, не вдаваясь в формулы этого параграфа, вы можете перейти к следующему и воспользоваться услугами метааналитиков.
Однако понимание принципов проведения метаанализа более важно, чем знание деталей конкретных статистических методов анализа.
Анализ объединённых данных с помощью статистических методов. При проведении метаанализа можно пользоваться разнообразными статистическими методами, в каждом случае их выбор определяется типом анализируемых данных (бинарные или непрерывные) и типом модели (фиксированных или случайных эффектов).
В качестве обобщённой величины эффекта лечения при наличии бинарных данных (например, частота достижения ответа на терапию, частота возникновения нежелательного явления и прочего) обычно используются отношения шансов (ОШ) или относительный риск (ОР) в сопоставляемых выборках. Все перечисленные показатели характеризуют эффект вмешательств. Представление бинарных данных в виде ОШ удобно использовать при статистическом анализе, но этот показатель достаточно трудно интерпретировать клинически.
Непрерывными данными (например, средняя продолжительность госпитализации, средняя продолжительность симптомов и прочего) обычно являются диапазоны значений изучаемых признаков или нестандартизованная разница взвешенных средних в группах сравнения, если исходы оценивались во всех исследованиях одинаковым образом. Если же исходы оценивались по-разному (например, по разным шкалам), то используется разность средних (РС) в сравниваемых группах.
Что необходимо сделать? Выбрать статистику (ОШ, или ОР, или РС); из каждой статьи получить необходимую статистику; рассчитать интегральный показатель – обобщённую величину эффекта.
Что делать, если в статье не приведена подобная статистика? Можно рассчитать необходимую статистику на основе имеющихся данных, приведённых в исследовании; ОШ можно рассчитать на основе таблиц сопряжённости хи-квадрат (χ 2 ). Этот критерий базируется на оценке соотношения ожидаемых и наблюдаемых частот в таблице. При этом очень важно оценить статистическую значимость выявленной связи. Делается это с помощью расчёта границ ДИ. И наконец, можно связаться с авторами публикации.
Оценка гетерогенности. От проведённой оценки статистической гетерогенности (неоднородности) результатов исследований, включённых в метаанализ, зависит выбор математической модели, по которой будет выполнен метаанализ. Статистическая гетерогенность оценивается с помощью критерия χ 2 с нулевой гипотезой о равном эффекте во всех включённых в метаанализ исследованиях; также рассчитывается индекс гетерогенности (I 2 ) [6].
Источниками статистической гетерогенности эффекта лечения в разных исследованиях принято считать дисперсию внутри исследований (обусловленную случайными отклонениями результатов разных исследований от единого истинного фиксированного значения эффекта), а также дисперсию между исследованиями (обусловленную различиями между изучаемыми выборками по характеристикам больных, заболеваний, вмешательств, приводящими к несколько разным значениям эффекта, – случайными эффектами).
Основные позиции, различие по которым порождает гетерогенность, следующие [1]:
Для оценки гомогенности (ꜜQ) и гетерогенности (ꜛQ) применяется Q-статистика, или «межвыборочная» варианса эффекта, или Cochrane Q-test, которая применяет тест χ 2 с нулевой гипотезой о равном эффекте во всех исследованиях и с уровнем значимости р = 0,1, для повышения статистической мощности (чувствительности) теста бо́льшим, чем традиционное значение 0,05 [6]. Таким образом:
wi – вес i-го исследования;
ESi – величина эффекта в i-м исследовании;
(ES) ̅ – средневзвешенный размер эффекта по рассматриваемым исследованиям (обобщённая величина эффекта).
Необходимо отметить, что p ≥ 0,10 не означает, что статистическая гетерогенность полностью отсутствует [6].
Q – гетерогенность (статистика χ 2 );
k – количество исследований.
Чем меньше индекс гетерогенности I 2 в процентах, тем ниже гетерогенность, тем более однородны данные объединённой выборки и, следовательно, более точна и достоверна оценка эффекта, полученная в результате метаанализа [1]. В рекомендациях ФГБУ «ЦЭККМП» Минздрава России по метаанализу индекс гетерогенности I 2 > 40 % обозначает наличие статистической гетерогенности [6], поэтому для обобщения результатов рекомендуется использовать:
Модель фиксированного эффекта (постоянного; англ. fixed-effects model) при низкой гетерогенности предполагает, что значение исследуемого эффекта не может варьировать и должно равняться определённому числу, то есть эффект всегда должен быть одним и тем же, независимо от обстоятельств и условий проведения исследований. В этом случае изучаемое лечение во всех исследованиях имеет одну и ту же эффективность, а выявляемые различия между исследованиями обусловлены только дисперсией внутри исследований [1]. Для этой модели используется метод Мантела – Ханзела (Mantel – Haenszel).
Что же делать, если гетерогенность высокая? В этом случае метаанализ проводится на основе модели со случайным эффектом (англ. random-effects model) – методами ДерСимонян (DerSimonian Rebecca) и Лэйрд (Laird Nan) [8].
При модели со случайным эффектом мы предполагаем a priori возможность некоторой вариации числового значения эффекта вокруг определённого числа, иными словами, мы допускаем заранее, что величина эффекта может немного отличаться в различных условиях эксперимента. То есть эффективность изучаемого лечения в разных исследованиях может варьировать. Данная модель учитывает дисперсию не только внутри одного исследования, но и между разными исследованиями; в этом случае суммируются дисперсии внутри исследований и дисперсия между исследованиями [1].
Проведение собственно метаанализа, то есть получение обобщённой точечной величины эффекта и её доверительного интервала:
Метаанализ РКИ по исходам, основанным на бинарных данных, выполняется с использованием информации о количестве пациентов с альтернативными значениями оцениваемого исхода в каждой из групп сравнения (n1, n2 и так далее) и общем количестве пациентов в каждой группе сравнения (N1 и N2 и так далее). В качестве обобщённой меры исхода используется ОР или ОШ – в зависимости от оцениваемого исхода (критерия эффективности или безопасности) [6].
Метаанализ РКИ по исходам, основанным на непрерывных данных, выполняется с использованием информации о средних значениях, их среднеквадратичного отклонения (СКО, англ. standard deviation (SD)) в каждой из групп сравнения и общем количестве пациентов в соответствующих группах сравнения, во всех включённых в метаанализ РКИ. В качестве обобщённой меры исхода используется разность средних (РС, англ. mean difference (ΔMD)) или стандартизованная РС (на усмотрение исследователя) [6].
Следует отметить, что метаанализ РКИ по исходам, основанным на непрерывных данных, возможен только при условии нормального распределения изучаемого признака в каждой из групп сравнения во всех включённых РКИ, поскольку расчёт средних применяется только для признаков с нормальным распределением [6].
В случае если в тексте публикации о РКИ не доступна информация ни о СКО, ни о стандартной ошибке среднего, выполнение метаанализа с использованием данного РКИ будет невозможным [6].
Следует также отметить, что в случае, если необходимо выполнить обобщение результатов РКИ, представленных в виде РС (например, РС значений показателя до и после лечения в каждой из групп сравнения), выполнение метаанализа по данному исходу не рекомендуется, поскольку в таком случае также будет вычислена разность между двумя РС, то есть выполнено двойное вычитание. Данное обстоятельство может привести к ложному выявлению эффекта за счёт дополнительных математических действий. В таком случае рекомендуется провести сравнение групп лечения в каждом РКИ отдельно на основании доверительного интервала для РС без обобщения результатов в метаанализе [6].
Как выявить публикационное смещение в совокупности работ, охваченных метаанализом? Существует публикационное смещение, связанное с преимущественным опубликованием положительных результатов исследования (исследования, в которых получены статистически значимые результаты, чаще публикуются, чем те, в которых такие результаты не получены).
Публикационное смещение (англ. publication bias) – систематическая ошибка, возникающая вследствие тенденции редакторов (и авторов) публиковать статьи, содержащие положительные данные, особенно «новые» результаты, по сравнению с отчётами, которые не представляют «значительных» результатов, т. е. соответствующих ранее опубликованным данным.
Публикационное смещение может исказить представление, например, о взаимосвязях, эффективности схем лечения и может быть важным источником ошибки при метаанализе.
Поскольку метаанализ основан на опубликованных данных, следует обращать особое внимание на недостаточную репрезентативность отрицательных результатов в литературе. Включение в метаанализ неопубликованных результатов также представляет значительную проблему, так как их качество неизвестно в связи с тем, что они не проходили рецензирование [5].
Публикационное смещение – результат авторских предрассудков и редакторских предпочтений.
Для качественной оценки наличия такой систематической ошибки метаанализа, как публикационное смещение, обычно прибегают к построению воронкообразной диаграммы рассеяния (англ. funnel plot) результатов отдельных исследований в координатах «величина эффекта – размер выборки» (рис. 1). При полном выявлении исследований эта диаграмма должна быть симметричной [5].
Публикационное смещение необходимо оценивать только при наличии определённого количества исследований, включённых в метаанализ [6]:
Рис. 1. Пример воронкообразной диаграммы рассеяния
Оценка публикационного смещения с помощью воронкообразной диаграммы рассеяния является субъективной и должна интерпретироваться с осторожностью. В случае наличия асимметричности расположения исследований в воронкообразной диаграмме рассеяния потенциальные объяснения присутствующего публикационного смещения должны быть рассмотрены и обсуждены [6].
Анализ чувствительности. После получения обобщённой оценки эффекта необходимо определить устойчивость его величины путём проведения анализа чувствительности. В зависимости от конкретной ситуации его можно проводить на основе нескольких различных методов:
Если величина эффекта того или иного анализируемого вмешательства при анализе чувствительности существенно не изменяется, то имеются основания полагать, что выводы первичного метаанализа достаточно обоснованы.
Выводы метаанализа формируются с учётом определённых ранее критериев включения и исключения исследований. Также выводы необходимо формировать отдельно для каждого исхода, по которому проводилась оценка сравнительной клинической эффективности или безопасности ЛП с помощью метаанализа. Следует отметить, что методологическая гетерогенность исследований, включённых в метаанализ, должна быть обсуждена и учтена при формулировании его выводов [6].
Результаты метаанализа обычно представляются в виде точечной оценки эффекта и его 95 % ДИ в графическом виде (форест-диаграмма) с указанием названий групп сравнения и анализируемого исхода (см. рис. 2) и с результатами оценки [6]:
Результаты отдельных исследований, включённых в метаанализ, информация о результатах оценки статистической гетерогенности, непосредственно результаты выполненного метаанализа также могут быть представлены в текстовом и/или табличном виде в дополнение к форест-диаграмме. В случае отсутствия форест-диаграммы данная информация должна быть представлена в табличном и/или текстовом виде в обязательном порядке [6].
Интерпретация результатов метаанализов
Для того чтобы выводы метаанализа воспринимались легче и нагляднее, Кокрейновское общество разработало стандарт графического изображения результатов метаанализа. Иногда отчёт по метаанализу на 90 % состоит именно из этого специфического вида диаграмм. Они аккумулируют в себе всю информацию, необходимую для оценки адекватности проведённого исследования с точки зрения стратегии поиска статей, методов обработки данных, гетерогенности выборки, статистической и клинической значимости полученных результатов. Чтобы быстро и эффективно ориентироваться в графическом портрете метаанализа, необходимо знать, какая информация содержится в тех или иных кратких обозначениях и как её интерпретировать [1]. На рис. 2 показан пример такого графика, на нём мы и рассмотрим все важнейшие детали, которые отражают суть проведённого исследования.
Форест-диаграмма результатов метаанализа представляет собой сжатый отчёт о проведённом аналитическом количественном исследовании и наглядно демонстрирует все основные результаты, полученные в ходе этой работы.
Несколько строк в верхней части диаграммы (рис. 2 – А) полностью описывают ту популяцию, на которой проводились отобранные для метаанализа исследования. Кроме того, там же указан фактор воздействия (лечение или фактор риска) для группы исследования, а также вид контроля (активный или плацебо) для группы сравнения. В самой нижней строке этого блока указывается конечная точка исследования – исход, частота которого регистрируется как в группе исследования, так и в группе контроля [1].
Рис. 2. Пример построения и интерпретация форест-диаграммы [1]
Далее на всём поле диаграммы чётко просматриваются шесть колонок (рис. 2 – Б): название исследования, объём выборки и количество изучаемых исходов в группе исследования, те же параметры в группе сравнения, собственно форест-диаграмма, относительный вес (в %) каждого из исследований, включённых в метаанализ, и числовое выражение эффекта (в данном примере – это относительный риск (ОР)) вместе с его 95 % ДИ, полученное в каждом исходном исследовании. Как правило, порядок следования и количество колонок на таких форест-диаграммах остаётся неизменным. Иногда могут быть опущены данные по контрольной группе, но заголовки над колонками (рис. 2 – Б) всегда подскажут, к какой группе относятся данные, расположенные ниже [1].
Центральной фигурой во всей диаграмме является, конечно, сама форест-диаграмма (рис. 2 – В). Такого рода графики широко используются для наглядного изображения эффекта, выраженного в терминах относительного риска (как в данном примере) или отношения шансов с их доверительными интервалами. Слева отмечаются названия исследований, включённых в метаанализ (рис. 2 – Г). Вертикальная ось (вертикальный визир) такого графика не является числовой и поэтому не градуируется [1].
Горизонтальная ось часто является логарифмической (рис. 2 – Д), то есть равные расстояния между отмеченными числами не означают равенство разностей между соседними значениями. На уровне значения, равного 1 (единицы), проведена вертикальная черта, означающая нулевой эффект – лечение не оказывает влияния на исход. Все значения эффекта, которые находятся слева от неё ( 1) располагаются его значения, указывающие, что в группе исследования частота больше, чем в группе сравнения (лечение повышает вероятность неблагоприятного исхода) [1].
В правой колонке весов (англ. weight (w)) стоит значение в процентах, а рядом значение общего эффекта вместе с его доверительным интервалом (рис. 2 – Е) [1].
Рядом с каждым исходным исследованием на соответствующей высоте находится квадрат, сопровождаемый горизонтальными линиями, протянутыми влево и вправо от него. Это графическое отображение величины эффекта (в этом примере относительный риск), полученное в данном исследовании. Размер квадрата пропорционален объёму выборки. Квадрат указывает на число, которому равен эффект, а линии отображают протяжённость его доверительного интервала (чем короче линия, тем надёжней результат) [1].
Если линия пересекает вертикальный визир нулевого эффекта слева или справа, это означает, что полученная величина эффекта статистически недостоверна, то есть её отличие от нулевого эффекта может быть случайностью, обусловленной особенностями выборки, но не объективными свойствами изучаемого процесса. Если линия доверительного интервала не имеет пересечения с вертикальным визиром нулевого эффекта, то величина эффекта статистически достоверно отлична от нуля и не может быть объяснена случайностью. Размер квадрата указывает на относительный вес соответствующего исследования среди всех включённых в метаанализ работ. Результаты большего по мощности исследования изображаются бо́льшим квадратом [1].
Самая нижняя фигура на графике – ромб требует отдельного пояснения (рис. 2 – Е). Ромбом обозначается оценка эффекта (среднее значение эффекта, англ. effect size (ES)), рассчитанная по общей выборке всех исходных исследований. Вертикальные вершины ромба расположены на отметке, равной значению общего эффекта, а боковые вершины отмечают границы доверительного интервала оценки. Поскольку общая выборка всегда существенно больше выборки любого исходного исследования, то длина горизонтальной диагонали ромба всегда достаточно мала, следовательно, точность общей оценки, полученной в результате метаанализа, всегда значительно выше, чем в любом из исходных исследований, и это видно непосредственно на графике. Чёткое расположение ромба с левой стороны от вертикального визира нулевого эффекта указывает на то, что данный вид лечения является эффективным. Если ромб не пересекает вертикальную ось нулевого эффекта, это значит, что общая оценка эффекта статистически достоверна, в противном случае величину эффекта нельзя считать действительно отличной от 1 (то есть отсутствие эффекта), даже если она в точности не равна единице. На статистическую достоверность также указывает и p-значение в самой нижней строке под графиком (рис. 2 – Ж) [1].
Как правило, в систематических обзорах рассчитывается специальная статистика Z и печатается её значение, а рядом с ней указывается р-значение, которое соответствует полученной статистике Z и объёму выборки. Мы не будем сейчас заострять внимание на том, как рассчитывается эта Z и как по ней определять ошибку. Отметим лишь, что если р > 0,05 (ошибка указывается в единицах вероятности, а не в процентах), то общий эффект можно считать недостоверным и график это немедленно подтвердит: вы увидите, что ромб пересекается с вертикальной линией нулевого эффекта. Едва заметное пересечение или полное его отсутствие всегда отражает p 2 (описание градации гетерогенности см. выше) [1].
Модель, на основе которой сделан метаанализ, обязательно должна быть указана в заголовке той колонки, где размещён сам график (рис. 2 – Б), а также в последнем столбце, где отражены численные значения эффекта, полученные в каждом исследовании (в данном примере это относительный риск). Если там находится термин «fixed», то использована модель с фиксированным эффектом (постоянным), если «random» – модель со случайным эффектом [1].
Ограниченность метаанализа
Несмотря на все достоинства, метаанализ может содержать ложные выводы и ошибки. Так, поиск на PubMed по запросу «review OR meta-analysis» выдаёт в большинстве случаев несистематические обзоры. В целом количество обзоров будет, по меньшей мере, в десяток раз превосходить число статей. Судя по их огромному количеству, несистематические обзоры остаются одним из наиболее популярных и весомых способов засорения научной литературы [2].
Метаанализ был бы прекрасной идеей, если бы доступная информация по любому вопросу была представлена случайной выборкой из огромной вселенной потенциальной информации, которая могла бы быть собрана с использованием объективных методов и несмещённых измерений. В таком случае можно было бы ожидать существенную неопределённость в оценке эффекта при появлении первых данных, но неопределённость снижалась бы с появлением дополнительной информации, а точечная оценка эффекта оставалась бы непредвзятой на протяжении всего исследования. То же было бы применимо и к влиянию потенциальных модифицирующих факторов. Однако есть существенные подтверждения тому, что в некоторых метаанализах величина эффекта с течением времени снижается [2].
Примерно четверть эффектов, представленных в самых цитируемых РКИ, опровергнуты или признаны преувеличенными (более чем в два раза) в сравнении с эффектами, просматриваемыми в гораздо более крупных испытаниях, проведённых в течение десятилетия [2].
Важно отметить, что в большинстве случаев обнаружения таких крупных противоречий в ранних РКИ метаанализы редко служили инструментом для влияния на общественное и экспертное мнение, хотя могли бы играть эту роль куда чаще. Обычно это было привилегией отдельных крупных и хорошо организованных РКИ. Как только происходило опровержение, тут же появлялись метаанализы. В некотором смысле, метаанализы каждый раз следовали веяниям моды. В тех редких случаях, когда метаанализы смели подвергнуть сомнению превалирующее мнение, например в случае эффективности рентгеновской маммографии или безопасности росиглитазона, метааналитики навлекали на себя бурную и даже гневную реакцию научного сообщества и фармацевтических корпораций. Метаанализ охотно принимают, когда он не подвергает сомнению экспертное мнение или общественную политику, и он получает одобрение, когда подтверждает экспертное мнение. Метаанализ, который ставит под сомнение общепринятое экспертное мнение, часто считают ересью [2].
Конечно, многие метаанализы не демонстрируют снижения эффекта со временем, величина эффекта может оставаться постоянной и даже увеличиваться. Это может говорить о наличии реальных эффектов. Однако нужно исключить ещё одну альтернативу: публикационное смещение может быть настолько большим, что оно даже не позволяет возникнуть опровержению. В таких случаях литература кристаллизируется вокруг ложных утверждений, так как метаанализ несёт в себе систематические ошибки всех тех фрагментов данных, из которых он состоит. Это привело к тому, что противники метаанализа бесцеремонно называют его «мусор на входе – мусор на выходе» [2].
Помните, что, проводя метаанализ, мы просто ведём поиски под уличным фонарём, ограниченные тем, что сделали другие [J. Ioannidis, 2010 г.].
Самой обсуждаемой проблемой стало публикационное смещение. Почему-то главным поводом для беспокойства в литературе стало то, что существуют неизвестные исследования, но они пропадают в ящике стола. Хотя эта проблема более распространена, чем несуществующие исследования, которые тем не менее попадаются на глаза (фабрикации, явная фальсификация), публикационное смещение для целых исследований – не самая большая проблема [2].
Критерии включения и исключения – это волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения метаанализа. Разные данные, анализы и интерпретации дают возможность прийти к любому желаемому заключению [J. Ioannidis, 2010 г.].
Выборочное представление и выборочный анализ отдельных данных являются самой большой и сложно обнаруживаемой проблемой, вызывающей тревогу. Выборочное представление результатов, которое реализуется через сокрытие информации об отдельных результатах, схоже с публикационным смещением в том, что «отрицательные» результаты могут быть не опубликованы. Представление результатов выборочного анализа может ещё чаще встречаться. Оно заключается в том, что результаты, которые должны были оказаться «отрицательными» согласно точному, заранее определённому плану статистического анализа (если он вообще существовал), анализируют таким образом, что они становятся «положительными». Между этими видами недобросовестного обращения с данными существует континуум, так как часть анализа подразумевает определение и обработку конечной информации [2].
Оценка методологического качества систематических обзоров и метаанализов
В настоящее время разработаны валидизированные инструменты-вопросники для оценки методологического качества систематических обзоров и метаанализов, такие как AMSTAR (A MeaSurement Tool to Assess Reviews – Измерительный инструмент для оценки обзоров) [9]. Система AMSTAR (см. табл. 3) оценивает систематические обзоры по 11 критериям. Каждому из критериев присваивается оценка «да» (было выполнено), «нет» (не было выполнено) или «неясно». За оценку «да» присваивается 1 балл и 0 баллов за оценки «нет» и «неясно». Уровень «а» (систематические обзоры высокого методологического качества) присваивается при количестве баллов 8–11; уровень «b» (среднего качества) при количестве баллов 4–7; уровень «с» (низкого качества) при количестве баллов 0–3 [4].
Таблица 3. Критерии оценки методологического качества систематических обзоров и метаанализов на основе опросника AMSTAR [9]
1. Был ли дизайн исследования заявлен заранее?
Цель работы (в форме клинического вопроса) и критерии включения исследований были определены в Протоколе или Плане систематического обзора заранее (например, в обзорах с доступным Протоколом или в обзорах в рамках научно-исследовательской программы)
Авторы указали на отсутствие Протокола
2. Были ли отбор исследований и/или извлечение данных выполнены независимо двумя исследователями?
Было выполнено хотя бы одно из следующих условий:
— как минимум два исследователя независимо друг от друга выполнили отбор работ; описан способ достижения консенсуса в случае возникновения разногласий;
— как минимум два исследователя независимо друг от друга выполнили извлечение данных;
— описан способ достижения консенсуса в случае возникновения разногласий
Авторы указали, что каждая из процедур (отбор исследований и извлечение данных) была выполнена одним исследователем
3. Был ли поиск литературных источников исчерпывающим?
Были выполнены два условия:
2) для поиска использовались дополнительные источники информации – оглавления журналов, обзоры, учебная литература, специализированные регистры, библиографические перечни из уже включённых исследований, консультации с профильными экспертами
Имело место хотя бы одно из следующих обстоятельств:
— для поиска была использована только одна электронная база данных;
— не были использованы дополнительные источники информации
Нет информации, или приводится неполная информация (например, указаны базы данных, но не указаны ключевые слова и период поиска)
4. Был ли тип или язык публикации использован в качестве критерия отбора исследований?
Авторы искали отчёты об исследованиях независимо от типа публикации (поиск осуществлялся в том числе и в «серой» литературе – неопубликованных отчётах, препринтах, рабочих материалах и др.) или языка публикации
Авторы указали, что исключали исследования на основании типа или языка публикации