В исследовании редко проверяют одну гипотезу: чаще это несколько конечных точек, доз или популяций. А чем больше проверок, тем выше шанс «обнаружить» эффект, которого на самом деле нет. Иерархическое тестирование — один из стандартных способов этому помешать.
Что это такое
Hierarchical statistical testing (иерархическое статистическое тестирование) — подход к анализу множественных гипотез, при котором проверки выполняются в заранее установленной последовательности. Последовательность определена в протоколе исследования и/или статистическом плане анализа (SAP) [1, 2]. К следующей гипотезе переходят, только если значимость достигнута на предыдущей.
Какую проблему оно решает
Это проблема multiplicity: с каждой новой проверкой растёт вероятность ошибки I рода — ложноположительного вывода [1]. При пяти независимых проверках на уровне α = 0,05 и отсутствии истинных эффектов шанс получить хотя бы одну «значимую» находку — около 23%, при десяти — около 40%.
Иерархическое тестирование упорядочивает проверки и удерживает под контролем вероятность хотя бы одной такой ошибки (family-wise error rate, FWER) [1–4].
Как это работает
flowchart TB
START(["Множественные гипотезы<br/>проблема multiplicity"])
H1("H1<br/>первичная конечная точка<br/>p ≤ 0,05?")
H2("H2<br/>вторичная конечная точка<br/>p ≤ 0,05?")
H3("H3<br/>дополнительная точка<br/>p ≤ 0,05?")
OK(["Все гипотезы подтверждены<br/>FWER контролируется<br/>на уровне α"])
STOP["СТОП<br/>confirmatory-выводы<br/>дальше не поддержаны"]
START --> H1
H1 -- да --> H2
H2 -- да --> H3
H3 -- да --> OK
H1 -. нет .-> STOP
H2 -. нет .-> STOP
H3 -. нет .-> STOP
classDef start fill:#f3efe9,stroke:#8a7f72,color:#3f3a33
classDef hyp fill:#ede9fe,stroke:#7c3aed,color:#3b0764
classDef ok fill:#dcfce7,stroke:#16a34a,color:#14532d
classDef stop fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
class START start
class H1,H2,H3 hyp
class OK ok
class STOP stop
- гипотезы выстроены в заранее заданном порядке;
- первая проверяется на заданном уровне значимости (например, α = 0,05);
- при значимости — переход к следующей;
- при отсутствии значимости дальнейшие confirmatory-выводы по иерархии не поддерживаются.
Это подход с фиксированной последовательностью (fixed-sequence) — самая распространённая форма иерархического тестирования. Его удобство в том, что уровень α не нужно делить между проверками: каждая идёт на полном уровне, а FWER остаётся под контролем [1, 2].
Как это выглядит на практике
Порядок и условия перехода между этапами фиксируют в протоколе и/или SAP до начала анализа. Типичная структура:
первичные конечные точки → ключевые вторичные → дополнительные гипотезы
Подход применяют при анализе нескольких конечных точек, сравнении нескольких доз, анализе разных популяций (например, ITT и подгрупп) и при нескольких ключевых сравнениях в одном исследовании.
Более сложные стратегии — например, gatekeeping или перераспределение α между гипотезами — удобно описывать графически [4]. Они тоже должны быть заданы заранее [2].
Что это даёт:
- приоритеты между конечными точками заданы заранее и согласованы с клинической логикой;
- confirmatory- и exploratory-анализы разграничены;
- риск ложноположительных результатов ограничен, а достоверность confirmatory-выводов выше;
- стратегия анализа приемлема для регуляторов.
Типичные ошибки интерпретации
Контроль ошибки I рода работает только при строгом соблюдении заданной последовательности. Если неуспешный тест проигнорировать, проблема множественности возвращается [1]. Чаще всего встречаются:
- интерпретация вторичных конечных точек как подтверждающих при отсутствии значимости по первичным — мы разбирали это на примере исследований ELITE I и ELITE II;
- игнорирование правила остановки после первой неуспешной проверки;
- представление исследовательских (exploratory) результатов как confirmatory (утверждённых в SAP);
- изменение последовательности тестирования post hoc (ретроспективно);
- отсутствие явного разграничения confirmatory и exploratory анализов.
Критический момент. Если первичная конечная точка не достигла статистической значимости, последующие гипотезы нельзя считать подтверждающими [1, 2]. Результаты по ним могут иметь только exploratory (гипотезогенерирующий) характер, и интерпретировать их нужно осторожно.
Те же нарушения часто маскируются:
- акцентом на «положительных» вторичных исходах;
- интерпретацией подгрупповых анализов без предспецификации;
- смещением фокуса с первичных конечных точек на вторичные;
- отсутствием явного указания на структуру иерархического тестирования.
В итоге это ведёт к переоценке эффективности вмешательства, искажению доказательной базы и потенциально некорректным клиническим решениям.
Что проверить при чтении исследования
- какая первичная конечная точка в исследовании и достигнута ли по ней значимость;
- описан ли порядок тестирования в протоколе или SAP и задан ли он заранее;
- соответствует ли порядок заявленным конечным точкам и клинической логике;
- соблюдена ли последовательность тестирования;
- корректно ли интерпретированы результаты, в том числе после неуспешных тестов;
- различает ли текст confirmatory и exploratory выводы.
Главное
Иерархическое тестирование — один из стандартных подходов к контролю multiplicity в confirmatory-исследованиях [1, 2]. Его стоит рассматривать как элемент дизайна исследования, а не только как технический этап анализа.
Даже при корректной стратегии результаты по вторичным конечным точкам могут быть клинически значимыми. Но читать их нужно с учётом ограничений, которые накладывают multiplicity и порядок тестирования.
Термины
- Confirmatory analysis — заранее спланированный в SAP анализ.
- Exploratory analysis — поисковый, гипотезогенерирующий анализ. Заранее может быть не прописан в SAP, может выполняться ретроспективно (post hoc).
- Multiplicity (множественность) — ситуация, когда в одном исследовании выполняется несколько проверок гипотез. С каждой новой проверкой растёт вероятность хотя бы одного ложноположительного вывода. Для контроля используют иерархическое тестирование, поправку Бонферрони и другие методы, удерживая суммарную ошибку на уровне ≤ 0,05.
- FWER (family-wise error rate) — вероятность допустить хотя бы одну ошибку I рода среди всех проверок в семействе гипотез.
Все материалы по конечным точкам собраны в сводном посте.
Черновик материала создан при участии нейросетей (ChatGPT, Deepseek, Claude). Окончательная редакция, проверка фактов и экспертная оценка выполнены командой ННАДМ.
Источники
- FDA. Multiple Endpoints in Clinical Trials: Guidance for Industry. October 2022.
- EMA. Points to Consider on Multiplicity Issues in Clinical Trials (CPMP/EWP/908/99). 2002.
- Nicholson KJ, et al. The Role of Family-wise Error Rate in Determining Statistical Significance. Clin Spine Surg. 2022;35(5):222–223. DOI: 10.1097/BSD.0000000000001287. PMID: 34907926.
- Bretz F, et al. A graphical approach to sequentially rejective multiple test procedures. Stat Med. 2009;28(4):586–604. DOI: 10.1002/sim.3495. PMID: 19051220.
Автор поста: Навасардян Артур Рубенович, к.м.н, директор АНО Независимой Национальной Академии Доказательной медицины, старший преподаватель кафедры «Клинической эпидемиологии и доказательной медицины» ФГБУ «НМИЦ ТПМ» Минздрава России