В исследовании редко проверяют одну гипотезу: чаще это несколько конечных точек, доз или популяций. А чем больше проверок, тем выше шанс «обнаружить» эффект, которого на самом деле нет. Иерархическое тестирование — один из стандартных способов этому помешать.

Что это такое

Hierarchical statistical testing (иерархическое статистическое тестирование) — подход к анализу множественных гипотез, при котором проверки выполняются в заранее установленной последовательности. Последовательность определена в протоколе исследования и/или статистическом плане анализа (SAP) [1, 2]. К следующей гипотезе переходят, только если значимость достигнута на предыдущей.

Какую проблему оно решает

Это проблема multiplicity: с каждой новой проверкой растёт вероятность ошибки I рода — ложноположительного вывода [1]. При пяти независимых проверках на уровне α = 0,05 и отсутствии истинных эффектов шанс получить хотя бы одну «значимую» находку — около 23%, при десяти — около 40%.

Иерархическое тестирование упорядочивает проверки и удерживает под контролем вероятность хотя бы одной такой ошибки (family-wise error rate, FWER) [1–4].

Как это работает

flowchart TB
    START(["Множественные гипотезы<br/>проблема multiplicity"])
    H1("H1<br/>первичная конечная точка<br/>p ≤ 0,05?")
    H2("H2<br/>вторичная конечная точка<br/>p ≤ 0,05?")
    H3("H3<br/>дополнительная точка<br/>p ≤ 0,05?")
    OK(["Все гипотезы подтверждены<br/>FWER контролируется<br/>на уровне α"])
    STOP["СТОП<br/>confirmatory-выводы<br/>дальше не поддержаны"]

    START --> H1
    H1 -- да --> H2
    H2 -- да --> H3
    H3 -- да --> OK
    H1 -. нет .-> STOP
    H2 -. нет .-> STOP
    H3 -. нет .-> STOP

    classDef start fill:#f3efe9,stroke:#8a7f72,color:#3f3a33
    classDef hyp fill:#ede9fe,stroke:#7c3aed,color:#3b0764
    classDef ok fill:#dcfce7,stroke:#16a34a,color:#14532d
    classDef stop fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
    class START start
    class H1,H2,H3 hyp
    class OK ok
    class STOP stop
  • гипотезы выстроены в заранее заданном порядке;
  • первая проверяется на заданном уровне значимости (например, α = 0,05);
  • при значимости — переход к следующей;
  • при отсутствии значимости дальнейшие confirmatory-выводы по иерархии не поддерживаются.

Это подход с фиксированной последовательностью (fixed-sequence) — самая распространённая форма иерархического тестирования. Его удобство в том, что уровень α не нужно делить между проверками: каждая идёт на полном уровне, а FWER остаётся под контролем [1, 2].

Как это выглядит на практике

Порядок и условия перехода между этапами фиксируют в протоколе и/или SAP до начала анализа. Типичная структура:

первичные конечные точки → ключевые вторичные → дополнительные гипотезы

Подход применяют при анализе нескольких конечных точек, сравнении нескольких доз, анализе разных популяций (например, ITT и подгрупп) и при нескольких ключевых сравнениях в одном исследовании.

Более сложные стратегии — например, gatekeeping или перераспределение α между гипотезами — удобно описывать графически [4]. Они тоже должны быть заданы заранее [2].

Что это даёт:

  • приоритеты между конечными точками заданы заранее и согласованы с клинической логикой;
  • confirmatory- и exploratory-анализы разграничены;
  • риск ложноположительных результатов ограничен, а достоверность confirmatory-выводов выше;
  • стратегия анализа приемлема для регуляторов.

Типичные ошибки интерпретации

Контроль ошибки I рода работает только при строгом соблюдении заданной последовательности. Если неуспешный тест проигнорировать, проблема множественности возвращается [1]. Чаще всего встречаются:

  • интерпретация вторичных конечных точек как подтверждающих при отсутствии значимости по первичным — мы разбирали это на примере исследований ELITE I и ELITE II;
  • игнорирование правила остановки после первой неуспешной проверки;
  • представление исследовательских (exploratory) результатов как confirmatory (утверждённых в SAP);
  • изменение последовательности тестирования post hoc (ретроспективно);
  • отсутствие явного разграничения confirmatory и exploratory анализов.

Критический момент. Если первичная конечная точка не достигла статистической значимости, последующие гипотезы нельзя считать подтверждающими [1, 2]. Результаты по ним могут иметь только exploratory (гипотезогенерирующий) характер, и интерпретировать их нужно осторожно.

Те же нарушения часто маскируются:

  • акцентом на «положительных» вторичных исходах;
  • интерпретацией подгрупповых анализов без предспецификации;
  • смещением фокуса с первичных конечных точек на вторичные;
  • отсутствием явного указания на структуру иерархического тестирования.

В итоге это ведёт к переоценке эффективности вмешательства, искажению доказательной базы и потенциально некорректным клиническим решениям.

Что проверить при чтении исследования

  • какая первичная конечная точка в исследовании и достигнута ли по ней значимость;
  • описан ли порядок тестирования в протоколе или SAP и задан ли он заранее;
  • соответствует ли порядок заявленным конечным точкам и клинической логике;
  • соблюдена ли последовательность тестирования;
  • корректно ли интерпретированы результаты, в том числе после неуспешных тестов;
  • различает ли текст confirmatory и exploratory выводы.

Главное

Иерархическое тестирование — один из стандартных подходов к контролю multiplicity в confirmatory-исследованиях [1, 2]. Его стоит рассматривать как элемент дизайна исследования, а не только как технический этап анализа.

Даже при корректной стратегии результаты по вторичным конечным точкам могут быть клинически значимыми. Но читать их нужно с учётом ограничений, которые накладывают multiplicity и порядок тестирования.

Термины

  • Confirmatory analysis — заранее спланированный в SAP анализ.
  • Exploratory analysis — поисковый, гипотезогенерирующий анализ. Заранее может быть не прописан в SAP, может выполняться ретроспективно (post hoc).
  • Multiplicity (множественность) — ситуация, когда в одном исследовании выполняется несколько проверок гипотез. С каждой новой проверкой растёт вероятность хотя бы одного ложноположительного вывода. Для контроля используют иерархическое тестирование, поправку Бонферрони и другие методы, удерживая суммарную ошибку на уровне ≤ 0,05.
  • FWER (family-wise error rate) — вероятность допустить хотя бы одну ошибку I рода среди всех проверок в семействе гипотез.

Все материалы по конечным точкам собраны в сводном посте.

Черновик материала создан при участии нейросетей (ChatGPT, Deepseek, Claude). Окончательная редакция, проверка фактов и экспертная оценка выполнены командой ННАДМ.

Источники

  1. FDA. Multiple Endpoints in Clinical Trials: Guidance for Industry. October 2022.
  2. EMA. Points to Consider on Multiplicity Issues in Clinical Trials (CPMP/EWP/908/99). 2002.
  3. Nicholson KJ, et al. The Role of Family-wise Error Rate in Determining Statistical Significance. Clin Spine Surg. 2022;35(5):222–223. DOI: 10.1097/BSD.0000000000001287. PMID: 34907926.
  4. Bretz F, et al. A graphical approach to sequentially rejective multiple test procedures. Stat Med. 2009;28(4):586–604. DOI: 10.1002/sim.3495. PMID: 19051220.

Автор поста: Навасардян Артур Рубенович, к.м.н, директор АНО Независимой Национальной Академии Доказательной медицины, старший преподаватель кафедры «Клинической эпидемиологии и доказательной медицины» ФГБУ «НМИЦ ТПМ» Минздрава России

Подписывайтесь на наши ресурсы:

ТГ канал

Ютуб канал

Вк канал