FDR-коррекция

FDR (False Discovery Rate) - ожидаемая доля ложноположительных результатов среди всех результатов, объявленных статистически значимыми. Методы контроля FDR применяются при одновременной проверке множества статистических гипотез.

Например, исследователь проверяет различия между группами по 100 показателям и отклоняет 20 нулевых гипотез. Если среди этих 20 выводов 3 ошибочны, фактическая доля ложных обнаружений составляет $3/20=0.15$, или 15%.

FDR описывает ожидаемое значение этой доли при многократном повторении процедуры. Оно не сообщает, какие именно выводы ложны, и не гарантирует заданную долю в каждом отдельном исследовании.

Определение FDR

Обозначим:

• $R$ - число отклонённых нулевых гипотез
• $V$ - число ошибочно отклонённых истинных нулевых гипотез

Фактическая доля ложных обнаружений равна:

$$FDP=\frac{V}{R},$$

если $R>0$. При $R=0$ долю принимают равной нулю. Тогда FDR определяется как математическое ожидание этой доли:

$$FDR=E\left[\frac{V}{\max (R,1)}\right].$$

Если процедура контролирует FDR при $q=0.05$, это означает, что при выполнении её предпосылок ожидаемая доля ложных выводов среди отклонённых гипотез не превышает 5%. Это не означает, что каждый отдельный значимый результат имеет вероятность 5% оказаться ложным.

FDR и семейная ошибка

Семейная ошибка FWER и FDR контролируют разные риски:

Показатель	Что контролируется	Основной вопрос
FWER	Вероятность хотя бы одного ложноположительного результата во всём наборе проверок	«Какова вероятность допустить хотя бы одну ошибку?»
FDR	Ожидаемая доля ложноположительных результатов среди отклонённых гипотез	«Какая доля обнаружений в среднем окажется ложной?»

Контроль FWER обычно строже и уменьшает число ложноположительных выводов, но одновременно снижает мощность. Контроль FDR допускает больше ошибочных обнаружений, зато помогает найти больше реальных различий при большом числе проверок.

FWER чаще выбирают для небольшого числа основных гипотез, когда даже один ложноположительный вывод имеет серьёзные последствия. FDR удобнее для поискового анализа десятков или сотен показателей, после которого обнаружения будут проверяться в новых исследованиях.

Почему нельзя сравнивать каждое p-значение с 0.05

Если проверить $m$ независимых истинных нулевых гипотез с порогом $\alpha =0.05$, то в среднем около 5% проверок дадут ложноположительные результаты. При большом числе тестов отдельные малые p-значения будут появляться случайно.

Например, при 100 истинных $H_0$ можно ожидать около пяти p-значений меньше 0.05. Если представить только эти пять результатов, возникнет ошибочное впечатление, что обнаружены устойчивые различия.

FDR-коррекция рассматривает весь заранее определённый набор проверок и изменяет границы, по которым отдельные гипотезы отклоняются.

Метод Бенджамини-Хохберга

Наиболее распространённый способ контроля FDR - процедура Бенджамини-Хохберга.

Пусть проверено $m$ гипотез и получены p-значения $p_1,p_2,\dots ,p_m$.

1. Упорядочить p-значения по возрастанию:

$$p_{(1)}\le p_{(2)}\le \dots \le p_{(m)}.$$

2. Выбрать допустимую ожидаемую долю ложных обнаружений $q$, например 0.05.

3. Для каждого порядкового номера $i$ вычислить границу:

$$\frac{i}{m}q.$$

4. Найти наибольший номер $k$, для которого выполняется:

$$p_{(k)}\le \frac{k}{m}q.$$

5. Отклонить гипотезы, соответствующие $p_{(1)},p_{(2)},\dots ,p_{(k)}$.

Процедура является пошаговой. Решение принимается по наибольшему $k$, после чего отклоняются все гипотезы с меньшими порядковыми номерами.

Пример расчёта

Проверено пять гипотез. Получены упорядоченные p-значения:

$$0.002,0.009,0.021,0.030,\mathrm{0.200.}$$

Выбран $q=0.05$. Границы Бенджамини-Хохберга равны:

$i$	$p_{(i)}$	$\frac{i}{5}\times 0.05$	Условие выполнено
1	0.002	0.010	Да
2	0.009	0.020	Да
3	0.021	0.030	Да
4	0.030	0.040	Да
5	0.200	0.050	Нет

Наибольший подходящий номер $k=4$. Поэтому отклоняются первые четыре нулевые гипотезы. Пятая гипотеза не отклоняется.

Если бы каждое p-значение просто сравнивалось с 0.05, результат в этом примере был бы тем же. В других наборах данных решения могут отличаться. Значение процедуры состоит не в обязательном изменении каждого решения, а в контроле ожидаемой доли ошибок во всей серии проверок.

Скорректированные p-значения

Статистические программы часто возвращают скорректированные p-значения по методу Бенджамини-Хохберга. Их можно сравнивать с выбранным $q$ так же, как исходные p-значения сравниваются с $\alpha$.

Скорректированное значение показывает наименьший выбранный порог FDR, при котором соответствующая гипотеза будет отклонена в данном наборе проверок. В отчёте полезно приводить как исходные, так и скорректированные p-значения.

Скорректированное p-значение не является вероятностью истинности $H_0$ и не показывает вероятность того, что конкретное обнаружение ложно.

Зависимость между проверками

Классическая процедура Бенджамини-Хохберга контролирует FDR при независимых проверках и при некоторых видах положительной зависимости. На практике показатели одного исследования часто связаны между собой. Например, результаты нескольких заданий на запоминание могут коррелировать.

Умеренная положительная зависимость обычно допускает применение процедуры Бенджамини-Хохберга. При сложной или неизвестной зависимости можно использовать более строгую процедуру Бенджамини-Йекутиели. В ней границы дополнительно делятся на:

$$c_m=\sum _{j=1}^m\frac{1}{j}.$$

Новые границы имеют вид:

$$\frac{i}{m}\frac{q}{c_m}.$$

Процедура Бенджамини-Йекутиели допускает более широкий набор зависимостей, но отклоняет меньше гипотез.

Как определить семейство проверок

Перед анализом нужно решить, какие гипотезы образуют одно семейство. Обычно их объединяют общий исследовательский вопрос, единый набор исходов или совместное представление результатов.

Например, исследователь сравнивает две группы по 20 показателям одной серии заданий. Если все 20 результатов будут представлены как ответы на один вопрос, их разумно корректировать вместе.

Нельзя разделять проверки на небольшие семейства только после просмотра p-значений. Такое разбиение уменьшает строгость коррекции и может стать вариантом P-хакерства. Состав семейства и метод коррекции желательно указать при предварительной регистрации.

Основные и дополнительные гипотезы можно корректировать отдельно, если это разделение заранее обосновано содержанием исследования. Одна заранее выбранная основная гипотеза не всегда требует FDR-коррекции, но все проведённые проверки всё равно нужно раскрывать в отчёте.

Когда применять FDR-коррекцию

FDR подходит, когда:

• одновременно проверяется много связанных гипотез
• задача состоит в поиске кандидатов для дальнейшей проверки
• ограниченная доля ложных обнаружений приемлема
• сохранение статистической мощности важнее гарантии полного отсутствия ложноположительных выводов

Более строгий контроль FWER предпочтительнее, когда:

• проверяется небольшое число основных гипотез
• один ложноположительный вывод может привести к серьёзному решению
• исследование должно дать окончательное подтверждение, а не список кандидатов

Что указывать в отчёте

• метод коррекции
• выбранный порог $q$
• состав семейства гипотез
• число проверок $m$
• исходные и скорректированные p-значения
• гипотезы, отклонённые после коррекции
• способ учёта зависимости между проверками
• применённую статистическую программу
• отклонения от предварительного плана анализа
• доверительные интервалы и меры величины воздействия

Важные замечания

• FDR не устраняет ложноположительные результаты полностью. Метод ограничивает их ожидаемую долю среди обнаружений.
• FDR не исправляет неверно выбранные критерии. До коррекции каждый анализ должен соответствовать типу данных и устройству исследования. См. Статистические критерии.
• FDR не заменяет содержательную оценку результата. Малое скорректированное p-значение не сообщает величину и практическую важность различий.
• FDR не исправляет выборочное представление результатов. В коррекцию должны входить все проверки из заранее определённого семейства.
• Незначимый результат после коррекции не доказывает $H_0$. Строгая коррекция может повысить вероятность ошибки II рода.
• Разные методы контроля отвечают на разные вопросы. Выбор между FDR и FWER должен зависеть от цели исследования и последствий ошибок.