P-значение в статистике

P-значение является широко распространённым понятием в статистике и широко используется в психологических исследованиях для оценки степени статистической значимости результатов исследований и проверки этим статистических гипотез.

Что такое P-значение?

P-значение (от англ. p-value) — это вероятность получить наблюдаемые или более экстремальные (явные) результаты при условии, что нулевая гипотеза верна. То есть - “если мы считаем, что наше воздействие не влияет на испытуемых, то какой шанс что мы получим те же самые данные ещё раз?“. Ответом является коэффициент вероятности - если он маленький (например, 0.05), то скорее всего с точки зрения статистики изменения всё же происходят. Так p-значение помогает определить, следует ли отклонить нулевую гипотезу в пользу альтернативной. При проверке статистических гипотез выбирают уровень значимости α (например, 0.05 или 0.01), и сравнивают с ним p-value для подтверждения или отклонения гипотез.

Пример: P-значение в 0.001 означает вероятность абсолютно случайного повторения результата “до” и “после” только 1 раз из 1000 попыток, что кажется очень редким - скорее всего оно не случайно, а есть какой-то фактор, который приводит к тому что остальные 999 попыток показали другой результат. Но это предположение основывается на вероятности событий. Точность этого предположения математически обосновывается через Закон больших чисел. Если в рамках исследования было получено p-значение менее выбранного α (например, α=0.05, p-значение=0.044), то предполагается наличие изменений или различий (подтверждается альтернативная гипотеза).

Большинство авторов называют P < 0.05 статистически значимым и < 0.001 как сильно статистически значимым (*statistically highly significant).

Интерпретация P-значения

• Малое P-значение (обычно ≤ 0,05): свидетельствует против нулевой гипотезы, указывая на статистически значимый результат.
• Большое P-значение (> 0,05): недостаточно доказательств для отклонения нулевой гипотезы. Нулевая гипотеза не доказывается сама по себе, но не может быть отклонена.

Пример использования

Представьте исследование, которое оценивает результативность нового метода терапии для уменьшения тревожности. Нулевая гипотеза (H₀) - метод не влияет на степень проявления тревожности. Альтернативная гипотеза (H₁) - метод влияет на степень проявления тревожности. После проведения эксперимента и статистической обработки результатов получено P-значение 0,03. Поскольку это значение меньше 0.05, нулевую гипотезу можно отклонить. Соответственно, заключаем, что метод статистически значимо уменьшает проявления тревожности.

Важные замечания

• P-значение не измеряет величину изменений: оно только указывает на статистическую значимость - то есть вероятность получения таких данных при верной нулевой гипотезе.
• Зависимость от выборки: большие выборки могут приводить к статистически значимым p-значениям даже при незначительных изменениях.
• Зависимость от случайного распределения: если повторять одно и то же исследование несколько раз, то p-значение может меняться. Оно вычисляется на основе статистического распределения величин, поэтому возможно P-хакерство.
• Зависимость от контекста данных: степень статистической значимости - это результат вычислений на основе качества и объема имеющихся данных, она не всегда будет воспроизводиться в реальных условиях.
• Зависимость от контекста исследования: степень статистической значимости в одном контексте может значительно отличаться даже при небольшом изменении условий.
• Применимость полученных данных: стоит учитывать прикладную применимость и пользу полученных результатов - насколько легко применить полученные знания и насколько ценны результаты.
• Не является универсальным критерием: для статистической значимости в разных ситуациях выбирают как разные уровни значимости α (в медицине, например, в фармакологии, чаще выбирают p-значение α=0.01 для тестирования гипотез) и сравнивают p-значения , так и другие методы определения статистической значимости, такие как доверительные интервалы (Confidence Intervals), Байесовские факторы, FDR-коррекция, тесты пермутаций (Permutation tests) и тесты рандомизации.
• Не является доказательством причинно-следственной связи: статистическая значимость изменений не подтверждает, что именно одна конкретная переменная вызывает изменения в другой или наоборот, то есть не означает прямое следствие.