P-hacking - это практика манипулирования статистическими данными и методами анализа для получения статистически значимых результатов.
Применение p-хакинга - это серьезная проблема в научном сообществе, так как она подразумевает публикацию заведомо маловоспроизводимых результатов и подрывает образ воспроизводимости исследований в области в целом, а также приводит к недостоверности выводов, сделанных на основе результатов таких статей/материалов.
Рыбалка за значимостью (fishing for significance) - более общий термин, который подразумевает, что исследователь пробует разные виды анализа, разбиения данных, тестовые методики и т.д., чтобы “выловить” статистическую значимость. В том числе может включать множественные проверки гипотез без поправок (коррекции FWER), анализ подгрупп “задним числом”, подбор переменных (включение/исключение независимых переменных или ковариатов в модель до получения значимого результата) и др.
p-hacking - более узкое понятие, хотя и весьма близкое к “рыбалке за значимостью”: исследователь предпринимает множество приёмов на готовых данных, пока не получит “значимый” результат (обычно p < 0.05).
Как это работает?
Есть различные техники для получения желаемых p-величин:
- Множественное тестирование: проведение множества статистических тестов и выбор только тех результатов, которые оказались статистически значимыми. Также - представление нескольких результатов как статистически значимых одновременно без учёта семейной ошибки.
- Изменение гипотез после анализа: формулирование или изменение исследовательских гипотез после того, как данные уже проанализированы. Например, изменение ожидаемой степени проявления воздействия или условий его проявления, игнорирование или подделка пререгистрации гипотез.
- Манипуляция данными: исключение “неудобных” данных или изменение критериев включения/исключения отдельных данных в общий пул исследования без должного обоснования. Этим нарушается рандомизация выборки.
- Остановка сбора данных при достижении значимости: прекращение эксперимента, как только получены значимые результаты, вместо набора максимально широкой выборки для наибольшей статистической достоверности (см. Закон больших чисел).
Как обнаружить P-хакерство?
- Аномально высокое количество значимых результатов: если в исследованиях слишком часто появляются значимые результаты, это может быть признаком P-хакерства.
- Недостаточная прозрачность: отсутствие доступа к исходным данным и методам анализа затрудняет проверку результатов.
- Отсутствие заранее опубликованного плана исследования, предыдущих публикаций: исследования без предварительного плана более подвержены риску манипуляций т.к. формулировки, подходы и данные не с чем сравнить.
Как предотвратить P-хакерство?
- Предварительная регистрация исследований: публикация детального плана исследования и предполагаемой модели данных до начала сбора данных. Статистические методы предположить заранее проблематично, так как неизвестно, какое у них получится распределение.
- Прозрачность и открытые данные: предоставление доступа к данным, инструментам и процессам проведённого исследования другим исследователям.
- Множественное тестирование: использование нескольких различных статистических методов, проведение нескольких независимых тестов, коррекция семейной ошибки.
- Обучение статистической грамотности: увеличение осведомленности о правильных методах анализа данных.