Предварительная регистрация исследования, или пререгистрация (pre-registration), - это сохранение датированного плана исследования до начала сбора данных или до знакомства исследователя с результатами, которые будут анализироваться.
В плане заранее фиксируют гипотезы, переменные, способ формирования выборки, критерии исключения, порядок сбора данных и методы анализа. Первоначальная версия остаётся доступной для сравнения с итоговым отчётом.
Главная задача пререгистрации - отделить подтверждающий анализ, запланированный до просмотра результатов, от поискового анализа, решения для которого принимались после знакомства с данными. Оба вида анализа полезны, но дают разные основания для выводов.
Зачем нужна предварительная регистрация
Во время исследования приходится принимать множество решений: какие наблюдения исключить, когда остановить набор, какие переменные преобразовать, какие подгруппы сравнить и какой статистический критерий применить.
Если эти решения принимаются после просмотра результатов, исследователь может непреднамеренно выбрать вариант, дающий желаемое p-значение. Это создаёт условия для P-хакерства, изменения гипотез после анализа и выборочного представления удачных проверок.
Предварительная регистрация помогает:
- заранее отделить основные гипотезы от дополнительных
- ограничить число решений, зависящих от полученных данных
- зафиксировать правила остановки набора участников
- указать критерии включения и исключения наблюдений
- заранее выбрать основные показатели и способы их расчёта
- спланировать контроль семейной ошибки или FDR
- сделать отклонения от плана заметными для читателя
- облегчить воспроизведение исследования
Пререгистрация не запрещает менять план и проводить новые проверки. Она требует ясно указать, какие решения были приняты заранее, какие появились позже и почему.
Когда регистрировать план
Для нового исследования план регистрируют до начала сбора основных данных. Пилотные данные можно использовать при планировании, но их наличие и роль нужно описать.
Для анализа уже собранных данных план регистрируют до доступа к анализируемым исходам. Исследователь указывает, какие сведения о данных ему уже известны, какие проверки ранее проводились и могло ли это повлиять на новый план.
Если результаты уже просмотрены, анализ нельзя представлять как полностью предварительно зарегистрированный. Его можно честно обозначить как поисковый и зарегистрировать отдельное подтверждающее исследование.
Что включать в предварительную регистрацию
Исследовательский вопрос и гипотезы
Нужно указать:
- основной исследовательский вопрос
- и для каждой основной проверки
- ожидаемое направление различий, если оно обосновано
- разделение на основные и дополнительные гипотезы
- критерии, по которым результат будет считаться подтверждающим или противоречащим гипотезе
Формулировка «группы будут различаться» недостаточно точна. Нужно назвать измеряемый показатель, сравниваемые условия и ожидаемое направление, если применяется односторонняя проверка.
Переменные и способы измерения
Для каждой переменной описывают:
- роль в исследовании
- способ измерения или введения
- единицы измерения
- момент и число измерений
- способ объединения отдельных заданий в итоговый показатель
- правила преобразования исходных данных
- основной и дополнительные показатели
Если результат рассчитывается как сумма баллов, среднее время ответа или доля правильных выполнений, формулу нужно указать до анализа.
Выборка и правила остановки
В разделе о выборке указывают:
- целевую и доступную генеральные совокупности
- способ привлечения и отбора участников
- запланированный размер выборки
- обоснование размера с помощью анализа мощности
- ожидаемое число отказов и выбываний
- точное правило прекращения набора
- допустимость и порядок промежуточных проверок
Правило «собирать данные до получения значимости» недопустимо. Если планируются промежуточные анализы, нужно заранее указать моменты проверок, условия остановки и способ контроля ошибки I рода, например α-спендинг.
Критерии включения и исключения
До сбора данных описывают:
- критерии допуска участников
- причины исключения после начала исследования
- допустимую долю пропущенных ответов
- границы технически невозможных значений
- правила обработки крайне малых или больших наблюдений
- минимальные требования к выполнению задания
- порядок работы с нарушениями протокола
Критерии должны опираться на устройство исследования и качество данных, а не на то, улучшают ли исключения статистический результат.
Распределение по условиям и сокрытие
Для эксперимента описывают:
- единицу и способ рандомизации
- соотношение размеров групп
- признаки стратификации и размеры блоков
- порядок сокрытия последовательности назначений
- применение блайндинга
- условия раскрытия назначений
Эти сведения позволяют проверить, соответствует ли фактическое распределение заявленному экспериментальному плану.
План статистического анализа
Для каждой основной гипотезы указывают:
- анализируемый показатель
- сравниваемые группы или условия
- выбранный статистический критерий или модель
- одностороннюю или двустороннюю направленность проверки
- порог значимости
- способ проверки предпосылок
- способ обработки пропусков и выбросов
- контроль множественных сравнений
- доверительный интервал
- меру величины воздействия
Формулировки «будет выбран подходящий критерий» или «данные будут обработаны стандартными методами» оставляют слишком много решений после просмотра результатов. План должен позволять другому исследователю воспроизвести основную последовательность анализа.
Пример предварительно зарегистрированного плана
Исследователь проверяет, меняет ли тренировка памяти число слов, воспроизведённых через 20 минут.
Гипотеза: участники после тренировки воспроизведут в среднем больше слов из списка из 30 слов, чем участники после контрольного задания.
Выборка: 100 участников, распределённых по условиям 1:1. Размер рассчитан до начала набора. Если до итогового измерения выбывает участник, его замена допускается только до достижения 100 завершённых наблюдений.
Основной показатель: число правильно воспроизведённых слов через 20 минут. Повторы и слова, отсутствующие в исходном списке, не засчитываются.
Исключения: участник исключается при техническом сбое предъявления списка или нарушении заранее заданного времени воспроизведения. Исключение из-за необычно малого или большого числа слов не проводится.
Основной анализ: двусторонний t-критерий Уэлча при . В отчёте приводятся разница средних, 95%-доверительный интервал, d Коэна и точное p-значение.
Дополнительные показатели: число слов, воспроизведённых сразу после предъявления, и время выполнения контрольного задания. Для двух дополнительных проверок применяется процедура Бенджамини-Хохберга при .
Любые сравнения отдельных возрастных групп или результаты других способов подсчёта слов будут обозначены как поисковые, если они не были добавлены в датированную версию плана до начала сбора данных.
Подтверждающий и поисковый анализ
Подтверждающий анализ следует заранее зарегистрированному плану и проверяет сформулированные до знакомства с результатами гипотезы.
Поисковый анализ используется для обнаружения новых закономерностей, построения гипотез и выбора направлений дальнейших исследований. Его решения могут опираться на уже увиденные данные.
Поисковый анализ не является ошибкой. Проблема возникает, когда найденная после просмотра данных закономерность представляется как заранее предсказанная. Такие результаты лучше проверять на новой выборке.
Отклонения от плана
Во время исследования могут появиться причины изменить анализ: технический сбой, неожиданное распределение данных, невозможность набрать запланированную выборку или обнаруженная ошибка в первоначальном плане.
Изменение допустимо, если исследователь:
- сохраняет исходную версию регистрации
- создаёт новую датированную версию
- описывает причину изменения
- указывает, было ли решение принято до или после просмотра результатов
- по возможности приводит результаты по исходному и изменённому планам
Отклонение от плана не делает исследование недостоверным автоматически. Скрытое отклонение мешает оценить, насколько вывод зависел от решений, принятых после знакомства с данными.
Пререгистрация анализа готовых данных
Для вторичного анализа регистрация должна содержать:
- источник и состав набора данных
- дату получения доступа
- сведения, которые исследователь уже видел
- ранее опубликованные результаты по этим данным
- новые гипотезы и отличие от предыдущих проверок
- точный план формирования анализируемой подвыборки
Если исследователь уже знает основные результаты, такую работу лучше описать как повторный или поисковый анализ. Для независимой подтверждающей проверки потребуется новый набор данных или часть исходного набора, которая не просматривалась при формулировании гипотез.
Закрытая и открытая регистрация
План можно сделать открытым сразу или временно скрыть до завершения исследования. Временное скрытие помогает не раскрывать гипотезы и процедуру до окончания набора, но сохраняет дату регистрации.
После открытия записи читатель должен видеть первоначальный план, историю изменений и связанные материалы. В статье указывают ссылку или идентификатор регистрации и дату её создания.
Пререгистрация и зарегистрированный отчёт
Пререгистрация фиксирует план, но сама по себе не включает обязательное рецензирование до сбора данных.
Зарегистрированный отчёт предполагает, что исследовательский вопрос, гипотезы, процедура и анализ проходят рецензирование до получения основных результатов. При одобрении журнал заранее принимает принципиальное решение о публикации работы при соблюдении согласованного протокола, независимо от направления итоговых различий.
Зарегистрированный отчёт даёт более строгую внешнюю проверку плана, но требует участия редакции и рецензентов. Обычную пререгистрацию исследователь может выполнить самостоятельно.
Что пререгистрация не решает
- неудачная гипотеза не становится обоснованной только после регистрации
- малый размер выборки всё равно повышает риск ошибки II рода
- смещённая выборка ограничивает перенос результатов
- ненадёжные измерения и нарушения протокола искажают данные
- регистрация не заменяет рандомизацию, блайндинг и контроль внешних переменных
- заранее выбранный неверный критерий остаётся неверным
- запись плана не гарантирует полного и честного отчёта
Пререгистрация повышает прозрачность последовательности решений, но качество исследования зависит от всего экспериментального и статистического плана.
Что указывать в итоговой статье
- ссылку или идентификатор регистрации
- дату регистрации
- дату начала сбора данных или доступа к готовому набору
- основные и дополнительные гипотезы
- выполненные и невыполненные пункты плана
- все отклонения и причины изменений
- разделение подтверждающих и поисковых анализов
- все основные результаты, включая незначимые
- незапланированные проверки и подгруппы
- доступность материалов, данных и программного кода
Предварительная регистрация наиболее полезна, когда читатель может сопоставить её с итоговым отчётом. Простое упоминание регистрации без ссылки и описания отклонений не даёт достаточной прозрачности.