Тест рандомизации

Тест рандомизации (randomization test) - это непараметрический метод проверки гипотез, который оценивает, насколько наблюдаемый результат мог возникнуть случайно, если многократно повторять процедуру случайного распределения объектов по условиям эксперимента, как это было сделано в реальном исследовании.

Идея:
Если нулевая гипотеза (H₀) верна, то распределение участников в группы не должно приводить к систематическим различиям.
Мы моделируем множество возможных исходов, переигрывая процедуру случайного распределения, выбранную в эксперименте, и смотрим, насколько часто получаем статистику (например, разницу средних) равную или большую, чем наблюдаемая.

Особенности:

• Основан на конкретной схеме рандомизации, применённой в эксперименте.
• Не требует предположений о нормальности или равенстве дисперсий.
• Особенно полезен для малых выборок, где параметрические критерии могут давать некорректные результаты.
• Применим только тогда, когда эксперимент действительно был рандомизирован.
• Подходит для любых статистик (средние, медианы, коэффициенты корреляции и т.д.), если они согласованы с процедурой рандомизации.

В отличие от теста пермутаций, который свободно перемешивает значения между группами, тест рандомизации учитывает реальный план случайного распределения объектов и отражает вероятность наблюдать воздействие именно в рамках этого экспериментального дизайна.

Таким образом:

• Тест рандомизации отвечает на вопрос: «Какова вероятность получить наблюдаемые различия, если бы эксперимент многократно повторялся с тем же подходом к рандомизации распределения?»

• Тест пермутаций отвечает на вопрос: «Какова вероятность получить наблюдаемые различия, если бы данные были случайным образом переставлены между группами?»

Как произвеститест рандомизации:

1. Вычисляем статистику для исходных данных
   Например, разницу средних между группами:
   $T_{\text{набл}}={\bar{x}}_A-{\bar{x}}_B$

2. Генерируем все возможные исходы рандомизации
   Используем ту же схему, что и в реальном эксперименте (например, случайное распределение $n_A$ испытуемых в группу A и $n_B$ испытуемых в группу B).

3. Для каждого варианта вычисляем статистику:
   $T^{\ast }={\bar{x}}_{A^{\ast }}-{\bar{x}}_{B^{\ast }}$

4. Строим распределение статистики под $H_0$ (нулевая гипотеза: нет различий между условиями).

5. Считаем p-value:
   $p=\frac{\#\{|T^{\ast }|\ge |T_{\text{набл}}|\}}{\text{число рандомизаций}}$ Если во всех симуляциях статистика оказалась меньше $T_{\text{набл}}$, то $p=0$.
   Но p-значение не может быть строго равно нулю, так как всегда есть ненулевая вероятность получить наблюдаемый результат при $H_0$. Чтобы избежать нулевых p-value добавляют +1 в числитель и знаменатель (метод Phipson & Smyth, 2010):

$$p=\frac{1+\#\{|T^{\ast }|\ge |T_{\text{набл}}|\}}{M+1}$$