Тест пермутаций

Тест пермутаций (permutation test) - это непараметрический метод проверки гипотез, который оценивает, насколько наблюдаемое воздействие могло возникнуть случайно, если значения переменных можно переставлять между группами без изменения их распределения.

Идея:
Если нулевая гипотеза (H₀) верна, то метки групп не важны, и мы можем случайным образом перемешивать их между наблюдениями, чтобы смоделировать распределение статистики под H₀.

Особенности:

• Подходит, когда распределения неизвестны или выборки малы.
• Не требует нормальности или равенства дисперсий. Может применяться, когда важно использовать реальное распределение данных, а не модельные предположения.
• При большом числе наблюдений все перестановки можно не перебирать, а взять случайную выборку перестановок.
• Подходит для сравнения средних, медиан, корреляций и любых других статистик.

В отличие от теста рандомизации, который моделирует реальный процесс случайного распределения объектов по условиям эксперимента, тест пермутаций не требует знания или воспроизведения исходной схемы рандомизации. Он исходит из предположения, что при нулевой гипотезе принадлежность объекта к группе несущественна, и поэтому значения можно свободно переставлять между группами с сохранением их размеров.

Таким образом:

• Тест рандомизации отражает вероятность наблюдать изменения по результатам воздействия при многократном повторении именно того экспериментального дизайна, который был использован.

• Тест пермутаций отражает вероятность наблюдать изменения по результатам воздействия при случайном обмене данных между группами, что делает его применимым не только в экспериментах, но и в исследованиях на основе наблюдения.

Как произвести тест пермутаций:

1. Считаем статистику для исходных данных
   Например, разницу средних:
   $T_{\text{набл}}={\bar{x}}_A-{\bar{x}}_B$

2. Перемешиваем значения между группами
   Объединяем данные в одну выборку и случайным образом распределяем их обратно в группы с тем же размером, что и в исходных данных.

3. Для каждой перестановки вычисляем ту же статистику
   $T^{\ast }={\bar{x}}_{A^{\ast }}-{\bar{x}}_{B^{\ast }}$

4. Строим распределение статистики при условии, что $H_0$ верна.

5. Считаем p-value:
   $p=\frac{\#\{|T^{\ast }|\ge |T_{\text{набл}}|\}}{\text{число перестановок}}$ В строгой статистике иногда добавляют +1 в числитель и знаменатель (метод Phipson & Smyth, 2010), чтобы избежать нулевых p-value:

$$p=\frac{1+\#\{|T^{\ast }|\ge |T_{\text{набл}}|\}}{M+1}$$

Это особенно важно, когда перебор перестановок - полный, а не случайная выборка.