«Статистически значимо» звучит как «доказано», но означает лишь то, что разницу трудно объяснить случайностью при выбранном правиле. Насколько она велика, важна ли она в жизни и не нашли ли её перебором вариантов — отдельные вопросы.
Значимость — порог, а не вердикт
Хорошо: понимать, что значимость отвечает на один узкий вопрос, смотреть рядом на размер эффекта и на число проверок, и не считать уровень значимости доказательством пользы. Категорически плохо: принимать решения только по слову «значимо» и считать «незначимо» доказательством отсутствия эффекта. Статистическая значимость говорит о том, насколько результат устойчив к случайности, а не о том, насколько он важен.
Шаг 1. Понять, на какой вопрос отвечает проверка
Проверка начинается с предположения, что разницы нет. Затем считают, насколько данные не согласуются с этим предположением. Если не согласуются сильно, результат называют значимым: случайностью такое объяснить трудно.
Отсюда следует главное ограничение. Значимость — это утверждение о данных при допущении, а не о реальности напрямую. Она говорит: «такая разница редко возникает случайно», но не говорит: «разница существует именно потому, что мы думаем».
Порог называют уровнем значимости; обычный уровень — пять процентов. Это означает, что при отсутствии настоящей разницы результат такой же или более крайний встретится не чаще чем в пяти случаях из ста. Порог выбран по договорённости, а не выведен из природы вещей, и в разных областях он бывает другим.
Проверьте, какую гипотезу проверяли. Их может быть несколько, и тогда значимость относится к каждой отдельно. Если в отчёте много сравнений, часть из них окажется значимой просто потому, что вариантов было много.
Обратите внимание на направление. Проверка может показать, что разница есть, но не всегда уточняет, в чью пользу. Направление берут из данных, а это уже другое утверждение, иногда не проверенное.
И различайте одностороннюю и двустороннюю проверку. В первом случае заранее предполагают направление эффекта, и порог легче достичь. Второй вариант строже и честнее, если заранее ничего не известно.
Полезно запомнить: значимость не измеряет величину. Результат может быть значимым и крошечным, а большой эффект — незначимым при малой выборке. Слово описывает уверенность в наличии разницы, а не её масштаб.
Ещё одно следствие: значимость зависит от размера выборки. При очень большой выборке значимым станет почти любое различие, включая ничтожное. При маленькой — даже заметный эффект может остаться незамеченным. Поэтому метку нельзя читать без числа участников.
Результат: [утверждение]. Проверок: [сколько]. 1) Какое предположение проверяли и какой порог взяли. 2) Сколько сравнений сделано в работе. 3) Была ли проверка односторонней или двусторонней. 4) Какой размер выборки и как он влияет на результат.
Разбор: пять процентов — договорённость
Порог в пять процентов прижился как разумный компромисс, а не как закон природы. В физике требуют строже, в разведке рынка мягче. Понимание того, что порог условен, избавляет от лишнего почтения к слову «значимо» и возвращает вопрос к размеру эффекта.
| Что означает | Чего из неё не следует | Где искать ответ |
|---|---|---|
| разницу трудно объяснить случайностью | что она большая и полезная | размер эффекта в понятных единицах |
| порог взят в пять процентов | что случайность почти исключена | число проверок в работе |
| «незначимо» при малой выборке | что эффекта нет | ширину интервала и число участников |
| значимо при ста тысячах | что это заметно в жизни | сравнение с порогом пользы |
Шаг 2. Проверить размер и пользу эффекта
Рядом со значимостью должен стоять размер эффекта. Если программа улучшает показатель на половину процента, значимость не делает её полезной. Читайте оба числа и решайте по величине, а не по метке.
Переведите эффект в понятные единицы. Сколько человек из ста, сколько рублей, сколько дней — так решение становится очевиднее. Проценты и доли удобны для сравнения, но плохо показывают масштаб.
Сравните с порогом пользы. Если разница меньше того, что человек способен заметить или использовать, она не меняет жизнь. Значимая разница в один балл по шкале от нуля до ста обычно не значит ничего.
Посмотрите на интервал, а не только на метку. Значимость отвечает «да или нет» по одному порогу, интервал показывает диапазон. Второе информативнее и не зависит от выбранного правила.
Спросите, для кого эффект. Средний результат по всей выборке может скрывать, что одним помогло сильно, а другим не помогло вовсе. Среднее описывает группу, а решение принимает человек.
И проверьте, чем измеряли. Разница по субъективной шкале и разница по объективному показателю — разные вещи. Первая важна для человека, вторая — для проверки, и хорошая работа показывает обе.
Обратите внимание на стоимость. Даже заметный эффект может требовать затрат, которые его перевешивают. Наука отвечает, работает ли метод; решение о применении включает ещё и цену.
Полезно представить результат без слова «значимо». Остаётся фраза «разница составила столько». Если после этого вывод кажется слабым, значит, значимость делала всю работу, а эффект был мал. Такая проверка занимает минуту и хорошо тренирует чтение.
Эффект: [число]. Значимость: [какая]. 1) Переведи эффект в людей, деньги или дни. 2) Сравни с тем, что человек способен заметить. 3) Посмотри на интервал, а не только на метку. 4) Отметь, для кого эффект и сколько он стоит.
Разбор: «незначимо» не значит «эффекта нет»
Отсутствие значимости часто означает лишь нехватку данных. При малой выборке даже реальный эффект легко не заметить. Поэтому правильный вывод звучит как «данных недостаточно», а не «разницы нет».
Шаг 3. Учесть перебор вариантов
Если проверить много гипотез, часть окажется значимой случайно. При двадцати проверках и пороге пять процентов ожидается примерно одна ложная находка. Чем больше показателей, тем сильнее этот эффект.
Смотрите, было ли заранее заявлено, что проверяют. Если основная гипотеза названа до сбора данных, к ней больше доверия. Если её выбрали после, среди многих результатов, это уже поиск удобного исхода.
Проверьте, применяли ли поправку. Поправки на множественные сравнения делают порог строже и снижают число ложных находок. Их отсутствие не всегда ошибка, но тогда к отдельным значимым результатам стоит относиться осторожнее.
Обратите внимание на подгруппы. Анализ по подгруппам часто даёт яркие результаты, потому что групп много. Находка в одной из десяти подгрупп может быть случайной, даже если выглядит убедительно.
И проверьте, публикуют ли работу с отрицательным результатом. Если публикуют только значимое, литература перекошена: читатель видит находки, но не видит пустых попыток. Это влияет на оценку сильнее, чем кажется.
Полезно спросить, повторяли ли находку. Результат, полученный в одном наборе данных и подтверждённый в другом, гораздо надёжнее. Повторение — самый прямой ответ на вопрос о случайности.
Смотрите на формулировку в отчёте. Честные авторы пишут, сколько проверок сделали и как учитывали множественность. Если об этом нет ни слова, возможно, вопрос просто не рассматривался, а может быть, его сочли технической деталью для специалистов.
И помните, что значимость не сообщает о важности темы. Можно получить значимый результат по пустяковому вопросу и незначимый по важному. Первое чаще попадает в новости, второе — в отчёты. Из этого следует простая вещь: громкая находка и важная находка — не одно и то же.
Работа: [тема]. Проверок: [сколько]. Гипотеза: [какая]. 1) Заявлена ли основная гипотеза до сбора данных. 2) Есть ли поправка на множественные сравнения. 3) Сколько подгрупп анализировали. 4) Повторена ли находка на других данных. Ответ дай четырьмя строками: что проверяли, сколько раз, какой эффект в понятных единицах, осталось ли после поправок. Слово «значимо» без числа участников не пересказывай: назови выборку или пометь «выборка неизвестна». Финалом — одна строка: меняет ли это ваше решение при данной величине эффекта и данной цене.
Разбор: значимость легко получить случайно
Если достаточно долго перебирать варианты, значимый результат найдётся почти всегда. Это не обман, а свойство статистики. Поэтому хорошая работа фиксирует план заранее, а читателю полезно знать, был ли такой план.
Например, приложение для фокуса даёт плюс девять процентов к выполненным задачам — «значимо». В другой работе те же девять процентов получают «незначимо», потому что участников вдвое меньше. Кто запомнил слово, а не число, сочтёт эти работы противоположными; на деле эффект один и тот же, разная только уверенность.
Как читать такие слова в новостях
Когда видите «учёные доказали», поищите размер эффекта и число участников. Если их нет, утверждение пока неполное. Значимость без масштаба и без выборки почти ничего не сообщает читателю.
Если в исследовании много сравнений, относитесь к отдельным находкам осторожнее. Смотрите на главный результат, который был заявлен заранее, а не на самый яркий из побочных. Побочные находки полезны как подсказка для следующей работы, а не как готовый вывод.
Агент помогает найти в отчёте размер эффекта и число проверок, но решение о пользе принимаете вы. Наука отвечает на вопрос «есть ли разница», а жизнь спрашивает «стоит ли она усилий». Ответы на эти вопросы редко совпадают дословно.
«Значимо» не значит «важно»: размер эффекта смотрят в метаанализе, а границы числа — в доверительном интервале. Порог не превращает совпадение в причину: две вещи рядом.
Осторожно: не читайте «значимо» как «доказано» и не считайте «незначимо» отсутствием эффекта. Смотрите на размер эффекта и интервал. Помните, что при множестве проверок часть находок случайна. И не принимайте решения по метке, не зная величины разницы и цены применения.