Отдел 06 · Наука

Уровень значимости: что значит «статистически значимо»

время чтения ~11 минут · рецептов: 3 · обновлено: ноябрь 2026

«Статистически значимо» звучит как «доказано», но означает лишь то, что разницу трудно объяснить случайностью при выбранном правиле. Насколько она велика, важна ли она в жизни и не нашли ли её перебором вариантов — отдельные вопросы.

Значимость — порог, а не вердикт

Хорошо: понимать, что значимость отвечает на один узкий вопрос, смотреть рядом на размер эффекта и на число проверок, и не считать уровень значимости доказательством пользы. Категорически плохо: принимать решения только по слову «значимо» и считать «незначимо» доказательством отсутствия эффекта. Статистическая значимость говорит о том, насколько результат устойчив к случайности, а не о том, насколько он важен.

Шаг 1. Понять, на какой вопрос отвечает проверка

Проверка начинается с предположения, что разницы нет. Затем считают, насколько данные не согласуются с этим предположением. Если не согласуются сильно, результат называют значимым: случайностью такое объяснить трудно.

Отсюда следует главное ограничение. Значимость — это утверждение о данных при допущении, а не о реальности напрямую. Она говорит: «такая разница редко возникает случайно», но не говорит: «разница существует именно потому, что мы думаем».

Порог называют уровнем значимости; обычный уровень — пять процентов. Это означает, что при отсутствии настоящей разницы результат такой же или более крайний встретится не чаще чем в пяти случаях из ста. Порог выбран по договорённости, а не выведен из природы вещей, и в разных областях он бывает другим.

Проверьте, какую гипотезу проверяли. Их может быть несколько, и тогда значимость относится к каждой отдельно. Если в отчёте много сравнений, часть из них окажется значимой просто потому, что вариантов было много.

Обратите внимание на направление. Проверка может показать, что разница есть, но не всегда уточняет, в чью пользу. Направление берут из данных, а это уже другое утверждение, иногда не проверенное.

И различайте одностороннюю и двустороннюю проверку. В первом случае заранее предполагают направление эффекта, и порог легче достичь. Второй вариант строже и честнее, если заранее ничего не известно.

Полезно запомнить: значимость не измеряет величину. Результат может быть значимым и крошечным, а большой эффект — незначимым при малой выборке. Слово описывает уверенность в наличии разницы, а не её масштаб.

Ещё одно следствие: значимость зависит от размера выборки. При очень большой выборке значимым станет почти любое различие, включая ничтожное. При маленькой — даже заметный эффект может остаться незамеченным. Поэтому метку нельзя читать без числа участников.

Рецепт 1 · что проверяли
Результат: [утверждение]. Проверок: [сколько].
1) Какое предположение проверяли и какой порог взяли.
2) Сколько сравнений сделано в работе.
3) Была ли проверка односторонней или двусторонней.
4) Какой размер выборки и как он влияет на результат.

Разбор: пять процентов — договорённость

Порог в пять процентов прижился как разумный компромисс, а не как закон природы. В физике требуют строже, в разведке рынка мягче. Понимание того, что порог условен, избавляет от лишнего почтения к слову «значимо» и возвращает вопрос к размеру эффекта.

Что метка «значимо» говорит и чего не говорит
Что означаетЧего из неё не следуетГде искать ответ
разницу трудно объяснить случайностьючто она большая и полезнаяразмер эффекта в понятных единицах
порог взят в пять процентовчто случайность почти исключеначисло проверок в работе
«незначимо» при малой выборкечто эффекта нетширину интервала и число участников
значимо при ста тысячахчто это заметно в жизнисравнение с порогом пользы

Шаг 2. Проверить размер и пользу эффекта

Рядом со значимостью должен стоять размер эффекта. Если программа улучшает показатель на половину процента, значимость не делает её полезной. Читайте оба числа и решайте по величине, а не по метке.

Переведите эффект в понятные единицы. Сколько человек из ста, сколько рублей, сколько дней — так решение становится очевиднее. Проценты и доли удобны для сравнения, но плохо показывают масштаб.

Сравните с порогом пользы. Если разница меньше того, что человек способен заметить или использовать, она не меняет жизнь. Значимая разница в один балл по шкале от нуля до ста обычно не значит ничего.

Посмотрите на интервал, а не только на метку. Значимость отвечает «да или нет» по одному порогу, интервал показывает диапазон. Второе информативнее и не зависит от выбранного правила.

Спросите, для кого эффект. Средний результат по всей выборке может скрывать, что одним помогло сильно, а другим не помогло вовсе. Среднее описывает группу, а решение принимает человек.

И проверьте, чем измеряли. Разница по субъективной шкале и разница по объективному показателю — разные вещи. Первая важна для человека, вторая — для проверки, и хорошая работа показывает обе.

Обратите внимание на стоимость. Даже заметный эффект может требовать затрат, которые его перевешивают. Наука отвечает, работает ли метод; решение о применении включает ещё и цену.

Полезно представить результат без слова «значимо». Остаётся фраза «разница составила столько». Если после этого вывод кажется слабым, значит, значимость делала всю работу, а эффект был мал. Такая проверка занимает минуту и хорошо тренирует чтение.

Рецепт 2 · размер и польза
Эффект: [число]. Значимость: [какая].
1) Переведи эффект в людей, деньги или дни.
2) Сравни с тем, что человек способен заметить.
3) Посмотри на интервал, а не только на метку.
4) Отметь, для кого эффект и сколько он стоит.

Разбор: «незначимо» не значит «эффекта нет»

Отсутствие значимости часто означает лишь нехватку данных. При малой выборке даже реальный эффект легко не заметить. Поэтому правильный вывод звучит как «данных недостаточно», а не «разницы нет».

Шаг 3. Учесть перебор вариантов

Если проверить много гипотез, часть окажется значимой случайно. При двадцати проверках и пороге пять процентов ожидается примерно одна ложная находка. Чем больше показателей, тем сильнее этот эффект.

Смотрите, было ли заранее заявлено, что проверяют. Если основная гипотеза названа до сбора данных, к ней больше доверия. Если её выбрали после, среди многих результатов, это уже поиск удобного исхода.

Проверьте, применяли ли поправку. Поправки на множественные сравнения делают порог строже и снижают число ложных находок. Их отсутствие не всегда ошибка, но тогда к отдельным значимым результатам стоит относиться осторожнее.

Обратите внимание на подгруппы. Анализ по подгруппам часто даёт яркие результаты, потому что групп много. Находка в одной из десяти подгрупп может быть случайной, даже если выглядит убедительно.

И проверьте, публикуют ли работу с отрицательным результатом. Если публикуют только значимое, литература перекошена: читатель видит находки, но не видит пустых попыток. Это влияет на оценку сильнее, чем кажется.

Полезно спросить, повторяли ли находку. Результат, полученный в одном наборе данных и подтверждённый в другом, гораздо надёжнее. Повторение — самый прямой ответ на вопрос о случайности.

Смотрите на формулировку в отчёте. Честные авторы пишут, сколько проверок сделали и как учитывали множественность. Если об этом нет ни слова, возможно, вопрос просто не рассматривался, а может быть, его сочли технической деталью для специалистов.

И помните, что значимость не сообщает о важности темы. Можно получить значимый результат по пустяковому вопросу и незначимый по важному. Первое чаще попадает в новости, второе — в отчёты. Из этого следует простая вещь: громкая находка и важная находка — не одно и то же.

Рецепт 3 · перебор вариантов
Работа: [тема]. Проверок: [сколько]. Гипотеза: [какая].
1) Заявлена ли основная гипотеза до сбора данных.
2) Есть ли поправка на множественные сравнения.
3) Сколько подгрупп анализировали.
4) Повторена ли находка на других данных.
Ответ дай четырьмя строками: что проверяли, сколько раз, какой эффект в
понятных единицах, осталось ли после поправок.
Слово «значимо» без числа участников не пересказывай: назови выборку или
пометь «выборка неизвестна».
Финалом — одна строка: меняет ли это ваше решение при данной величине
эффекта и данной цене.

Разбор: значимость легко получить случайно

Если достаточно долго перебирать варианты, значимый результат найдётся почти всегда. Это не обман, а свойство статистики. Поэтому хорошая работа фиксирует план заранее, а читателю полезно знать, был ли такой план.

Например, приложение для фокуса даёт плюс девять процентов к выполненным задачам — «значимо». В другой работе те же девять процентов получают «незначимо», потому что участников вдвое меньше. Кто запомнил слово, а не число, сочтёт эти работы противоположными; на деле эффект один и тот же, разная только уверенность.

Как читать такие слова в новостях

Когда видите «учёные доказали», поищите размер эффекта и число участников. Если их нет, утверждение пока неполное. Значимость без масштаба и без выборки почти ничего не сообщает читателю.

Если в исследовании много сравнений, относитесь к отдельным находкам осторожнее. Смотрите на главный результат, который был заявлен заранее, а не на самый яркий из побочных. Побочные находки полезны как подсказка для следующей работы, а не как готовый вывод.

Агент помогает найти в отчёте размер эффекта и число проверок, но решение о пользе принимаете вы. Наука отвечает на вопрос «есть ли разница», а жизнь спрашивает «стоит ли она усилий». Ответы на эти вопросы редко совпадают дословно.

«Значимо» не значит «важно»: размер эффекта смотрят в метаанализе, а границы числа — в доверительном интервале. Порог не превращает совпадение в причину: две вещи рядом.

Осторожно: не читайте «значимо» как «доказано» и не считайте «незначимо» отсутствием эффекта. Смотрите на размер эффекта и интервал. Помните, что при множестве проверок часть находок случайна. И не принимайте решения по метке, не зная величины разницы и цены применения.