Опрос на тысячу человек обещает точность до процента, но точность бывает только у правильно набранной выборки. Если спросили удобных людей, никакой размер не спасёт: результат опишет не страну, а тех, кто согласился отвечать.
Опрос — не страна: цифра держится на том, кого спросили
Хорошо: выяснить, кого именно опрашивали, как отбирали и как спрашивали, а потом смотреть на разброс, а не на одну цифру. Категорически плохо: переносить результат на всех, если опрошены подписчики одного канала, и верить проценту без указания числа участников. Выборка — это миниатюрная копия общества, а не группа случайных людей, которые оказались рядом.
Шаг 1. Понять, кого спрашивали
Начните с вопроса: о ком вывод? Если речь о стране, выборка должна отражать страну по возрасту, полу, городу и другим важным признакам. Если речь об одной профессии, то и выборка должна быть из неё. Нельзя ответить про всех, спросив только удобных.
Посмотрите, как набирали участников. Случайный отбор из полного списка — хороший знак; «подписчики канала» и «кто откликнулся на приглашение» — плохой. Во втором случае отвечают те, у кого есть интерес и время, а это уже не общество.
Отдельно проверьте самоотбор. Люди, которые сами приходят отвечать на тему, часто отличаются от тех, кто проходит мимо: у них сильнее мнение. Даже большой опрос в сети может сместиться в одну сторону.
Спросите, кого в выборке мало. Молодые, пожилые, жители села, люди без интернета — обычно именно они выпадают первыми. Если группа мала, её мнение в итоговой цифре почти не слышно, хотя в жизни этих людей много.
Если в исследовании есть поправки на состав населения, это хороший признак. Поправки делают результат ближе к реальности, но они не спасают, если изначально отобрали не тех: перевешивание не создаёт данные, которых не было.
Полезно сравнить заявленную цель с фактом. Автор пишет «россияне», а в описании стоит телефонный опрос по стационарным номерам — значит, за словом «россияне» стоит городской человек старше пятидесяти. Никакой подвох не нужен: расхождение возникает само, если не проверять.
Держите в голове разницу между «не смогли спросить» и «не захотели отвечать». Первое смещает выборку, если недоступная группа большая; второе — если отказ связан с темой. Молчание по одной причине и по другой описывают разные миры, и различать их нужно до чтения цифр.
Опрос: [кто проводил, дата]. Вывод: [о ком]. 1) Назови, о какой группе говорит вывод. 2) Опиши, как набирали участников. 3) Отметь, кто мог пройти мимо и почему. 4) Проверь, есть ли поправки на состав населения. Не переноси результат на всех, если выборка узкая.
Разбор: большая выборка не лечит плохой отбор
Миллион ответов от одной аудитории — это миллион мнений одной аудитории, а не миллион голосов страны. Размер уменьшает случайную ошибку, но не исправляет систематическую. Смещённая выборка остаётся смещённой при любом объёме.
Шаг 2. Оценить размер и погрешность
Погрешность — это разброс, а не признак ошибки. Хорошо проведённый опрос обычно указывает, насколько результат может отличаться от истинного. Цифра «сорок процентов плюс-минус три» честнее, чем просто «сорок».
Смотрите на два вида ошибок. Случайная связана с тем, что попали именно такие участники, — она уменьшается с размером выборки. Систематическая связана с отбором и вопросами — она не уменьшается вообще.
Сравнивайте интервалы, а не точки. Если у одного кандидата сорок два процента плюс-минус четыре, а у другого тридцать восемь плюс-минус четыре, разница между ними может быть случайной. Новости часто объявляют победителя там, где интервалы пересекаются.
Не путайте погрешность с ошибкой людей. Погрешность говорит о точности измерения, а не о том, что все ответившие правдивы. Люди могут ошибаться в оценке себя, стесняться или отвечать «как принято».
Если число не указано вовсе, считайте, что точность неизвестна. Проценты без размера выборки и без описания отбора — украшение, а не измерение.
Полезный приём — пересчитать разброс самому. Для простого случайного опроса на тысячу человек интервал вокруг пятидесяти процентов обычно около трёх пунктов, а у краёв он меньше. Это грубая прикидка, но она быстро показывает, стоит ли вообще обсуждать разницу в два пункта.
И помните про округление. Если в выборке двести человек, каждый ответ весит полпроцента, и «сорок один и два» — это уже выдумка, а не измерение. Подробность цифры не должна обгонять возможности выборки, иначе точность начинает жить своей жизнью.
| Ответили | Разброс | Что это значит для вывода |
|---|---|---|
| 40 человек | примерно ±15 % | разница в десять пунктов — шум |
| 200 человек | примерно ±7 % | три пункта разницы не видны вовсе |
| 1 000 человек | примерно ±3 % | обычная обещанная точность до одного процента — уже выдумка |
| 4 000 человек | примерно ±1,5 % | дальше размер почти не помогает |
| 10 000 и больше | примерно ±1 % | дальше решает отбор, а не число ответов |
Опрос: [цифры]. Участников: [сколько]. Погрешность: [если указана]. 1) Проверь, указан ли размер выборки. 2) Найди интервал, а не только точечную цифру. 3) Отметь, пересекаются ли интервалы у сравниваемых групп. 4) Запиши, какой вывод следует с учётом разброса.
Разбор: точность до десятых — не признак качества
«Тридцать семь и четыре десятых процента» звучит научно, но если выборка смещена, эта десятая ничего не значит. Знаки после запятой создают ощущение точности; проверяйте не их, а отбор и интервал.
Например, «шестьдесят процентов работают удалённо» из опроса в городском чате фрилансеров: двадцать тысяч ответов, и все от тех, у кого работа уже удалённая. Размер здесь ничего не лечит, потому что отбор сделан до вопроса, — и первым читают именно его, а не процент.
Шаг 3. Проверить, как спрашивали
Формулировка вопроса меняет ответ. «Поддерживаете ли вы политику поддержки семей» и «стоит ли тратить деньги на программу, которая показала спорные результаты» — вопросы об одном, а ответы будут разными.
Порядок вопросов тоже важен. Если перед вопросом задать наводящий, он подготовит мнение. Хорошие опросы дают полный список вопросов, а не только результаты.
Смотрите на варианты ответа. Когда нет варианта «не знаю» или «трудно сказать», часть людей выбирает что-то наугад, и картина становится увереннее, чем реальность.
Проверьте, кто заказал и оплатил опрос. Заказчик может быть честным, но знать его полезно: это помогает понять, какие вопросы задавали и какие не задавали.
Сравните с другими опросами по той же теме. Если разные исследователи получают близкие цифры, доверия больше. Если разброс огромный, возможно, дело в формулировках или в отборе.
Проверьте место опроса. Домашний разговор и анкета в коридоре учреждения дают разные ответы на один и тот же вопрос: рядом с чужими людьми человек отвечает осторожнее. Обстановка — часть методики, и она почти никогда не описывается в пересказе новости.
Ещё один признак — отчёт целиком. Хороший опрос публикует полные таблицы и описание. Если доступна только одна цифра в пресс-релизе, читатель видит итог без условий, при которых этот итог получился. Отсутствие отчёта само по себе не обман, но проверять нечего.
Опрос: [кто заказал]. Вопросы: [где смотреть]. 1) Проверь формулировку: не подсказывает ли она ответ. 2) Посмотри порядок вопросов и наличие варианта «не знаю». 3) Узнай, кто заказчик и кто платил. 4) Сравни результат хотя бы с одним независимым опросом. Ответ дай четырьмя строками: кого спрашивали, сколько человек, какой разброс, что пропало между вопросом и выводом. Если размера выборки нет — пиши «точность неизвестна», а не выдумывай проценты. Финалом — таблица на три колонки: цифра из отчёта, то же с учётом разброса, можно ли спорить о двух пунктах.
Разбор: «большинство» без числа — ничто
«Большинство россиян считают» — фраза, за которой может стоять тысяча человек или сорок. Без числа и описания выборки слово «большинство» описывает не страну, а автора текста. Спрашивайте цифру и методику, прежде чем соглашаться с выводом: две строки описания часто меняют смысл всей новости.
Что делать с результатами опросов
Относитесь к опросу как к средству увидеть общую картину, а не точное значение. Он полезен, чтобы понять настроение, разброс мнений и вопросы, которые люди считают важными. Он плохо подходит для прогноза с точностью до процента.
Если результат вас касается лично, проверьте, входите ли вы в выборку по основным признакам. Часто оказывается, что ваш случай описан плохо, потому что таких, как вы, в выборке мало.
И не спорьте о цифре, если не видели вопроса. Спор о процентах без формулировки похож на спор о книге по обложке.
Если опрос вам нужен для дела, заказывайте его с описанием метода заранее: кого спрашивают, сколько человек, что делают с отказами. Требование к методике до начала работы стоит дешевле, чем объяснение странного результата после. И результат тогда можно защищать, а не пересказывать.
Выборку смотрят вместе с двумя соседями: как считают доверительный интервал и чем отличается опрос в соцсетях. Ошибка выжившего — та же выборка, только видимая частично: чего не видно в историях успеха.
Осторожно: не принимайте решений по одной цифре из новости: проверяйте, кто опрашивал, кого и как. Не считайте опрос в соцсети измерением общества и не путайте погрешность с ложью — честный опрос тоже даёт разброс. И не переносите мнение группы на каждого человека в ней: внутри любой выборки есть разные люди.