Две вещи меняются вместе — ещё не значит, что одна вызывает другую. Такую согласованность называют корреляцией: она измеряет, насколько дружно движутся две величины. Между ними может стоять третья, а может не быть ничего, кроме совпадения. Различить связь и причину — половина умения читать исследования.
Совпадение — это вопрос, а не ответ
Хорошо: увидев связь, спросить, чем она может объясняться кроме причины, поискать общий фактор и проверить, меняется ли одно при изменении другого. Категорически плохо: пересказывать связь словами «вызывает» и «ведёт к», строить на ней решение и считать, что направление известно. Из двух вещей, которые движутся вместе, причина может быть у третьей, у обеих сразу — или ни у одной.
Шаг 1. Понять, что именно связано
Начните с того, что измерено. «Люди, которые пьют кофе, живут дольше» — это связь между привычкой и продолжительностью жизни, но измерены ли одинаково обе части? Часто одна измерена опросом, другая записью из документов, и это уже разные по надёжности вещи.
Дальше проверьте, не подменена ли связь. «Спортсмены реже болеют» может означать не пользу спорта, а то, что больные люди спортом не занимаются. Такая обратная связь встречается постоянно: состояние здоровья определяет привычку, а не наоборот.
Посмотрите на форму связи. Прямая и ровная — одно; скачок в середине или обрыв на краях — другое. Если связь есть только у крайних значений, причина может быть в самих крайностях, а не в обычном изменении величины.
Спросите, на ком это показано. Связь, найденная у людей старше шестидесяти, не обязательно работает у тридцатилетних: тело и обстоятельства разные. Перенос на другую группу — отдельное допущение, и его нужно называть вслух.
Отдельно отметьте размер эффекта. Разница «на три процента» при выборке в сто тысяч бывает статистически заметной и практически пустой. Корреляция может быть настоящей и при этом слишком слабой, чтобы что-то менять в решении.
И проверьте, не выбрана ли связь после просмотра данных. Если перебрать десятки пар и рассказать только про одну яркую, связь найдётся почти всегда. Такое открытие нужно подтверждать на новых данных, а не на тех же самых.
Полезно записать связь одной строкой без глаголов причины: «пьющие кофе в среднем живут дольше». Такая запись сразу показывает, сколько в утверждении допущений. Как только появляется «потому что», начинается объяснение, а его ещё предстоит проверить.
Утверждение: [вставьте фразу из новости]. 1) Запиши связь без слов «вызывает» и «ведёт к». 2) Укажи, что измерено и как: опрос, документы, прибор. 3) Проверь обратное направление: не причина ли здоровье привычки. 4) Отметь размер эффекта и на ком он показан. Не переходи к выводам, пока связь не описана точно.
Разбор: связь любят пересказывать громче, чем она есть
В новости остаётся одна яркая пара, а условия исчезают. «Кофе продлевает жизнь» читается легче, чем «среди людей с определённой привычкой наблюдалась небольшая разница, часть которой объясняется доходом». Громкая версия расходится шире, и в памяти остаётся она.
| Объяснение | Как оно выглядит | Отличающий вопрос |
|---|---|---|
| Общая причина | у кофе и долгой жизни общий доход | остаётся ли разница у людей с одинаковым доходом |
| Обратное направление | болеют меньше, потому что уже здоровы | что раньше появилось: привычка или состояние |
| Случайная находка | перебрали десять пар, осталась яркая | сколько пар проверяли до этой |
| Разная измерка | привычка — опросом, срок жизни — из карт | одинаково надёжны ли обе части |
Шаг 2. Найти третью величину
Главный вопрос при любой связи: что ещё отличает эти две группы. Люди, пьющие кофе, чаще имеют работу с перерывами, больше общаются, выше зарабатывают. Любой из этих факторов может давать ту же разницу в продолжительности жизни.
Такую величину называют общей причиной. Она влияет и на привычку, и на результат, поэтому связь между ними настоящая, но не причинная. Искать её нужно всегда: если она есть, вывод о пользе привычки рассыпается, а наблюдение остаётся верным.
Работает простой приём: перечислить пять различий между группами. Возраст, доход, город, образование, состояние здоровья — обычно находится сразу несколько. Дальше смотрите, какие из них могли бы дать тот же эффект без всякой привычки.
Исследователи стараются уравнять группы: сравнивают людей одного возраста, дохода и состояния. Это помогает, но не спасает полностью: учесть можно только то, что измерили, а неучтённое остаётся. Поэтому фраза «с поправкой на факторы» не означает «доказано».
Особенно осторожно с темами, где группы различаются сильно. Сравнение тех, кто занимается спортом, и тех, кто нет, почти всегда сравнивает ещё и здоровье, и доход, и свободное время. Причинная часть в такой разнице может быть небольшой.
Полезно спросить: если бы я захотел получить этот результат без привычки, что бы я сделал? Если ответ очевиден — больше спать, меньше нервничать, больше двигаться, — то, возможно, именно это и стоит за связью.
Иногда общая причина лежит на уровне места. В городах с чистым воздухом больше парков, а люди там больше гуляют. Сравнивать привычку без учёта города значит приписывать ей разницу, созданную средой.
Связь: [привычка и результат]. Группы: [кто с кем сравнивается]. 1) Перечисли пять различий между группами. 2) Отметь, какие из них влияют и на привычку, и на результат. 3) Проверь, учтены ли эти факторы в исследовании. 4) Скажи, что остаётся от разницы, если убрать общие причины.
Разбор: «с поправкой на факторы» — не печать качества
Поправки сужают объяснение, но не закрывают его. Исследование может учесть доход и возраст и не учесть сон или тревожность. Читателю полезно смотреть, что именно перечислено в поправках: список факторов честнее, чем слово «скорректировано».
Например, связь «кто работает посменно, тот полнеет» читается как причина, а третья величина — график еды: ночная смена сдвигает ужин на три часа ночи. Проверить можно на своём месяце: менять не еду, а время и смотреть, что сдвинется на самом деле.
Шаг 3. Проверить, что это причина
Причинность проверяют вмешательством. Если часть людей случайно получила привычку, а часть нет, и группы сравнили, разница говорит о причине больше, чем наблюдение. Случайное распределение — главный признак, который отличает эксперимент от наблюдения.
Смотрите, как распределяли. Если люди сами выбирали группу, вмешательство уже не чистое: в группу с новым подходом попали те, кто в него верит и готов стараться. Такой эффект называют отбором, и он часто больше самого воздействия.
Проверьте, знали ли участники, в какой они группе. Ожидание меняет самочувствие, поэтому в серьёзных испытаниях применяют плацебо и скрывают распределение. Там, где это невозможно, честное исследование хотя бы обсуждает ограничение.
Смотрите на срок. Краткое улучшение часто проходит, а вред может проявиться позже. Наблюдение за год и наблюдение за неделю отвечают на разные вопросы, и вывод «работает» без срока неполон.
Спросите, повторено ли. Один эксперимент может ошибиться, как и один опрос. Причинный вывод крепнет, когда его независимо воспроизводят другие группы, в других местах и на других людях.
И проверьте механизм. Даже случайное испытание становится убедительнее, если известно, как именно эффект работает. Механизм — не доказательство сам по себе, но его отсутствие у сильного эффекта заставляет переспросить.
Наконец, отделите научную осторожность от пересказа. Исследователь пишет «связано», а заголовок — «вызывает». Разница не в вежливости: за одним словом стоит признание, что альтернативные объяснения не исключены, а за другим — их отрицание.
Исследование: [ссылка или описание]. 1) Определи тип: наблюдение или вмешательство. 2) Проверь, распределяли ли участников случайно. 3) Отметь срок и то, повторено ли исследование. 4) Запиши вывод в одном из двух видов: «связано» или «вызывает». Выбирай второй, только если есть вмешательство и повторение. Ответ дай четырьмя строками: что связано, чем это может объясняться, что учтено в работе, что осталось проверить. Если направления неизвестно — так и напиши «неясно, что от чего», не выбирай наугад. Финалом — одна строка решения: «менять что-то рано» или «пробую и смотрю», с датой и тем, по чему пойму результат.
Разбор: наблюдение не бесполезно, но отвечает на другой вопрос
Наблюдательные исследования незаменимы там, где эксперимент невозможен: нельзя случайно распределить курение или переезд. Они дают сигнал и повод проверить. Проблема начинается, когда сигнал пересказывают как доказанную причину, минуя проверку.
Что из этого следует для решений
Для бытового решения часто достаточно направления, а не точной причины. Если связь устойчива, механизм понятен и вред небольшой, разумно попробовать. Это не научный вывод, а взвешенное решение, и его не нужно выдавать за большее.
Если решение дорогое или необратимое, требуйте большего: вмешательства, повторения, понятного механизма. Одно наблюдение здесь слишком слабая опора. Цена ошибки высока, и осторожность не стоит считать недоверием к науке.
И следите за собственным языком. Когда вы пересказываете новость знакомым, скажите «связано», если не уверены в причине. Точность в одном слове экономит годы заблуждений, а привычка к точности передаётся лучше любых лекций.
Пару «совпадает» проверяют двумя вещами: есть ли контрольная группа и что говорит интерес того, кто заплатил.
Осторожно: не превращайте связь в причину из-за удобства: одно слово «вызывает» меняет смысл всего исследования. Не считайте поправки на факторы доказательством и не путайте отсутствие связи с отсутствием эффекта — слабую связь трудно заметить. И не принимайте серьёзных решений по одному наблюдению: дождитесь повторения хотя бы в одном независимом исследовании.