Без группы сравнения любое улучшение невозможно оценить: стало лучше — по сравнению с чем? Контрольная группа отвечает именно на этот вопрос, и её отсутствие — самая частая причина громких выводов, которые потом не подтверждаются.
Без контрольной группы сравнение — это течение времени, а не эффект
Хорошо: сразу искать группу сравнения, проверять, кто в неё попал и что с ней делали, и понимать, за счёт чего получен результат. Категорически плохо: верить выводу «стало лучше», когда неясно, с чем сравнивают, и считать контрольной группой тех, кто просто отказался от участия. Контрольная группа — это то, с чем сравнивают, и без неё результат описывает не эффект, а течение времени.
Шаг 1. Найти группу сравнения
Начните с вопроса: с кем сравнивали участников. В хорошем исследовании ответ есть в описании метода. В плохом — его нет вовсе, а вывод всё равно звучит уверенно.
Посмотрите, как распределяли людей. Случайное распределение — лучший вариант: тогда группы похожи по всем признакам, известным и неизвестным. Если распределяли по желанию или по удобству, группы могут различаться сильнее, чем кажется.
Проверьте, что получала контрольная группа. В испытаниях лекарств это может быть плацебо, в программах обучения — обычные занятия, в бытовых сравнениях — ничего. Важно, чтобы различие между группами было только одно: изучаемое воздействие.
Отметьте размер групп. Маленькая контрольная группа даёт шаткое сравнение: случайные колебания в ней выглядят как эффект. Если в основной группе сто человек, а в контрольной десять, вывод стоит проверять особенно внимательно.
Спросите, знали ли люди, в какой группе они находятся. Ожидание меняет самочувствие и поведение, и тогда разница отражает веру, а не воздействие. Скрытое распределение и плацебо решают эту проблему там, где это возможно.
И проверьте, не смешались ли группы со временем. Люди переходят, бросают участие, начинают делать что-то ещё. Если переходы частые, к концу исследования группы могут отличаться от того, какими были в начале.
Полезно посмотреть, совпадали ли группы до начала. Возраст, пол, исходное состояние — всё это должно быть сопоставимо. Если уже на старте одна группа была здоровее или активнее, разница в конце может объясняться этим, а не воздействием.
И спросите, почему вообще появилась контрольная группа. Иногда её нет по этическим причинам: нельзя лишать людей лечения. Тогда используют другие схемы сравнения, и о них нужно прочитать отдельно.
Исследование: [название]. Группы: [основная и контрольная]. 1) Как распределяли участников между группами. 2) Что получала контрольная группа. 3) Насколько группы сопоставимы в начале. 4) Менялся ли состав групп по ходу исследования. Сверь описание групп с текстом: как распределяли и что получала контрольная — процитировано, а не домыслено.
Разбор: «до и после» — не контрольная группа
Сравнение состояния до и после воздействия показывает изменение, но не его причину. За то же время человек мог выздороветь сам, привыкнуть, сменить обстоятельства. Без группы, которая прожила те же месяцы без воздействия, вывод остаётся догадкой.
| Вид сравнения | Что показывает | Что остаётся скрытым |
|---|---|---|
| до и после, без группы | как изменилось состояние | всё, что случилось за это время само |
| случайная контрольная группа | разницу от воздействия | сколько участников выбыло и чем они отличались |
| группа по желанию | отличается ли инициативный человек | собственный эффект инициативы |
| с обычной практикой | лучше или хуже привычного | как именно выполнялось привычное |
Шаг 2. Понять, что ещё меняется вместе с воздействием
Люди, которые получают новую программу, часто получают и внимание: с ними больше общаются, их чаще проверяют, о них заботятся. Это внимание само по себе улучшает результат, и эффект программы иногда оказывается эффектом заботы.
Смотрите на дополнительные изменения. Начало занятий спортом часто сопровождается изменением питания, режима сна, круга общения. Если все эти перемены идут вместе, приписать результат одной из них неверно.
Проверьте, как измеряли. Если участники сами сообщают об улучшении, а контрольная группа не знает, что за ней наблюдают, разница может возникнуть из-за внимания, а не эффекта. Объективные измерения снижают эту опасность.
Отметьте, кто проводил измерения. Исследователь, ожидающий результата, невольно трактует неоднозначные данные в его пользу. Поэтому в серьёзных работах тех, кто измеряет, держат в неведении о группе.
Посмотрите на выбывших. Если из основной группы ушли те, кому не помогло, а из контрольной — все, кто и так поправился, итоговое сравнение искажается. Число и причины отказов важны не меньше результата, и в хорошем отчёте они сведены в отдельную таблицу.
Спросите, был ли период до начала. Иногда люди записываются в программу в момент подъёма или спада, и дальше идёт естественное движение. Сравнение с такой же группой помогает отделить это движение от воздействия.
И проверьте, что происходило в контрольной группе параллельно. Иногда там начинают применять что-то похожее, и разница исчезает не потому, что воздействие не работает, а потому, что обе группы получили примерно одно и то же.
Полезно представить исследование без названия метода. Если убрать название и оставить описание групп, вывод иногда становится очевидно слабым. Название часто создаёт доверие, которого не заслуживают данные.
Исследование: [описание]. Измерения: [как и кем]. 1) Получала ли контрольная группа столько же внимания. 2) Какие изменения шли вместе с воздействием. 3) Сколько людей выбыло и почему. 4) Знал ли измеряющий, кто в какой группе. Пометь, что шло вместе с воздействием: без этого вывод о разнице держится на догадке.
Разбор: внимание — тоже воздействие
В классическом опыте с освещением на фабрике производительность росла при любом изменении света, потому что работники чувствовали интерес к себе. Название этого эффекта помнят, а вывод применяют редко: часть улучшений в любой программе создаётся самим фактом участия.
Шаг 3. Оценить, насколько вывод устойчив
Смотрите на размер эффекта. Даже при хорошем сравнении разница может быть маленькой. Мало узнать, есть ли эффект: важно, насколько он заметен в жизни.
Проверьте, сохраняется ли результат позже. Многие эффекты держатся недели и исчезают через полгода. Если измеряли только сразу после окончания, долгосрочная польза неизвестна.
Посмотрите, повторяли ли исследование. Одно испытание с контрольной группой — сильный аргумент, но не окончательный. Повторение другими авторами закрывает вопросы, которые остались у первого.
Обратите внимание на ограничения, которые называют авторы. Хорошая работа сама говорит, чему её вывод не учит. Если ограничения не упомянуты, вероятно, их не искали или текст написан для убеждения. Отсутствие оговорок — не обвинение, а сигнал читать внимательнее.
Спросите, что было в контрольной группе после исследования. Если ей потом дали то же воздействие, это этично, но в отдалённых сравнениях нужно учитывать. Иногда итоговая разница стирается именно поэтому.
И отличайте «не сработало» от «сделали неправильно». Программа может не дать эффекта потому, что её плохо исполнили, а не потому, что идея неверна. В описании должно быть видно, что именно делали и насколько точно.
Полезно держать в голове простую схему: вопрос — сравнение — размер — повторение. Если хотя бы одного элемента нет, вывод остаётся предварительным, как бы уверенно он ни звучал. Схема простая, но проверяет большинство громких обещаний за пару минут.
Результат: [эффект]. Срок: [когда измерили]. 1) Насколько велика разница в понятных единицах. 2) Сохраняется ли эффект через время. 3) Повторено ли исследование другими. 4) Какие ограничения называют сами авторы. Сверь устойчивость с повторениями: если других исследований нет, вывод помечен однократным. Ответ дай четырьмя строками: с чем сравнивали, насколько разница велика, через сколько её проверяли, кто проверил ещё. Группы сравнения нет — так и напиши «сравнения нет», не выдавай «до и после» за эффект. Финалом — одна строка: что бы вы делали с этим знанием за свои деньги и чего не стали бы.
Разбор: без сравнения остаётся рассказ
История «мне помогло» — не доказательство, но и не пустое место: она подсказывает, что стоит проверить. Проблема в переходе от личного опыта к общему выводу без группы сравнения. Такой переход делают постоянно, и именно поэтому контрольная группа считается базовой вещью, а не формальностью хорошего отчёта.
Например, три месяца принимали витамин и отмечают, что стали реже болеть. Группы сравнения нет: за те же месяцы сменилась работа, исчезли долгие поездки и добавился сон. Сравнение с собой прошлогодним эту путаницу не распутывает — нужны люди, которые прожили те же месяцы без витамина.
Что это значит для решений
Когда вам предлагают метод, программу или средство, спросите, с чем сравнивали. Ответ «люди стали довольны» без группы сравнения мало что говорит: довольными могли стать и без метода.
Если сравнение есть, посмотрите, насколько группы похожи и сколько людей в них было. Это две вещи, которые можно проверить без специальных знаний и которые чаще всего определяют доверие к результату. Если про группы сказано мало, спросите прямо: описание метода — не секрет.
Агент помогает найти описание метода и выписать, что получали группы, но вывод делаете вы. Для бытового решения часто достаточно понять, что контрольная группа была и что в ней происходило. Если этого не сказано, считайте обещание неподтверждённым.
Сравнение без группы выглядит выводом: проверяют корреляцию и помнят про ошибку выжившего, где группы нет вовсе.
Чаще всего без группы обходятся в медицине: исследование про здоровье тогда читают с вопросами врачу. В деньгах тот же дефект прячут в допущениях — см. экономическое исследование.
Осторожно: не считайте улучшение доказательством без группы сравнения. Не путайте контрольную группу с теми, кто отказался участвовать. Помните, что внимание и ожидание тоже влияют на результат. И проверяйте, сопоставимы ли группы в начале: разница на старте часто объясняет всё, что нашли в конце.