«Руководство скептика по Вселенной»: Как отличить реальность от вымысла в мире, который тонет в фальши. - Steven Novella
Оценивая окружающую информацию, мы по своей природе используем двухэтапный процесс. Во-первых, у нас есть гиперактивное распознавание закономерностей — склонность видеть любые возможные паттерны, ошибаясь в пользу ложноположительных результатов. Это помогает свести к минимуму риск упустить реальные и потенциально важные закономерности. Затем мы оцениваем эти гипотетические закономерности, чтобы проверить, реальны ли они: имеют ли они смысл и согласуются ли с тем, что нам уже известно (психологи называют этот процесс «проверкой реальности»)? Наш мозг в ходе эволюции научился фиксировать вообще всё, а затем отсеивать ложные паттерны, но первый этап дается нам гораздо легче второго.
Вот почему нам нужна наука. Наука — это, помимо прочего, инструмент отделения реальных закономерностей от тех, что возникли в результате случайной кучности данных. Наука — это формализованная проверка реальности.
Под интеллектуальным анализом данных понимается процесс активного поиска любых закономерностей (корреляций) в больших массивах информации. Но поскольку случайные данные имеют свойство распределяться сгустками, мы неизбежно столкнемся со случайными корреляциями даже тогда, когда за ними нет никакого реального явления. Это часто происходит в контексте статистического анализа обобщенных данных, собранных в ходе исследования или извлеченных из биографических или иных баз данных. Анализ больших массивов информации резко увеличивает вероятность увидеть мнимые закономерности.
Один из методологических подводных камней интеллектуального анализа данных заключается в том, что исследователь не определяет заранее, какие именно потенциальные корреляции он ищет, поэтому любое совпадение засчитывается как попадание в цель. На практике это то же самое, как если бы вы просто заметили какую-то закономерность, хотя и не искали ее целенаправленно. Например, врач может заметить, что в последнее время он часто сталкивается с редким заболеванием. Или кто-то может заметить, что по вторникам у него обычно выдается плохой день на работе. По сути, все мы ежедневно просеиваем данные окружающего мира, подсознательно выискивая в нем закономерности.
Такие закономерности могут быть реальными — отражать настоящую первопричину, — но гораздо более вероятно, что это просто очередное случайное сгущение данных. Причина этого кроется в огромном количестве потенциальных корреляций, способных возникнуть чисто случайно. Их так много, что нам суждено регулярно сталкиваться с кажущимися закономерностями (независимо от того, активно или пассивно мы анализируем данные) по много раз на дню.
С точки зрения статистики, нельзя просто взять и рассчитать вероятность возникновения конкретной корреляции по воле одного лишь случая. Эта конкретная корреляция может показаться невероятной — шансы на то, что она произошла случайно, могут составлять тысячи или даже миллионы к одному. Это может выглядеть убедительно, но вводит в заблуждение, потому что ставится неверный вопрос (это ошибка лотереи, которую мы обсуждали ранее). Такой вопрос предполагает, что вы заранее определили паттерн, который искали. Если же вы этого не сделали, то правильный вопрос должен звучать так: какова вероятность того, что в этом наборе данных обнаружится хоть какая-то корреляция?
Поэтому любую закономерность или корреляцию, обнаруженную в результате поиска (опять же, активного или пассивного) в большом массиве данных, следует рассматривать лишь как возможную корреляцию, требующую дополнительной проверки. Подобные корреляции могут служить началом серьезного исследования (но никак не его финалом). Правильная научная процедура состоит в том, чтобы затем задать вопрос: реальна ли эта корреляция? Врач из приведенного выше примера должен спросить себя: «Действительно ли это вспышка редкого заболевания или просто случайное совпадение?» Чтобы подтвердить корреляцию, необходимо заранее задаться вопросом: какова вероятность возникновения именно этой конкретной корреляции? — а затем проверить ее на новом, свежем наборе данных, чтобы посмотреть, подтвердится ли она. Поскольку вы ищете конкретную, заранее определенную взаимосвязь, теперь вы можете применить статистический анализ и спросить, какова вероятность того, что эта корреляция возникла случайно.
Однако есть еще один статистический подводный камень, которого нужно избегать. При анализе нового набора данных нельзя включать в него те исходные данные, которые первыми навели вас на мысль о существовании этой корреляции. Новые данные должны быть полностью независимыми. Это нужно для того, чтобы избежать автоматического переноса случайной корреляции, выуженной из прежнего массива данных.
Помните то астрологическое исследование дорожных происшествий? Его результаты так и не удалось должным образом воспроизвести, но другие авторы анализировали похожие данные. В 2006 году Ли Романов, президент сайта InsuranceHotline.com, изучила 100 000 страховых случаев и обнаружила, что Весы, Водолеи и Овны — худшие водители, в то время как Львы, Близнецы и Раки — лучшие. Эти выводы кардинально отличались от результатов исследования Suncorp-Metway — как если бы все эти корреляции были абсолютно случайными.
Ошибки при интеллектуальном анализе данных происходят в науке постоянно. Чаще всего они встречаются в эпидемиологических исследованиях, которые, по сути, сводятся к просеиванию больших массивов данных в поисках корреляций. Справедливости ради, в большинстве случаев их подают корректно — как предварительные данные, требующие проверки. Затем такие корреляции пропускают через жернова науки, и они либо подтверждаются, либо нет. Но этот процесс может занимать годы. Тем временем СМИ часто преподносят подобные предварительные корреляции как готовые выводы, не помещая их в надлежащий научный контекст. Виноваты в этом зачастую и сами ученые, а также поддерживающие их институты — например, когда они рассылают пресс-релизы, сообщая об обнаружении новой интересной корреляции, связанной со здоровьем, до того, как она была проверена. В результате публика наблюдает бесконечный парад возможных корреляций, исходящих от ученых, и по большому счету не понимает, какую роль подобные данные играют в общем научном процессе.
Если в академической науке интеллектуальный анализ данных — это лишь досадная помеха (компетентные ученые и статистики прекрасно о нем знают и умеют его избегать), то в лженауке он цветет пышным цветом. Астрология — отличный тому пример. Исследования, якобы подтверждающие астрологию, строятся почти исключительно на интеллектуальном анализе данных, и они всегда рассеиваются как дым, стоит лишь применить строгие методы статистики или провести независимые тесты.
Это также огромный фактор в нашем повседневном взаимодействии с окружающим миром. Нас завораживают паттерны, которые мы видим. Они словно говорят с нами. Наш «здравый смысл» часто оказывается плохим ориентиром, поскольку мы склонны совершать огромную ошибку, принимая за чистую монету любые увиденные паттерны. Единственный способ ориентироваться в этом море
" alt="Евгения Федорова - Авторское право">
