Парадокс Симпсона, который также имеет несколько других названий, представляет собой феномен вероятности и статистики, в котором тренд появляется в нескольких группах данных, но исчезает или обращается вспять при объединении групп. Этот результат часто встречается в статистике социальных и медицинских наук, и он особенно проблематичен, когда частотным данным неправомерно дается причинно-следственная интерпретация. Парадокс может быть разрешен, если в статистическом моделировании должным образом учтены смешивающие переменные и причинно-следственные связи. Парадокс Симпсона был использован, чтобы проиллюстрировать вводящие в заблуждение результаты, которые может привести к неправильному использованию статистики.
Эдвард Х. Симпсон впервые описал это явление в своей технической статье в 1951 году, но статистики Карл Пирсон и др. В 1899 году и Удни Юл в 1903 году упоминали аналогичные эффекты ранее. ПАСПОРТНУЮ парадокс Симпсона был введен Colin R. Блит в 1972 г., также упоминается как разворот Симпсона, эффект Юла-Симпсона, амальгамируемости парадокс, или реверсирования парадокс.
Один из самых известных примеров парадокса Симпсона - это исследование гендерных предубеждений при поступлении в аспирантуру Калифорнийского университета в Беркли. Данные о приеме на осень 1973 г. показали, что мужчины, подавшие заявления, были с большей вероятностью, чем женщины, и разница была настолько большой, что вряд ли была случайностью.
Все | Мужчины | Женщины | ||||
---|---|---|---|---|---|---|
Претенденты | Допущенный | Претенденты | Допущенный | Претенденты | Допущенный | |
Общий | 12 763 | 41% | 8442 | 44% | 4321 | 35% |
Однако при изучении отдельных отделов выяснилось, что 6 из 85 отделов были предвзято относились к мужчинам, а 4 - к женщинам. В целом, объединенные и скорректированные данные показали «небольшое, но статистически значимое смещение в пользу женщин». Данные шести крупнейших отделов перечислены ниже, два верхних отдела по количеству кандидатов для каждого пола выделены курсивом.
отделение | Все | Мужчины | Женщины | |||
---|---|---|---|---|---|---|
Претенденты | Допущенный | Претенденты | Допущенный | Претенденты | Допущенный | |
А | 933 | 64% | 825 | 62% | 108 | 82% |
B | 585 | 63% | 560 | 63% | 25 | 68% |
C | 918 | 35% | 325 | 37% | 593 | 34% |
D | 792 | 34% | 417 | 33% | 375 | 35% |
E | 584 | 25% | 191 | 28% | 393 | 24% |
F | 714 | 6% | 373 | 6% | 341 | 7% |
В исследовательской работе Bickel et al. пришли к выводу, что женщины, как правило, подавали заявления на более конкурентоспособные факультеты с более низкими показателями приема даже среди квалифицированных абитуриентов (например, на факультет английского языка), тогда как мужчины, как правило, подавали заявления на менее конкурентоспособные факультеты с более высокими показателями приема (например, на инженерный факультет).).
Другой пример - это медицинское исследование, в котором сравнивается эффективность двух методов лечения камней в почках. В приведенной ниже таблице показаны коэффициенты успеха (термин «коэффициент успеха» здесь фактически означает долю успеха) и количество процедур лечения, связанных как с небольшими, так и с большими камнями в почках, где лечение A включает открытые хирургические процедуры, а лечение B включает закрытые хирургические процедуры. Цифры в скобках указывают количество успешных случаев по сравнению с общим размером группы.
Уход Размер камня | Лечение А | Лечение B |
---|---|---|
Маленькие камни | Группа 1 93% (81/87) | Группа 2 87% (234/270) |
Большие камни | Группа 3 73% (192/263) | Группа 4 69% (55/80) |
Оба | 78% (273/350) | 83% (289/350) |
Парадоксальный вывод состоит в том, что лечение A более эффективно при использовании на небольших камнях, а также при использовании на больших камнях, но лечение B оказывается более эффективным, если рассматривать оба размера одновременно. В этом примере «скрывающаяся» переменная (или смешивающая переменная ), вызывающая парадокс, - это размер камней, который ранее не был известен исследователям как важный, пока не были включены его эффекты.
Какое лечение считается лучшим, зависит от того, какое соотношение успехов (успехов / всего) больше. Изменение неравенства между двумя отношениями при рассмотрении объединенных данных, что создает парадокс Симпсона, происходит потому, что два эффекта происходят вместе:
Основываясь на этих эффектах, можно увидеть парадоксальный результат, потому что эффект размера камней перевешивает преимущества лучшего лечения (A). Короче говоря, менее эффективное лечение B оказалось более эффективным, потому что его чаще применяли в случаях небольших камней, которые было легче лечить.
Типичный пример парадокса Симпсона связан со средними показателями игроков в профессиональном бейсболе. Один игрок может иметь более высокий средний уровень в год, чем другой игрок, каждый год в течение ряда лет, но иметь более низкий средний уровень за все эти годы. Это явление может происходить, когда количество летучих мышей сильно различается по годам. Математик Кен Росс продемонстрировал это, используя среднее значение ударов двух бейсболистов, Дерека Джетера и Дэвида Джастиса, за 1995 и 1996 годы:
Год Тесто | 1995 г. | 1996 г. | Комбинированный | |||
---|---|---|---|---|---|---|
Дерек Джетер | 12/48 | 0,250 | 183/582 | .314 | 195/630 | 0,310 |
Дэвид Джастис | 104/411 | 0,253 | 45/140 | . 321 | 149/551 | .270 |
И в 1995, и в 1996 году у Джастиса был более высокий средний результат (жирным шрифтом), чем у Джетера. Однако, когда два бейсбольных сезона объединены, Джетер показывает более высокий средний уровень, чем Джастис. По словам Росса, это явление будет наблюдаться примерно раз в год среди возможных пар игроков.
Парадокс Симпсона также можно проиллюстрировать с помощью двумерного векторного пространства. Вероятность успеха (т.е. успехов / попыток) может быть представлена в виде вектора, с наклоном в. Чем круче вектор, тем выше вероятность успеха. Если две скорости и объединены, как в примерах, приведенных выше, результат может быть представлен суммой векторов и, которая согласно правилу параллелограмма является вектором, с наклоном.
Парадокс Симпсона гласит, что даже если вектор (отмечен оранжевым цветом на рисунке) имеет меньший наклон, чем другой вектор (синий), и имеет меньший наклон, чем, сумма двух векторов потенциально может иметь больший наклон, чем сумма два вектора, как показано в примере. Чтобы это произошло, один из оранжевых векторов должен иметь больший наклон, чем один из синих векторов (здесь и), и они, как правило, будут длиннее, чем векторы с альтернативными индексами, тем самым доминируя в общем сравнении.
Парадокс Симпсона также может возникать в корреляциях, в которых две переменные, по-видимому, имеют (скажем) положительную корреляцию друг с другом, тогда как на самом деле они имеют отрицательную корреляцию, причем разворот вызван «скрывающимся» смешивающим фактором. Берман и др. приведите пример из экономики, где набор данных предполагает, что общий спрос положительно коррелирует с ценой (то есть более высокие цены приводят к большему спросу), что противоречит ожиданиям. Анализ показывает, что время является смешивающей переменной: построение графика цены и спроса в зависимости от времени показывает ожидаемую отрицательную корреляцию за различные периоды, которая затем меняется на положительную, если влияние времени игнорируется путем простого построения графика зависимости спроса от цены.
Психологический интерес к парадоксу Симпсона пытается объяснить, почему люди поначалу считают изменение знака невозможным, оскорбленные идеей о том, что действие, предпочтительное как при одном условии, так и при его отрицании, должно быть отклонено, когда условие неизвестно. Вопрос в том, откуда у людей эта сильная интуиция и как она закодирована в уме.
Парадокс Симпсона демонстрирует, что эта интуиция не может быть получена ни на основе классической логики, ни только на основе вероятностного исчисления, и, таким образом, привел философов к предположению, что она поддерживается врожденной причинной логикой, которая направляет людей в рассуждениях о действиях и их последствиях. Принцип уверенности Сэвиджа - пример того, что может влечь за собой такая логика. Квалифицированная версия принципа уверенности Сэвиджа действительно может быть получена из do -calculus Перла и гласит: «Действие A, которое увеличивает вероятность события B в каждой субпопуляции C i из C, должно также увеличивать вероятность B в популяции, поскольку в целом, при условии, что действие не изменит распределение субпопуляций ». Это говорит о том, что знания о действиях и последствиях хранятся в форме, напоминающей причинно- байесовские сети.
В статье Павлидеса и Перлмана представлено доказательство, принадлежащее Хаджикостасу, что в случайной таблице 2 × 2 × 2 с равномерным распределением парадокс Симпсона будет иметь место с вероятностью ровно 1 ⁄ 60. Исследование Кока предполагает, что вероятность того, что парадокс Симпсона возникнет случайным образом в моделях путей (т. Е. В моделях, созданных путем анализа путей ) с двумя предикторами и одной критериальной переменной, составляет примерно 12,8%; немного выше, чем 1 вхождение на 8 моделей путей.
Второй, менее известный парадокс также обсуждался в статье Эдварда Х. Симпсона 1951 года. Это может произойти, когда «разумная интерпретация» не обязательно находится в разделенных данных, как в парадоксе Симпсона, но вместо этого может находиться в комбинированных данных. Какая форма данных следует использовать, зависит от фона и процесса, в результате которого они были получены, а это означает, что правильную интерпретацию данных не всегда можно определить, просто наблюдая за таблицами.