Эффект МакГерка

редактировать

Эффект Мак-Герка - это перцептивный феномен, демонстрирующий взаимодействие между слухом и зрением при восприятии речи. Иллюзия возникает, когда слуховой компонент одного звука сочетается с визуальным компонентом другого звука, что приводит к восприятию третьего звука. Визуальная информация, которую человек получает, видя, как человек говорит, изменяет то, как он слышит звук. Если человек получает слуховую информацию плохого качества, но визуальную информацию хорошего качества, у него может быть больше шансов испытать эффект Мак-Герка. Возможности интеграции аудио и визуальной информации также могут повлиять на то, испытает ли человек эффект. Было показано, что люди, у которых лучше сенсорная интеграция, более восприимчивы к этому эффекту. На многих людей эффект Мак-Герка по-разному влияет в зависимости от многих факторов, включая повреждение головного мозга и другие расстройства.

СОДЕРЖАНИЕ

  • 1 Справочная информация
  • 2 Внутренние факторы
    • 2.1 Ущерб
    • 2.2 Расстройства
      • 2.2.1 Дислексия
      • 2.2.2 Специфические языковые нарушения
      • 2.2.3 Расстройства аутистического спектра
      • 2.2.4 Нарушения изучения языка
      • 2.2.5 Болезнь Альцгеймера
      • 2.2.6 Шизофрения
      • 2.2.7 Афазия
      • 2.2.8 Биполярное расстройство
  • 3 Внешние факторы
    • 3.1 Перекрестное дублирование
    • 3.2 Видимость рта
    • 3.3 Зрительные отвлекающие факторы
    • 3.4 Слоговая структура
    • 3.5 Пол
    • 3.6 Знакомство
    • 3.7 Ожидание
    • 3.8 Самовлияние
    • 3.9 Временная синхронность
    • 3.10 Отвлечение от физических задач
    • 3.11 Взгляд
  • 4 Другие языки
  • 5 Нарушение слуха
  • 6 младенцев
  • 7 См. Также
  • 8 ссылки
  • 9 Библиография
  • 10 Внешние ссылки

Фон

Впервые он был описан в 1976 г. в статье Гарри МакГерка и Джона Макдональда под названием «Слышание губ и видение голосов» в журнале « Природа» (23 декабря 1976 г.). Этот эффект был обнаружен случайно, когда МакГурк и его научный сотрудник Макдональд попросили специалиста дублировать видео с фонемой, отличной от той, на которой говорят, при проведении исследования того, как младенцы воспринимают язык на разных этапах развития. При воспроизведении видео оба исследователя услышали третью фонему, а не ту, что произносится или произносится ртом на видео.

Этот эффект может наблюдаться, когда видео, на котором воспроизводится одна фонема, дублируется звукозаписью произносимой другой фонемы. Часто воспринимаемая фонема - это третья, промежуточная фонема. Например, слоги / ba-ba / произносятся поверх движений губ / ga-ga /, а восприятие - это / da-da /. МакГурк и Макдональд изначально полагали, что это является результатом общих фонетических и визуальных свойств / b / и / g /. Наблюдались два типа иллюзий в ответ на неконгруэнтные аудиовизуальные стимулы: слияния («ба» слуховые и «га» визуальные производят «да») и комбинации («га» слуховые и «ба» визуальные производят «бга»). Это попытка мозга предоставить сознанию наилучшее предположение о поступающей информации. Информация, поступающая из глаз и ушей, противоречива, и в этом случае глаза (визуальная информация) оказали большее влияние на мозг, и, таким образом, были созданы реакции слияния и сочетания.

Зрение является основным чувством для человека, но восприятие речи является мультимодальным, что означает, что оно включает информацию из более чем одной сенсорной модальности, в частности, слуха и зрения. Эффект Мак-Герка возникает во время фонетической обработки, потому что интеграция звуковой и визуальной информации происходит на ранней стадии восприятия речи. Эффект Мак-Гурка очень устойчив; то есть знание о нем, кажется, мало влияет на его восприятие. Это отличается от некоторых оптических иллюзий, которые разрушаются, когда их «видят насквозь». Некоторые люди, в том числе те, кто исследовал это явление более двадцати лет, испытывают эффект, даже если знают, что он имеет место. За исключением людей, которые могут идентифицировать большую часть того, что говорится, только с помощью чтения речи, большинство людей весьма ограничены в своей способности идентифицировать речь только по визуальным сигналам. Более распространенным явлением является способность визуальной речи повышать разборчивость слышимой речи в шумной среде. Видимая речь может также изменить восприятие совершенно слышимых речевых звуков, когда визуальные речевые стимулы не соответствуют слуховой речи. Обычно считается, что восприятие речи - это слуховой процесс; однако мы используем информацию немедленно, автоматически и, в значительной степени, бессознательно, и поэтому, несмотря на то, что широко считается правдой, речь - это не только то, что мы слышим. Речь воспринимается всеми органами чувств, работающими вместе (зрение, прикосновение и слушание движений лица). Мозг часто не осознает отдельные сенсорные составляющие того, что он воспринимает. Следовательно, когда дело доходит до распознавания речи, мозг не может различить, видит он или слышит поступающую информацию.

Он также был исследован в отношении показаний свидетелей. Исследование Уэрхэма и Райта 2005 года показало, что непоследовательная визуальная информация может изменить восприятие устных высказываний, предполагая, что эффект Мак-Герка может иметь множество влияний на повседневное восприятие. Не ограничиваясь слогами, эффект может проявляться в целых словах и влиять на повседневные взаимодействия, о которых люди не подозревают. Исследования в этой области могут предоставить информацию не только по теоретическим вопросам, но также могут иметь терапевтическое и диагностическое значение для людей с расстройствами, связанными с аудио- и визуальной интеграцией речевых сигналов.

Внутренние факторы

Повреждать

Оба полушария мозга вносят вклад в эффект Мак-Герка. Они работают вместе, чтобы интегрировать речевую информацию, полученную через слуховые и зрительные органы чувств. Реакция Мак-Герка чаще возникает у правшей, у которых лицо имеет привилегированный доступ к правому полушарию, а слова - к левому. У людей, которым была сделана каллозотомия, эффект Мак -Герка все еще присутствует, но значительно медленнее. У людей с поражениями левого полушария головного мозга зрительные функции часто играют решающую роль в речевой и языковой терапии. Люди с поражениями в левом полушарии мозга демонстрируют больший эффект Мак-Гурка, чем у нормальной контрольной группы. Визуальная информация сильно влияет на восприятие речи у этих людей. Отсутствует восприимчивость к иллюзии Мак-Герка, если повреждение левого полушария привело к дефициту зрительного сегментарного восприятия речи. У людей с повреждением правого полушария проявляются нарушения как визуальных, так и аудиовизуальных задач интеграции, хотя они все еще могут интегрировать информацию для создания эффекта Мак-Герка. Интеграция появляется только в том случае, если визуальные стимулы используются для повышения производительности, когда слуховой сигнал слабый, но слышимый. Следовательно, эффект Мак-Герка проявляется у людей с повреждением правого полушария головного мозга, но этот эффект не такой сильный, как у нормальной группы.

Расстройства

Дислексия

Люди с дислексией демонстрируют меньший эффект Мак-Герка, чем нормальные читатели того же хронологического возраста, но они показывают тот же эффект, что и читатели того же возраста, что и читатели. Дислектики особенно отличались комбинированными ответами, а не реакциями слияния. Меньший эффект Мак-Герка может быть связан с трудностями, с которыми дислектики сталкиваются при восприятии и воспроизведении групп согласных.

Специфические языковые нарушения

У детей с определенными языковыми нарушениями эффект Мак-Гурка значительно ниже, чем у среднего ребенка. Они используют меньше визуальной информации при восприятии речи или уделяют меньше внимания артикуляционным жестам, но без проблем воспринимают только слуховые сигналы.

Расстройства аутистического спектра

У детей с расстройствами аутистического спектра (РАС) эффект Мак-Гурка был значительно ниже, чем у детей без него. Однако, если стимул был нечеловеческим (например, отскок теннисного мяча до звука подпрыгивающего пляжного мяча), то они получали такие же оценки, как и дети без РАС. У детей младшего возраста с РАС эффект Мак-Гурка очень снижен; однако с возрастом это уменьшается. По мере взросления людей эффект, который они демонстрируют, становится ближе к тем, у которых не было РАС. Было высказано предположение, что ослабленный эффект Мак-Герка, наблюдаемый у людей с РАС, вызван недостатком идентификации как слуховых, так и визуальных компонентов речи, а не интеграции указанных компонентов (хотя различение речевых компонентов как речевых компонентов может быть изоморфным их объединению.).

Нарушения в изучении языка

Взрослые с ограниченными способностями к изучению языка демонстрируют гораздо меньший эффект Мак-Герка, чем другие взрослые. Эти люди не так подвержены визуальному влиянию, как большинство людей. Следовательно, люди с плохим знанием языка произведут меньший эффект Мак-Герка. Причина меньшего эффекта в этой популяции заключается в том, что может быть несвязанная активность между передним и задним отделами мозга или левым и правым полушариями. Возможна также мозжечковая этиология или этиология базальных ганглиев.

Болезнь Альцгеймера

У пациентов с болезнью Альцгеймера (БА) эффект Мак-Герка проявляется в меньшей степени, чем у пациентов без него. Часто уменьшение размера мозолистого тела вызывает процесс отключения полушарий. У пациентов с БА наблюдается меньшее влияние на зрительный стимул, что является причиной пониженного эффекта Мак-Гурка.

Шизофрения

Эффект Мак-Герка не так выражен у шизофреников, как у нешизофреников. Однако у взрослых это существенно не отличается. Шизофрения замедляет развитие аудиовизуальной интеграции и не позволяет ей достичь пика своего развития. Однако никакой деградации не наблюдается. Шизофреники более склонны полагаться на слуховые подсказки, чем на визуальные, при восприятии речи.

Афазия

Люди с афазией демонстрируют нарушение восприятия речи во всех условиях (только зрительные, слуховые и аудиовизуальные) и, следовательно, демонстрируют небольшой эффект Мак-Гурка. Наибольшая трудность для афазиков заключается в том, что они воспринимают только зрение, что свидетельствует о том, что они используют больше слуховых стимулов для восприятия речи.

Биполярное расстройство

Ограниченные данные, доступные на сегодняшний день, не показывают очевидной разницы между людьми с биполярным расстройством и людьми без него в отношении эффекта Мак-Герка. Однако предварительные данные показывают, что люди с биполярным расстройством гораздо хуже читают по губам, чем здоровые люди. Это может свидетельствовать о том, что нейронные пути, сформированные и активированные при интеграции слуховой и визуальной речевой информации у людей с биполярным расстройством, отличаются от таковых у людей без каких-либо психических расстройств.

Внешние факторы

Перекрестный дубляж

Несоответствие в категории гласных значительно уменьшило величину эффекта Мак-Герка для слитных ответов. Звуковые / a / токены, дублированные на визуальные / i / артикуляции, были более совместимы, чем наоборот. Это может быть связано с тем, что / a / имеет широкий спектр артикуляционных конфигураций, тогда как / i / более ограничен, что значительно облегчает испытуемым обнаружение расхождений в стимулах. Контексты / i / гласных производят самый сильный эффект, в то время как / a / дает умеренный эффект, а / u / почти не влияет.

Видимость рта

Эффект МакГерка сильнее, когда видна правая часть рта говорящего (слева зрителя). Люди, как правило, получают больше визуальной информации из правой части рта говорящего, чем из левой или даже всего рта. Это относится к факторам внимания полушарий, которые обсуждались выше в разделе о полушариях мозга.

Зрительные отвлекающие факторы

Эффект Мак-Герка слабее, когда присутствует визуальный отвлекающий фактор, на который обращает внимание слушатель. Визуальное внимание модулирует аудиовизуальное восприятие речи. Еще одна форма отвлечения внимания - движение говорящего. Более сильный эффект Мак-Герка возникает, если лицо / голова говорящего неподвижны, а не движутся.

Слоговая структура

Сильный эффект Мак-Гурка можно увидеть для слогов щелчков и гласных по сравнению со слабыми эффектами для отдельных щелчков. Это показывает, что эффект Мак-Герка может происходить в неречевой среде. Фонологическая значимость не является необходимым условием возникновения эффекта Мак-Герка; тем не менее, это увеличивает силу эффекта.

Пол

Самки демонстрируют более сильный эффект Мак-Герка, чем самцы. Женщины демонстрируют значительно большее визуальное влияние на слуховую речь, чем мужчины, для кратких визуальных стимулов, но для полных стимулов разницы не наблюдается. Другой аспект, касающийся пола, - это вопрос о мужских лицах и голосах как раздражителях по сравнению с женскими лицами и голосами как раздражителями. Тем не менее, нет никакой разницы в силе эффекта Мак-Герка для любой ситуации. Если мужское лицо дублируется женским голосом, или наоборот, все равно нет разницы в силе эффекта МакГерка. Знание того, что голос, который вы слышите, отличается от лица, которое вы видите, даже если человек разного пола, не устраняет эффект Мак-Герка.

Знакомство

Субъекты, которым знакомы лица говорящих, менее восприимчивы к эффекту Мак-Герка, чем те, кому не знакомы лица говорящих. С другой стороны, не было никакой разницы в знакомстве голоса.

Ожидание

Семантическая согласованность оказала значительное влияние на иллюзию Мак-Герка. Эффект ощущается чаще и оценивается как более ясный в семантически конгруэнтном состоянии по сравнению с неконгруэнтным условием. Когда человек ожидал определенного визуального или слухового внешнего вида на основе семантической информации, ведущей к нему, эффект Мак-Герка значительно усиливался.

Самовлияние

Эффект Мак-Гурка можно наблюдать, когда слушатель одновременно является говорящим или артикулятором. Глядя на себя в зеркало и артикулируя визуальные стимулы, одновременно слушая другой слуховой стимул, можно наблюдать сильный эффект Мак-Гурка. В другом состоянии, когда слушатель мягко произносит слуховые стимулы, наблюдая, как другой человек формулирует противоречивые визуальные жесты, эффект Мак-Герка все еще можно увидеть, хотя он и слабее.

Временная синхронность

Для присутствия эффекта Мак-Герка не требуется временная синхронизация. На испытуемых по-прежнему сильно влияют слуховые стимулы, даже если они отстают от визуальных стимулов на 180 миллисекунд (точка, в которой эффект Мак-Гурка начинает ослабевать). Было меньше терпимости к отсутствию синхронности, если слуховые стимулы предшествовали визуальным стимулам. Чтобы вызвать значительное ослабление эффекта Мак-Гурка, слуховые стимулы должны были опережать визуальные стимулы на 60 миллисекунд или отставать на 240 миллисекунд.

Отвлечение физических задач

Эффект Мак-Герка значительно уменьшился, когда внимание было переключено на тактильную задачу (прикосновение к чему-либо). Прикосновение - это сенсорное восприятие, подобное зрению и слуху, поэтому повышенное внимание к прикосновению снижает внимание к слуховым и визуальным ощущениям.

Посмотреть

Глазам не нужно фиксироваться, чтобы интегрировать звуковую и визуальную информацию в восприятие речи. Не было разницы в эффекте Мак-Герка, когда слушатель фокусировался где-нибудь на лице говорящего. Эффект не появляется, если слушатель фокусируется за лицом говорящего. Чтобы эффект МакГерка стал незначительным, взгляд слушателя должен отклоняться от рта говорящего не менее чем на 60 градусов.

Другие языки

Независимо от языка, все слушатели в определенной степени полагаются на визуальную информацию при восприятии речи. Но интенсивность эффекта Мак-Герка различается в зависимости от языка. Слушатели, говорящие на голландском, английском, испанском, немецком, итальянском и турецком языках, испытывают сильный эффект Мак-Гурка; Слабее японские и китайские слушатели. Большинство исследований эффекта Мак-Герка между языками проводилось между английским и японским. У японских слушателей эффект Мак-Гурка меньше, чем у английских слушателей. Культурная практика избегания лица у японцев может уменьшить эффект Мак-Гурка, а также тональность и слоговые структуры языка. Это также может быть причиной того, что китайские слушатели менее восприимчивы к визуальным подсказкам и, подобно японцам, производят меньший эффект, чем английские слушатели. Исследования также показывают, что у японских слушателей не наблюдается роста визуального влияния после шести лет, как у английских детей. Слушатели-японцы лучше понимают несовместимость зрительных и слуховых стимулов, чем слушатели-англичане. Эта большая способность могла быть связана с отсутствием группы согласных в японском языке. Тем не менее, слушатели всех языков прибегают к визуальным стимулам, когда речь неразборчива; затем эффект Мак-Гурка применяется к ним в равной степени. Эффект МакГурка работает со слушателями всех протестированных языков.

Нарушение слуха

Эксперименты проводились с участием слабослышащих людей, а также лиц, которым были установлены кохлеарные имплантаты. Эти люди склонны взвешивать визуальную информацию с речью сильнее, чем со слуховой. По сравнению с людьми с нормальным слухом, это не отличается, если нет более одного слога, например слова. Что касается эксперимента Мак-Гурка, то ответы пользователей кохлеарной имплантации вызвали те же реакции, что и у людей с нормальным слухом, когда слуховой билабальный стимул дублируется на визуальный велярный стимул. Однако, когда слуховой стоматологический стимул дублируется на зрительный билабиальный стимул, реакция оказывается совершенно иной. Эффект Мак-Герка все еще присутствует у людей с нарушением слуха или использующих кохлеарные имплантаты, хотя в некоторых аспектах он сильно отличается.

Младенцы

Измеряя внимание младенца к определенным аудиовизуальным стимулам, можно записать реакцию, соответствующую эффекту Мак-Гурка. В возрасте от нескольких минут до пары дней младенцы могут имитировать движения лица взрослых, а в течение нескольких недель после рождения младенцы могут распознавать движения губ и звуки речи. На этом этапе может произойти интеграция аудио- и визуальной информации, но не на профессиональном уровне. Первое свидетельство эффекта Мак-Герка можно увидеть в возрасте четырех месяцев; однако больше доказательств обнаружено у 5-месячных детей. В процессе приучения ребенка к определенному стимулу и последующего изменения стимула (или его части, например, ba-voiced / va-visual на da-voiced / va-visual), реакция, имитирующая эффект Мак-Гурка, становится очевидной.. Сила эффекта Мак-Гурка показывает образец развития, который усиливается в детстве и распространяется во взрослой жизни.

Смотрите также

использованная литература

Библиография

внешние ссылки

Последняя правка сделана 2024-01-02 03:53:06
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте