Войти
Анализ настроений (также известный как анализ мнений или ИИ эмоций ) относится к использованию обработки естественного языка, анализа текста, компьютерной лингвистики и биометрии для систематической идентификации, извлечения, количественной оценки и изучать аффективные состояния и субъективную информацию. Анализ настроений широко применяется к материалам голоса клиента, таким как обзоры и ответы на опросы, онлайн и социальные сети, а также медицинские материалы для приложений, которые варьируются от маркетинга до обслуживания клиентов в клиническую медицину.
Цели и проблемы анализа настроений могут быть показано на нескольких простых примерах.
Основная задача анализа тональности - классификация полярности данного текста на уровне документа, предложения или характеристики / аспекта - независимо от того, выражено ли мнение в документе., предложение или характеристика / аспект объекта могут быть положительными, отрицательными или нейтральными. Расширенная классификация настроений «за пределами полярности» рассматривает, например, эмоциональные состояния, такие как «сердитый», «грустный» и «счастливый» ".
. Предшественниками сентиментального анализа является General Inquirer, который дал подсказки для количественной оценки моделей в тексте и отдельно психологическое исследование, в котором изучается психологическое состояние человека на основе анализа его вербального поведения.
Впоследствии метод, описанный в патенте Volcani и Fogel, специально рассматривал настроения и идентифицированные отдельные слова и фразы в тексте по отношению к различным эмоциональным шкалам. Текущая система, основанная на их работе, называется EffectCheck, представляет синонимы, которые можно использовать для увеличения или уменьшения уровня вызванных эмоций в каждой шкале.
Многие другие последующие попытки были менее изощренными, с использованием простого полярного взгляда на настроения, от положительного до отрицательного, например, работы Терни и Панга, которые применили разные методы для определения полярности обзора продукта. s и обзоры фильмов соответственно. Эта работа находится на уровне документов. Можно также классифицировать полярность документа по многосторонней шкале, что, в частности, было предпринято Пангом и Снайдером: Панг и Ли расширили основную задачу классификации обзора фильма как положительного или отрицательного, чтобы предсказать звездные рейтинги по трехбалльной шкале. или по 4-звездочной шкале, в то время как Снайдер провел углубленный анализ отзывов о ресторанах, прогнозируя оценки для различных аспектов данного ресторана, таких как еда и атмосфера (по пятизвездочной шкале).
Первые шаги к объединению различных подходов - обучающих, лексических, основанных на знаниях и т. Д. - были предприняты на весеннем симпозиуме AAAI 2004 г., на котором лингвисты, информатики и другие заинтересованные исследователи сначала совпадающие интересы и предлагаемые общие задачи и контрольные наборы данных для систематического вычислительного исследования аффекта, привлекательности, субъективности и настроения в тексте.
Даже несмотря на то, что в большинстве статистических методов классификации нейтральный класс игнорируется при предположении, что нейтральные тексты лежат около границы бинарного классификатора, некоторые исследователи полагают, что, как и в любой проблеме полярности, необходимо выделить три категории. Более того, может быть доказано, что определенные классификаторы, такие как Макс. Энтропия и SVM, могут выиграть от введения нейтрального класса и повысить общую точность классификации. В принципе, существует два способа работы с нейтральным классом. Либо алгоритм сначала определяет нейтральный язык, отфильтровывает его, а затем оценивает остальные с точки зрения положительных и отрицательных настроений, либо строит трехстороннюю классификацию за один шаг. Этот второй подход часто включает оценку распределения вероятностей по всем категориям (например, наивные байесовские классификаторы, реализованные в NLTK ). Использование нейтрального класса зависит от характера данных: если данные четко сгруппированы по нейтральному, отрицательному и положительному языкам, имеет смысл отфильтровать нейтральный язык и сосредоточиться на полярности между положительными и отрицательными настроениями. Если, напротив, данные в основном нейтральны с небольшими отклонениями в сторону положительного и отрицательного воздействия, эта стратегия затруднит четкое различие между двумя полюсами.
Другой метод определения настроения - это использование системы масштабирования, при которой словам, обычно ассоциируемым с негативным, нейтральным или позитивным настроением, присваивается соответствующее число по шкале от -10 до +10 (большинство от отрицательного до наиболее положительного) или просто от 0 до положительного верхнего предела, например +4. Это позволяет регулировать тональность данного термина относительно его окружения (обычно на уровне предложения). Когда фрагмент неструктурированного текста анализируется с помощью обработки естественного языка, каждому понятию в указанной среде присваивается оценка, основанная на том, как эмоциональные слова соотносятся с концепцией и связанной с ней оценкой. Это позволяет перейти к большему количеству оценок. сложное понимание сантиментов, потому что теперь можно регулировать эмоциональную ценность концепции относительно модификаций, которые могут ее окружать. Например, слова, которые усиливают, ослабляют или отрицают чувство, выраженное концепцией, могут повлиять на его оценку. В качестве альтернативы текстам могут быть присвоены положительные и отрицательные оценки силы настроения, если целью является определение настроения в тексте, а не общей полярности и силы текста.
Существуют различные другие типы анализа настроений, например - Анализ настроений на основе аспектов, анализ настроений (положительных, отрицательных, нейтральных), многоязычный анализ настроений и обнаружение эмоций.
Эта задача обычно определяется как классификация данного текста (обычно предложения) на один из двух классов: объективный или субъективный. Иногда эта проблема может быть сложнее классификации полярности. Субъективность слов и фраз может зависеть от их контекста, и объективный документ может содержать субъективные предложения (например, новостная статья, цитирующая мнения людей). Более того, как упоминал Су, результаты во многом зависят от определения субъективности, используемого при аннотировании текстов. Однако Панг показал, что удаление объективных предложений из документа перед классификацией его полярности помогает повысить производительность.
Это относится к определению мнений или настроений, выраженных в отношении различных характеристик или аспектов объектов, например сотового телефона, цифровой камеры или банка. Функция или аспект - это атрибут или компонент объекта, например экран мобильного телефона, услуга ресторана или качество изображения камеры. Преимущество анализа тональности на основе характеристик заключается в возможности фиксировать нюансы об объектах интереса. Различные функции могут вызывать разные эмоциональные отклики, например, у отеля может быть удобное расположение, но посредственная еда. Эта проблема включает в себя несколько подзадач, например, определение соответствующих сущностей, извлечение их характеристик / аспектов и определение того, является ли мнение, выраженное по каждой характеристике / аспекту, положительным, отрицательным или нейтральным. Автоматическая идентификация функций может выполняться синтаксическими методами, с помощью тематического моделирования или с помощью глубокого обучения. Более подробные обсуждения этого уровня анализа настроений можно найти в работе Лю.
Существующие подходы к анализу настроений можно разделить на три основные категории: методы, основанные на знаниях, статистические методы и гибридные подходы. Техники, основанные на знаниях, классифицируют текст по категориям аффектов на основе наличия однозначных аффективных слов, таких как счастливый, печальный, испуганный и скучающий. Некоторые базы знаний не только перечисляют слова очевидного аффекта, но также приписывают произвольным словам вероятную «близость» к определенным эмоциям. Статистические методы используют элементы из машинного обучения, такие как скрытый семантический анализ, вспомогательные векторные машины, «набор слов », «Точечная взаимная информация "для семантической ориентации и глубокое обучение. Более сложные методы пытаются обнаружить носителя сантимента (то есть человека, который поддерживает это аффективное состояние) и цель (то есть сущность, в отношении которой ощущается аффект). Чтобы узнать мнение в контексте и получить характеристику, о которой высказал говорящий, используются грамматические отношения слов. Грамматические отношения зависимости получаются путем глубокого анализа текста. Гибридные подходы используют как машинное обучение, так и элементы из представления знаний, такие как онтологии и семантические сети, для обнаружения семантики, которая выражается тонко, например, посредством анализа концепций, которые явно не передают релевантную информацию, но неявно связаны с другими концепциями, которые это делают.
Применяются программные инструменты с открытым исходным кодом, а также ряд бесплатных и платных инструментов анализа настроений машинное обучение, статистика и методы обработки естественного языка для автоматизации анализа тональности больших коллекций текстов, включая веб-страницы, онлайн-новости, группы обсуждения в Интернете, онлайн-обзоры, веб-блоги и социальные сети. С другой стороны, системы, основанные на знаниях, используют общедоступные ресурсы для извлечения семантической и аффективной информации, связанной с концепциями естественного языка. Система может помочь в аффективном рассуждении на основе здравого смысла. Анализ тональности также может выполняться для визуального контента, то есть изображений и видео (см. Мультимодальный анализ тональности ). Одним из первых подходов в этом направлении является SentiBank, использующий пару прилагательных существительных для представления визуального контента. Кроме того, подавляющее большинство подходов к классификации тональности полагается на модель набора слов, которая игнорирует контекст, грамматику и даже порядок слов. Подходы, которые анализируют тональность на основе того, как слова составляют значение более длинных фраз, показали лучший результат, но они несут дополнительные накладные расходы на аннотацию.
Для анализа настроений требуется компонент человеческого анализа, поскольку автоматизированные системы не могут анализировать исторические тенденции отдельного комментатора или платформы и часто неправильно классифицируются по выраженному ими настроению. Автоматизация влияет примерно на 23% комментариев, правильно классифицированных людьми. Однако люди часто не соглашаются, и утверждается, что межчеловеческое соглашение обеспечивает верхнюю границу, которую в конечном итоге могут достичь автоматические классификаторы настроений.
Иногда структура настроений и тем довольно сложна. Кроме того, проблема анализа настроений немонотонна в отношении расширения предложения и замены стоп-слова (сравните, ОНИ не позволят моей собаке остаться в этом отеле, а я не позволю своей собаке остаться в этом отеле). Для решения этой проблемы к анализу настроений был применен ряд подходов, основанных на правилах и рассуждениях, включая отказоустойчивое логическое программирование. Кроме того, существует ряд правил обхода дерева, применяемых к синтаксическому дереву синтаксического анализа для извлечения актуальности настроений в настройках открытой области.
Точность системы анализа настроений, в принципе, насколько это согласуется с человеческими суждениями. Обычно это измеряется вариативными мерами, основанными на точности и запоминании по двум целевым категориям отрицательного и положительного текста. Однако, согласно исследованиям, люди-оценщики обычно соглашаются только в 80% случаев (см. Межэкспертная надежность ). Таким образом, программа, которая достигает 70% точности в классификации настроений, работает почти так же хорошо, как и люди, хотя такая точность может показаться не впечатляющей. Если бы программа была «правильной» в 100% случаев, люди все равно не соглашались бы с ней примерно в 20% случаев, поскольку они так сильно не согласны с любым ответом.
С другой стороны, компьютерные системы сделают ошибки очень сильно отличаются от ошибок людей-оценщиков, поэтому цифры не совсем сопоставимы. Например, компьютерная система будет иметь проблемы с отрицаниями, преувеличениями, шутками или сарказмом, с которыми обычно легко справиться для человека-читателя: некоторые ошибки, которые делает компьютерная система, будут казаться человеку чрезмерно наивными. В целом, полезность анализа настроений, как это определяется в академических исследованиях, для практических коммерческих задач была поставлена под сомнение, в основном потому, что простая одномерная модель настроения от отрицательного к положительному дает довольно мало полезной информации для клиента, беспокоясь о своих проблемах. влияние публичного дискурса, например, на репутация бренда или компании.
Чтобы лучше соответствовать потребностям рынка, оценка анализа настроений перешла к более целевым показателям, сформулированным совместно с представителями PR-агентств и специалистами по исследованию рынка. В центре внимания, например, набор оценочных данных RepLab в меньшей степени касается содержания рассматриваемого текста и больше - влияния рассматриваемого текста на репутацию бренда.
Поскольку оценка анализа настроений становится все более и более ориентированной на задачи, каждая реализация требует отдельная модель обучения, чтобы получить более точное представление настроения для данного набора данных.
Рост социальных сетей, таких как блоги и социальные сети, подогрел интерес к анализу настроений. С распространением обзоров, рейтингов, рекомендаций и других форм онлайн-выражения мнения в Интернете превратились в своего рода виртуальную валюту для компаний, которые хотят продавать свои продукты, выявлять новые возможности и управлять своей репутацией. По мере того, как компании стремятся автоматизировать процесс фильтрации шума, понимания разговоров, определения релевантного контента и соответствующих действий, многие теперь обращаются к анализу настроений. Еще больше усложняет ситуацию рост анонимных социальных сетей, таких как 4chan и Reddit. Если web 2.0 был направлен на демократизацию публикации, то следующий этап развития сети вполне может быть основан на демократизации интеллектуального анализа данных всего публикуемого контента.
Один шаг к этой цели сделан в исследованиях. Несколько исследовательских групп в университетах по всему миру в настоящее время сосредоточены на изучении динамики настроений в электронных сообществах с помощью анализа настроений. Например, проект CyberEmotions недавно определил роль отрицательных эмоций в стимулировании дискуссий в социальных сетях.
Проблема в том, что большинство алгоритмов анализа настроений используют простые термины для обозначения выразить мнение о продукте или услуге. Однако культурные факторы, лингвистические нюансы и разные контексты чрезвычайно затрудняют превращение строки письменного текста в простое за или против. Тот факт, что люди часто расходятся во мнениях относительно тональности текста, показывает, насколько велика задача компьютеров, чтобы понять это правильно. Чем короче строка текста, тем сложнее она становится.
Несмотря на то, что короткие текстовые строки могут быть проблемой, анализ настроений в рамках микроблогов показал, что Twitter можно рассматривать как действительный онлайн-индикатор политических настроений. Политические настроения твитов демонстрируют близкое соответствие политическим позициям партий и политиков, указывая на то, что содержание сообщений Twitter правдоподобно отражает политический ландшафт офлайн. Кроме того, анализ настроений в Twitter также показал общественное настроение, стоящее за циклами воспроизводства человека в планетарном масштабе, а также другие проблемы, имеющие значение для общественного здравоохранения, такие как побочные реакции на лекарства.
Для рекомендательных систем было доказано, что анализ тональности является ценным методом. Рекомендательная система направлена на прогнозирование предпочтения элемента целевого пользователя. Основные рекомендательные системы работают с явным набором данных. Например, совместная фильтрация работает с матрицей рейтингов, а фильтрация на основе содержимого работает с метаданными элементов.
На многих веб-сайтах социальных сетей или электронной коммерции пользователи могут предоставлять текстовый обзор, комментарии или отзывы к элементам. Этот текст, созданный пользователями, является богатым источником мнений пользователей о многочисленных продуктах и предметах. Потенциально, для элемента такой текст может раскрывать как связанные функции / аспекты элемента, так и мнения пользователей по каждой функции. Характеристики / аспекты элемента, описанные в тексте, играют ту же роль, что и метаданные в контентной фильтрации, но первые более ценны для рекомендательной системы. Поскольку эти функции широко упоминаются пользователями в их обзорах, их можно рассматривать как наиболее важные функции, которые могут существенно повлиять на восприятие пользователем товара, в то время как метаданные товара (обычно предоставляются производителями, а не потребителями) может игнорировать функции, которые беспокоят пользователей. К разным предметам с общими характеристиками пользователь может относиться по-разному. Кроме того, функция одного и того же элемента может получать разные мнения от разных пользователей. Мнения пользователей по поводу функций можно рассматривать как многомерный рейтинг, отражающий их предпочтения по элементам.
На основе характеристик / аспектов и настроений, извлеченных из созданного пользователем текста, может быть создана гибридная рекомендательная система. Есть два типа мотивации порекомендовать элемент кандидата пользователю. Первая мотивация состоит в том, что у предмета-кандидата есть множество общих черт с предметами, предпочитаемыми пользователем, в то время как вторая мотивация состоит в том, что предмет-кандидат получает высокую оценку своих характеристик. Для предпочтительного элемента разумно полагать, что элементы с одинаковыми функциями будут иметь аналогичную функцию или полезность. Таким образом, эти предметы также, вероятно, будут предпочтительны для пользователя. С другой стороны, для общей характеристики двух элементов-кандидатов другие пользователи могут дать положительный отзыв одному из них, а другому - отрицательно. Очевидно, пользователю следует рекомендовать предмет с высокой оценкой. На основе этих двух мотивов для каждого элемента-кандидата может быть построена комбинация рейтингового балла сходства и рейтинга настроений.
За исключением сложности самого анализа настроений, применение анализа настроений к отзывам или обратной связи также сталкивается с проблемой спама и предвзятых отзывов. Одно направление работы сосредоточено на оценке полезности каждого обзора. Плохо написанные отзывы или отзывы вряд ли помогут системе рекомендаций. Кроме того, обзор может быть разработан таким образом, чтобы препятствовать продажам целевого продукта и, таким образом, нанести вред рекомендательной системе, даже если она хорошо написана.
Исследователи также обнаружили, что длинные и короткие формы пользовательского текста следует рассматривать по-разному. Интересный результат показывает, что краткие обзоры иногда более полезны, чем длинные, потому что в кратком тексте легче отфильтровать шум. Для длинного текста увеличивающаяся длина текста не всегда приводит к пропорциональному увеличению количества функций или настроений в тексте.
Ламба и Мадхусудхан представляют новый способ удовлетворить информационные потребности сегодняшних пользователей библиотеки, переупаковывая результаты анализа настроений платформ социальных сетей, таких как Twitter, и предоставляя их в виде консолидированной временной службы в различных форматах. Кроме того, они предлагают новый способ проведения маркетинга в библиотеках с использованием анализа социальных сетей и анализа настроений.
