SemEval

SemEval (Sem antic Eval uation) - это непрерывная серия оценок систем вычислительного семантического анализа ; она произошла от Sensevalсмысл слова серия оценок. Оценки предназначены для изучать природу значения в языке. Хотя смысл интуитивно понятен людям, перенос этой интуиции в вычислительный анализ оказался труднодостижимым.

Эта серия оценок предоставляет механизм для более точной характеристики того, что необходимо вычислить по значению. Таким образом, оценки обеспечивают возникающий механизм для выявления проблем и решений для вычислений со смыслом. Эти упражнения эволюционировали, чтобы сформулировать больше аспектов, которые участвуют в нашем использовании языка. Они начали с очевидных простых попыток идентифицировать значения слов с помощью вычислений. Они были разработаны для исследования взаимосвязей между элементами в предложении (например, обозначение семантической роли ), отношений между предложениями (например, кореференция ) и характера того, что мы говорим. (и анализ тональности ).

Целью упражнений SemEval и Senseval является оценка систем семантического анализа. «Семантический анализ » относится к формальному анализу значения, а «вычислительный» относится к подходам, которые в принципе поддерживают эффективную реализацию.

Первые три оценки, от Senseval-1 до Senseval-3, были сосредоточены на устранении неоднозначности слов (WSD), каждый раз увеличивая количество языков, предлагаемых в задачах, и количество участвующих команд. Начиная с четвертого семинара, SemEval-2007 (SemEval-1), характер задач расширился и теперь включает в себя задачи семантического анализа, выходящие за рамки устранения неоднозначности слов.

Инициируемые концепцией, сообщество SemEval решило проводить семинары по оценке ежегодно в связи с конференцией * SEM. Также было принято решение, что не все задачи по оценке будут выполняться каждый год, например ни одна из задач WSD не была включена в семинар SemEval-2012.

• 1 История
  • 1.1 Ранняя оценка алгоритмов определения смысловой неоднозначности
  • 1.2 Senseval to SemEval
  • 1.3 Цикл SemEval на 3, 2 или 1 год
    • 1.3.1 Список семинаров Senseval и SemEval
• 2 Структура семинара SemEval
• 3 Задачи семантической оценки
  • 3.1 Обзор проблем семантического анализа
  • 3.2 Обзор задач Senseval и SemEval
  • 3.3 Области оценки
  • 3.4 Тип семантических аннотаций
• 4 См. также
• 5 Ссылки
• 6 Внешние ссылки

Ранняя оценка алгоритмов устранения неоднозначности слов

С самых ранних дней, оценка Качество алгоритмов устранения неоднозначности смысла слов было в первую очередь вопросом внутренней оценки, и «почти не было предпринято попыток оценить встроенные компоненты WSD». Лишь совсем недавно внешние оценки начали предоставлять некоторые свидетельства ценности WSD для приложений конечных пользователей. Примерно до 1990 года обсуждения задачи устранения неоднозначности были сосредоточены в основном на иллюстративных примерах, а не на всеобъемлющей оценке. В начале 1990-х годов были начаты более систематические и строгие внутренние оценки, включая более формальные эксперименты с небольшими наборами неоднозначных слов.

Senseval to SemEval

В апреле 1997 года Марта Палмер и Марк Лайт организовали семинар "Тэги с помощью лексической семантики: почему, что и как?" совместно с Конференцией по прикладной обработке естественного языка. В то время было очевидное признание того, что вручную аннотированный корпус корпус произвел революцию в других областях НЛП, таких как тегирование части речи и синтаксический анализ, и что основанные на корпусе подходы также могут произвести революцию в автоматическом семантическом анализе. Килгаррифф напомнил, что существует «высокая степень согласия в отношении того, что область нуждается в оценке», и несколько практических предложений Резника и Яровски положили начало дискуссии, которая привела к созданию оценочных упражнений Senseval.

SemEval 3, Цикл в 2 или 1 год

После SemEval-2010 многие участники считают, что трехлетний цикл - это долгое ожидание. Многие другие общие задачи, такие как (CoNLL) и (RTE), выполняются ежегодно. По этой причине координаторы SemEval дали возможность организаторам задач выбирать между двухлетним или трехлетним циклом. Сообщество SemEval отдавало предпочтение трехлетнему циклу.. Хотя голосование в сообществе SemEval отдавало предпочтение трехлетнему циклу, организаторы и координаторы решили разделить задачу SemEval на 2 семинара по оценке. Это было вызвано появлением нового. Организаторы SemEval сочли целесообразным связать наше мероприятие с конференцией * SEM и совместить семинар SemEval с конференцией * SEM. Организаторы получили очень положительные отзывы (от координаторов задач / организаторов и участников) об ассоциации с ежегодным * SEM, и 8 задач были готовы перейти на 2012 год. Так родились СемЭвал-2012 и СемЭвал-2013. Текущий план состоит в том, чтобы переключиться на ежегодное расписание SemEval, чтобы связать его с конференцией * SEM, но не все задачи должны выполняться каждый год.

Список семинаров Senseval и SemEval

• Senseval-1 проходил в летом 1998 г. для английского, французского и итальянского языков, кульминацией которого стал семинар, проведенный 2–4 сентября в замке Херстмонсо, Сассекс, Англия.
• Сенсеваль-2 проходил летом 2001 г., а затем семинаром, проведенным в июле 2001 года в Тулузе в связи с ACL 2001. Senseval-2 включал задания для баскского, китайского, чешского, датского, голландского, английского, эстонского, итальянского, японского, корейского, испанского и шведского языков.
• Senseval-3 проходил в марте-апреле 2004 года, после чего в июле 2004 года в Барселоне был проведен семинар в связи с ACL 2004. Senseval-3 включал 14 различных задач для устранения неоднозначности основного смысла слова, а также определения семантических ролей., многоязычные аннотации, логические формы, получение подкатегорий.
• SemEval-2007 (Sense val-4) состоялся в 2007 году, после чего был проведен семинар совместно с ACL в Праге. SemEval-2007 включал 18 различных задач, направленных на оценку систем семантического анализа текста. Этому результату посвящен специальный выпуск «Language Resources and Evaluation».
• SemEval-2010 прошел в 2010 году, после чего в Упсале был проведен семинар совместно с ACL. СемЭвал-2010 включал 18 различных заданий по оценке систем семантического анализа.
• СемЭвал-2012 проходил в 2012 году; он был связан с новой * SEM, Первой совместной конференцией по лексической и вычислительной семантике, и был совмещен с NAACL, Монреаль, Канада. SemEval-2012 включал в себя 8 различных задач, направленных на оценку вычислительных семантических систем. Однако в SemEval-2012 не было заданий WSD, связанные с WSD задачи были запланированы на предстоящий SemEval-2013.
• SemEval-2013 был связан с NAACL 2013, Североамериканская ассоциация компьютерной лингвистики, Джорджия, США и проходил в 2013 году. Он включал 13 различных задач, нацеленных на оценку вычислительных семантических систем.
• SemEval-2014 проходил в 2014 году. Он проводился совместно с COLING 2014, 25-й Международной конференцией по компьютерной лингвистике и * SEM 2014, Вторая совместная конференция по лексической и вычислительной семантике, Дублин, Ирландия. В SemEval-2014 было 10 различных задач по оценке различных вычислительных семантических систем.
• SemEval-2015 проходил в 2015 году. Он был совмещен с NAACL-HLT 2015, Конференцией 2015 Североамериканского отделения Ассоциации. for Computational Linguistics - Human Language Technologies и * SEM 2015, Третья совместная конференция по лексической и вычислительной семантике, Денвер, США. В SemEval-2015 было 17 различных задач по оценке различных вычислительных семантических систем.

Структура семинаров по оценке SemEval / Senseval имитирует конференции по пониманию сообщений (MUC) и другие семинары по оценке, проводимые ARPA (Агентство перспективных исследовательских проектов, переименованное в Агентство перспективных оборонных исследовательских проектов (DARPA) ).

Этапы семинаров по оценке SemEval / Senseval

1. Во-первых, все вероятные участники были приглашены, чтобы выразить свою заинтересованность и принять участие в разработке упражнения.
2. Был разработан график финального семинара.
3. Был согласован план выбора оценочных материалов.
4. Были получены «золотые стандарты» для отдельных задач, часто люди-комментаторы считались золотым стандартом для измерения точности и запоминаемости компьютерных систем. Эти «золотые стандарты» - это то, к чему стремятся вычислительные системы. В задачах WSD люди-аннотаторы были поставлены перед задачей создания набора правильных ответов WSD (т. Е. Правильного смысла данного слова в данном контексте)
5. Материалы золотого стандарта без ответов были переданы в участники, которые затем имели короткое время, чтобы просмотреть свои программы и вернуть свои наборы ответов организаторам.
6. Затем организаторы оценили ответы, и результаты были объявлены и обсуждены на семинаре.

Senseval-1 и Senseval-2 сосредоточены на оценке систем WSD на основных языках, для которых были доступны корпус и компьютеризированный словарь. Senseval-3 вышла за рамки лексем и начала оценивать системы, которые изучали более широкие области семантики, такие как семантические роли (технически известные как тета-роли в формальной семантике), Логическая форма Преобразование (обычно семантика фраз, предложений или предложений была представлена ​​в логических формах первого порядка ) и Senseval-3 исследовали возможности семантического анализа на Машинный перевод.

В качестве типы различных вычислительных семантических систем вышли за рамки WSD, Senseval превратился в SemEval, где оценивались другие аспекты вычислительных семантических систем.

Обзор проблем семантического анализа

Упражнения SemEval предоставляют механизм для изучения проблем семантического анализа текстов. Интересующие темы не соответствуют логической строгости, присущей формальной вычислительной семантике, пытающейся идентифицировать и охарактеризовать виды проблем, относящихся к человеческому пониманию языка. Основная цель - воспроизвести обработку человека с помощью компьютерных систем. Задачи (показанные ниже) разрабатываются отдельными лицами и группами для решения идентифицируемых проблем, поскольку они принимают конкретную форму.

Первой важной областью семантического анализа является определение предполагаемого значения на уровне слова (включая идиоматические выражения). Это устранение неоднозначности смысла слова (концепция, которая эволюционирует от представления о том, что слова имеют дискретные значения, а скорее характеризуются способами их использования, то есть их контекстами). Задачи в этой области включают лексический образец и устранение неоднозначности во всех словах, устранение многоязычной и межъязыковой неоднозначности и лексическую замену. Учитывая трудности определения значений слов, другие задачи, относящиеся к этой теме, включают в себя наведение смысла слов, получение подкатегорий и оценку лексических ресурсов.

Вторая важная область семантического анализа - это понимание того, как различные предложения и текстовые элементы сочетаются друг с другом. Задачи в этой области включают обозначение семантических ролей, анализ семантических отношений и разрешение кореферентности. Другие задачи в этой области относятся к более специализированным вопросам семантического анализа, таким как обработка временной информации, разрешение метонимии и анализ тональности. Задачи в этой области имеют множество потенциальных приложений, таких как извлечение информации, ответы на вопросы, обобщение документов, машинный перевод, построение тезаурусов и семантических сетей, языковое моделирование, перефразирование и распознавание текстового следования. В каждом из этих потенциальных приложений вклад типов семантического анализа представляет собой наиболее важную исследовательскую проблему.

Например, в задаче индукции смысла слов и устранения неоднозначности есть три отдельных этапа:

1. На этапе обучения, Участников оценочной задачи попросили использовать обучающий набор данных, чтобы вызвать перечень смыслов для набора многозначных слов. Набор обучающих данных, состоящий из набора многозначных существительных / глаголов и экземпляров предложений, в которых они встречаются. Никакие другие ресурсы не допускались, кроме морфологических и синтаксических компонентов обработки естественного языка, таких как морфологические анализаторы, Тегеры части речи и синтаксические анализаторы.
2. На этапе тестирования участникам был предоставлен тестовый набор для подзадачи устранения неоднозначности с использованием индуцированного восприятия инвентаризация на этапе обучения.
3. На этапе оценки ответы на этап тестирования оценивались в рамках контролируемой и неконтролируемой структуры.

При неконтролируемой оценке WSI учитывались два типа оценки (Rosenberg and Hirschberg, 2007) и (Artiles et al., 2009). Эта оценка проводится после контролируемой оценки задачи SemEval-2007 WSI (Agirre and Soroa, 2007)

Обзор задач Senseval и SemEval

Приведенные ниже таблицы отражают рост семинара с Senseval для SemEval и дает обзор того, какая область вычислительной семантики оценивалась на семинарах Senseval / SemEval.

Задача Multilingual WSD была представлена ​​на семинаре SemEval-2013. Задача направлена ​​на оценку систем устранения неоднозначности слов в многоязычном сценарии с использованием BabelNet в качестве своего смыслового инвентаря. В отличие от аналогичной задачи, такой как межъязычный WSD или задача многоязычной лексической замены, где не указан фиксированный реестр смысла, Multilingual WSD использует BabelNet в качестве своего смыслового инвентаря. До разработки BabelNet задача оценки двуязычного лексического образца WSD выполнялась в SemEval-2007 на китайско-английских битекстах.

Межъязыковая задача WSD была представлена ​​в SemEval -2007 семинар по оценке и повторно предложен на семинаре SemEval-2013. Чтобы упростить интеграцию систем WSD в другие приложения обработки естественного языка (NLP), такие как машинный перевод и многоязычный поиск информации, была введена межъязыковая задача оценки WSD. -независимый и основанный на знаниях подход к WSD. Задача представляет собой неконтролируемое задание на устранение неоднозначности слов для английских существительных с помощью параллельных корпусов. Он следует за лексическим образцом классической задачи WSD, ограниченным только 20 многозначными существительными.

Стоит отметить, что на SemEval-2014 есть только две задачи, которые были многоязычными / межъязыковыми, то есть (i) задача L2 Writing Assistant, которая представляет собой межъязыковую задачу WSD, которая включает английский, Испанский, немецкий, французский и голландский и (ii) задание Многоязычное семантическое текстовое сходство, которое оценивает системы на английском и испанском языках.

Области оценки

Основные задачи семантической оценки включают следующие области обработки естественного языка. Ожидается, что этот список будет расти по мере развития области.

В следующей таблице показаны области исследований, которые были задействованы в Senseval-1 - SemEval-2014 (S относится к Senseval, а SE относится к SemEval, например, S1 относится к к Senseval-1, а SE07 относится к SemEval2007):

Области изучения	S1	S2	S3	SE07	SE10	SE12	SE13	SE14	SE15	SE16	SE17
Биоинфоматика / клинический анализ текста
Обоснование здравого смысла ()
Coreference Разрешение
Составные слова (Извлечение информации )
Многоточие
Грамматическая индукция
Извлечение ключевой фразы (Извлечение информации )
Лексическое упрощение
Лексическая замена (многоязычная или кросслингвальная)
Лексическая Сложность
Метонимия (Извлечение информации )
Перефразирование
Ответ на вопрос
Слухи и достоверность
Семантическая маркировка ролей
(межъязыковая)
(многоязычная)
Анализ тональности
Введение / обогащение таксономии
Временная аннотация
Tw itter Analysis
Устранение неоднозначности в словах (Лексический образец )
Устранение неоднозначности в словах (All-Words )
Устранение неоднозначности в словах (Многоязычный)
Устранение неоднозначности в словах (кросс-языковые)
Индукция смысла слова

Тип семантических аннотаций

Задачи SemEval создали много типов семантических аннотаций, каждый тип с различной схемой. В SemEval-2015 организаторы решили сгруппировать задачи в несколько треков. Эти треки относятся к тому типу семантических аннотаций, на которые рассчитана задача. Здесь перечислены типы семантических аннотаций, используемых на семинарах SemEval:

1. Изучение семантических отношений
2. Вопросы и ответы
3. Семантический анализ
4. Семантическая таксономия
5. Анализ тональности
6. Сходство текста
7. Время и пространство
8. Устранение неоднозначности и индукция смысла слов

Задача и распределение ее дорожек являются гибкими; задача может развиться в отдельный путь, например задача оценки таксономии в SemEval-2015 находилась в треке Learning Semantic Relations, а в SemEval-2016 есть специальный трек для Semantic Taxonomy с новой задачей Semantic Taxonomy Enrichment.

• Список Награды в области информатики
• Вычислительная семантика
• Обработка естественного языка
• Разборчивость слов
• Устранение неоднозначности слов
• Различные варианты оценок WSD
• Семантический анализ (вычислительный)

• Special Interest Group on the Lexicon (SIGLEX) of Association for Computational Linguistics (ACL)
• Semeval-2010 - Семинар по семантической оценке (при поддержке SIGLEX)
• Senseval - международная организация, занимающаяся оценкой систем устранения неоднозначности слов (при поддержке SIGLEX)
• в Wiki Ассоциации компьютерной лингвистики
• Senseval / SemEval tasks :
  • Senseval-1 - первое упражнение по оценке систем устранения неоднозначности; задача с лексическим образцом была оценена на английском, французском и итальянском языках
  • Senseval-2 - оценивалась система устранения неоднозначности смысла слов по трем типам задач (все слова, лексический образец и задача перевода)
  • Senseval-3 - включены задания на устранение неоднозначности смысла слов, а также определение семантических ролей, многоязычные аннотации, логические формы, получение подкатегорий.
  • SemEval-2007 - включены задания, которые были более сложными, чем Senseval as он пересекает различные области исследований в области обработки естественного языка
  • SemEval-2010 - добавлены задачи, относящиеся к новым областям исследований в области вычислительной семантики, а именно: Coreference, Elipsis, извлечение ключевых фраз, соединения существительных и текстовое преобразование.
  • SemEval-2012 - совмещен с первой конференцией * SEM, и задача семантического сходства продвигалась как * Sem Shared Task
  • SemEval-2013 - SemEval перенесен с 2–3 лет цикл на ежегодный семинар
  • СемЭвал-2014 - впервые Se mEval находится в событии без ACL в COLING
  • SemEval-2015 - первом SemEval с задачами, распределенными по различным дорожкам
  • SemEval-2016 - втором SemEval без задачи WSD (первый был в SemEval-2012)
  • * SEM - конференция для статей, связанных с SemEval, кроме систем задач.
• Конференции по пониманию сообщений (MUC)
• BabelNet
• Open Multilingual WordNet - Компиляция WordNets с открытыми лицензиями