Войти
LEPOR - это автоматический независимый от языка машинный перевод e оценка метрика с настраиваемыми параметрами и усиленными коэффициентами.
С тех пор, как IBM предложила и реализовала систему BLEU в качестве автоматической метрики для оценки Machine Translation (MT), было предложено множество других методов для пересмотра или улучшения это, например TER, METEOR и т. д. Однако существуют некоторые проблемы в традиционных метриках автоматической оценки . Некоторые метрики хорошо работают на определенных языках, но слабы на других языках, что обычно называется проблемой языкового смещения. Некоторые показатели полагаются на множество языковых характеристик или лингвистической информации, что затрудняет повторение экспериментов другим исследователям. LEPOR - это автоматическая метрика оценки, которая пытается решить некоторые из существующих проблем. LEPOR разработан с дополнительными факторами и соответствующими настраиваемыми параметрами для решения проблемы языкового смещения. Кроме того, в улучшенной версии LEPOR, то есть hLEPOR, он пытается использовать оптимизированные лингвистические функции, извлеченные из treebanks. Другой продвинутой версией LEPOR является метрика nLEPOR, которая добавляет функции n-грамм к предыдущим факторам. До сих пор метрика LEPOR была преобразована в серию LEPOR.
LEPOR разработан с учетом факторов увеличенного штрафа за длину, точности, порядка слов в n граммах штраф, и отзыв. Повышенный штраф за длину гарантирует, что перевод гипотезы, который обычно переводится системами машинного перевода, наказывается, если он длиннее или короче, чем справочный перевод. Оценка точности отражает точность перевода гипотезы. Оценка отзыва отражает верность перевода гипотезы справочному переводу или исходному языку. Штрафной коэффициент порядка слов на основе n-граммов разработан для различных порядков позиций между переводом гипотезы и переводом ссылки. Фактор штрафа за порядок слов оказался полезным многими исследователями, такими как работа Wong and Kit (2008).
Серия LEPOR показала свои хорошие результаты в Ежегодный международный семинар ACL по статистическому машинному переводу (ACL-WMT ). ACL-WMT проводится специальной группой по машинному переводу (SIGMT) международной ассоциации компьютерной лингвистики (ACL). В ACL-WMT 2013 есть две дорожки для перевода и оценки: с английского на другой и с другого на английский. «Другие» языки включают испанский, французский, немецкий, чешский и русский. В направлении «английский - другой» показатель nLEPOR достигает наивысшего показателя корреляции на системном уровне с человеческими суждениями с использованием коэффициента корреляции Пирсона, второго по величине показателя корреляции на системном уровне с человеческими суждениями с использованием коэффициента ранговой корреляции Спирмена <50.>. В направлении «другой язык - английский язык» nLEPOR выполняет умеренные результаты, а METEOR дает наивысший балл корреляции с человеческими суждениями, что связано с тем, что nLEPOR использует только краткую лингвистическую функцию, информацию о части речи., за исключением официально предлагаемых данных обучения; однако METEOR использовал множество других внешних ресурсов, таких как синонимы словари, парафраз, корень и т. д.
Одна расширенная работа и введение о выступлениях LEPOR в различных условиях, включая чистую форму поверхности слова, функции POS, функции тегов фраз, описано в диссертации Университета Макао.
Существует глубокий статистический анализ о производительности hLEPOR и nLEPOR в WMT13, которая показывает, что он работает как один из лучших показателей «как в оценке индивидуальной языковой пары для испанского и английского, так и в совокупном наборе из 9 языковых пар», см. документ (Точная оценка Метрики машинного перевода на уровне сегментов) "https://www.aclweb.org/anthology/N15-1124 " Graham et al. 2015 NAACL (https://github.com/ygraham/segment-mteval )
