Войти
Конференция и лаборатории форума по оценке (ранее Форум по кросс-языковой оценке ), или CLEF, организация, продвигающая исследования в области многоязычного доступа к информации (в настоящее время фокусируется на европейских языках ). Его особые функции заключаются в поддержке базовой структуры для тестирования систем поиска информации и в создании репозиториев данных, которые исследователи могут использовать при разработке сопоставимых стандартов. Организация проводит конференцию в Европе каждый сентябрь, начиная с первого учредительного семинара в 2000 году. С 1997 по 1999 год TREC, аналогичная конференция по оценке, проводимая ежегодно в США, включала трек для оценки межъязыкового взаимодействия IR для европейских языков. Этот трек координировался совместно NIST и группой европейских добровольцев, которая росла с годами. В конце 1999 г. некоторые участники приняли решение перенести деятельность в Европу и организовать ее самостоятельно. Цель заключалась в том, чтобы охватить большее количество языков и сосредоточить внимание на более широком круге вопросов, включая оценку одноязычной системы для языков, отличных от английского. На протяжении многих лет CLEF поддерживался рядом различных проектов и инициатив, финансируемых ЕС.
До 2010 года CLEF был организован как семинар, совмещенный с Европейской конференцией по электронным библиотекам, состоящий из ряда оценочных лабораторий или треков, аналогично TREC. В 2010 году CLEF превратился в самодостаточно организованную конференцию с оценочными лабораториями, лабораторными семинарами и основным конференц-центром. В 2012 году INEX, семинар по поиску и доступу к структурированному тексту, который ранее проводился ежегодно в Schloß Dagstuhl, объединился с CLEF и стал одной из его оценочных лабораторий.
Перед каждой конференцией CLEF участники оценочных лабораторий получают набор сложных задач. Задачи предназначены для тестирования различных аспектов информационно-поисковых систем и поощрения их развития. Группы исследователей предлагают и организуют кампании для решения этих задач, и результаты используются в качестве критериев для определения уровня развития техники в конкретных областях.
Вначале CLEF фокусировался главным образом на довольно типичные задачи поиска информации, но перешли к более конкретным задачам. Например, задача интерактивного поиска изображений 2005 г. работала с иллюстрированием текстов научной литературы с использованием изображений из Flickr, а задача медицинского поиска 2010 г. была сосредоточена на поиске изображений компьютерной томографии, МРТ и рентгенографии. В 2017 году CLEF решила ряд задач, например: по идентификации биологических видов по фотографиям или видеоклипам, по стилистическому анализу авторства и по доступу к информации, связанной со здоровьем.
| Год | Место | Примечание | Труды | Редакторы | |
|---|---|---|---|---|---|
| 2000 | Лиссабон | Создание семинара | Поиск и оценка межъязыковой информации: семинар форума межъязыковой оценки (CLEF 2000) | Кэрол Энн Петерс | |
| 2001 | Дармштадт | Оценка межъязыковых систем поиска информации: второй семинар Форума межъязыковой оценки (CLEF 2001) Исправленные статьи | Кэрол Энн Петерс и Мартин Брашлер и Хулио Гонсало и Мартин Клак | ||
| 2002 | Рим | Достижения в области поиска межъязыковой информации: третий семинар Форума межъязыковой оценки (CLEF 2002), исправленные статьи | Кэрол Энн Петерс и Мартин Брашлер, Хулио Гонсало и Мартин Клак | ||
| 2003 | Тронхейм | Сравнительная оценка многоязычных систем доступа к информации: Четвертый семинар Форума межъязыковой оценки (CLEF 2003) Исправленные избранные статьи | Кэрол Энн Петерс и Мартин Брашлер, Хулио Гонсало и Мартин Клак | ||
| 2004 | Бат | Многоязычный доступ к информации для текста, речи и изображений: Пятый семинар межъязыковой оценки Форум (CLEF 2004) Отредактированные избранные статьи | Кэрол Энн Петерс и Пол Клаф, Хулио Гонсало и Гарет Дж. Ф. Джонс, Мартин Клак и Бернардо Маньини | ||
| 2005 | Вена | Доступ к многоязычной информации Репозитории: Шестой семинар Форума межъязыковой оценки (CLEF 2005). Отредактированные избранные статьи | Кэрол Энн Петерс и Фред Си Гей, Хулио Гонсало и Гарет Дж. Ф. Джонс и Мартин Клак, Бернардо Маньини и Хеннинг Мюллер и Маартен де Рийке | ||
| 2006 | Аликанте | Оценка многоязычного и мультимодального поиска информации: седьмой семинар Форума межъязыковой оценки (CLEF 2006). Отредактированные избранные статьи | Кэрол Энн Питерс и Клаф, П. и Фред Си Гей и Юсси Карлгрен и Бернардо Маньини и Дуг Оард и Маартен де Рийке и М. Стемпфхубер | ||
| 2007 | Будапешт | Достижения в области многоязычного и мультимодального поиска информации: восьмой семинар Форума межъязыковой оценки (CLEF 2007). Отредактированные избранные статьи | Кэрол Энн Петерс и Джиджкун, В. и Мандл, Т. и Хеннинг Мюллер и Оард, Д.В. и Пеньяс, А. и Петрас, В. и Сантос, Д. | ||
| 2008 | Орхус | Системы оценки для многоязычного и мультимодального доступа к информации: Девятый семинар Форума межъязыковой оценки (CLEF 2008). Отредактированные избранные статьи | Кэрол Энн Петерс и Деселэрс, Т. и Никола Ферро, и Хулио Гонсало, и Гарет Дж. Ф. Джонс и Куримо, М. и Мандл, Т. и Пеньяс, А. | ||
| 2009 | Корфу | Оценка доступа к многоязычной информации Vol. I Эксперименты по поиску текста - Десятый семинар Форума межъязыковой оценки (CLEF 2009). Отредактированные избранные статьи | Кэрол Энн Петерс и Ди Нунцио, Г.М. и Куримо, М. и Мандл, Т. и Мостефа, Д. и Пеньяс, А. и Рода, Г. | ||
| 2010 | Падуя | Первая конференция | Оценка доступа к многоязычной и мультимодальной информации. Труды Международной конференции форума межъязыковой оценки (CLEF 2010 | Маристелла Агости и Никола Ферро и Кэрол Энн Петерс и Маартен де Рийке и Алан Смитон | |
| 2011 г. | Амстердам | Оценка доступа к многоязычной и мультимодальной информации. Труды Второй международной конференции Форума межъязыковой оценки (CLEF 2011) | П. Форнер и Хулио Гонсало и Кекяляйнен, Дж. И Лалмас, М. и Маартен де Рийке | ||
| 2012 | Рим | Оценка доступа к информации. Многоязычность, мультимодальность и визуальная аналитика. Труды Третьей Международной конференции Инициативы CLEF (CLEF 2012) | Катарси, Т. и Форнер, П. и Хиемстра, Д. и Пеньяс, А. и Сантуччи, Г. | ||
| 2013 | Валенсия | Доступ к информации Оценка соответствует многоязычию, мультимодальности и визуализации. Труды Четвертой международной конференции инициативы CLEF (CLEF 2013) | Форнер, П. и Хе Ннинг Мюллер и Паредес, Р. и Россо, П. и Стейн, Б. | ||
| 2014 | Шеффилд | Оценка доступа к информации - многоязычность, мультимодальность и взаимодействие. Материалы пятой международной конференции инициативы CLEF (CLEF 2014) | Канулас, Э. и Лупу, М., и Клаф, П., Сандерсон, М. и Холл, М., и Ханбери, А. и Томс, Э. | ||
| 2015 | Тулуза | Экспериментальный IR встречает многоязычность, мультимодальность и взаимодействие. Материалы Шестой Международной конференции Ассоциации CLEF (CLEF 2015) | Мот, Дж. И Савой, Дж. И Яап Кампс, и Пинель-Совагнат, К. и Гарет, Дж. Ф. Джонс и Сан-Хуан, Э. и Каппеллато, Л. и Никола Ферро | ||
| 2016 | Evoria | Экспериментальный IR встречает многоязычность, мультимодальность и взаимодействие. Материалы Седьмой Международной конференции Ассоциации CLEF (CLEF 2016) | Фур, Н., Куарежма, П. и Гонсалвес, Т., Ларсен, Б., Балог, К. и Макдональд, К. и Каппеллато, Л. и Никола Ферро | ||
| 2017 | Дублин | Экспериментальный IR встречает многоязычность, мультимодальность и взаимодействие. Материалы восьмой международной конференции ассоциации CLEF (CLEF 2017) | Гарет Дж. Ф. Джонс и Лоулесс, С. и Хулио Гонсало, и Келли, Л. и Лоррейн Гойрио, и Томас Мандл, и Каппеллато, Л. и Никола Ферро | ||
| 2018 | Avignone | Experimental IR встречает многоязычность, мультимодальность и взаимодействие. Материалы Девятой Международной конференции Ассоциации CLEF (CLEF 2018) | Патрис Белло, Чираз Трабелси, Джозиан Моте, Фионн Муртаг, Цзян-Юн Не, Лор Сулье, Эрик Сан-Хуан, Линда Каппеллато и Никола Ферро | ||
| 2019 | Лугано | ... | ... |
.
