Средний взаимный ранг

редактировать

Среднее взаимными рангом является статистической мерой для оценки любого процесса, который создает список возможных ответов на выборку запросов, упорядоченной по вероятности правильности. Обратный ранг ответа на запрос является мультипликативной обратной величиной ранга первого правильного ответа: 1 для первого места, 1 ⁄ 2 для второго места, 1 ⁄ 3 для третьего места и так далее. Средний взаимный ранг - это среднее значение взаимных рангов результатов для выборки запросов Q:

{\ displaystyle {\ text {MRR}} = {\ frac {1} {| Q |}} \ sum _ {i = 1} ^ {| Q |} {\ frac {1} {{\ text {rank} }_{я}}}.\!}

{\ text {MRR}} = {\ frac {1} {| Q |}} \ sum _ {{i = 1}} ^ {{| Q |}} {\ frac {1} {{\ text {ранг }}_{я}}}.\!

где относится к позиции в рейтинге первого релевантного документа для i -го запроса. ${\ displaystyle {\ text {rank}} _ {i}}$ ${\ displaystyle {\ text {rank}} _ {i}}$

Обратное значение среднего обратного ранга соответствует гармоническому среднему рангов.

Пример

Например, предположим, что у нас есть следующие три примера запроса для системы, которая пытается перевести английские слова во множественное число. В каждом случае система делает три предположения, первая из которых, по ее мнению, наиболее верна:

Запрос	Предлагаемые результаты	Правильный ответ	Классифицировать	Взаимный ранг
Кот	catten, cati, кошки	кошки	3	1/3
тор	тории, торы, торы	тори	2	1/2
вирус	вирусы, вирусы, вирусы	вирусы	1	1

Учитывая эти три образца, мы могли бы вычислить средний обратный ранг как (1/3 + 1/2 + 1) / 3 = 11/18 или около 0,61.

Если ни один из предложенных результатов не является правильным, обратный ранг равен 0. Обратите внимание, что учитывается только ранг первого релевантного ответа, возможные дальнейшие релевантные ответы игнорируются. Если пользователей также интересуют другие релевантные элементы, средняя точность является потенциальной альтернативной метрикой.

Смотрите также

Рекомендации