Войти
A система рекомендаций или система рекомендаций (иногда заменяя «система» синонимом, например платформа или движок), является подклассом системы фильтрации информации, которая стремится предсказать «рейтинг» или «предпочтение», которое пользователь дал бы элементу. В основном они используются в коммерческих приложениях.
Рекомендательные системы используются в различных областях и чаще всего считаются генераторами списков воспроизведения для видео и музыкальных сервисов, таких как Netflix, YouTube и Spotify, рекомендации по продуктам для таких сервисов, как Amazon, или рекомендации по содержанию для платформ социальных сетей, таких как Facebook и Twitter. Эти системы могут работать, используя один вход, например музыку, или несколько входов внутри и между платформами, такими как новости, книги и поисковые запросы. Существуют также популярные рекомендательные системы для определенных тем, таких как рестораны и онлайн-знакомства. Также были разработаны рекомендательные системы для изучения исследовательских статей и экспертов, сотрудников и финансовых служб.
Рекомендательные системы обычно используют один или оба совместных фильтрация и фильтрация на основе содержимого (также известная как подход на основе личности), а также другие системы, такие как системы на основе знаний. Подходы к совместной фильтрации строят модель на основе прошлого поведения пользователя (ранее приобретенные или выбранные элементы и / или числовые оценки, присвоенные этим элементам), а также аналогичных решений, принятых другими пользователями. Затем эта модель используется для прогнозирования элементов (или рейтингов для элементов), которые могут быть интересны пользователю. Подходы к фильтрации на основе содержимого используют серию дискретных, предварительно помеченных характеристик элемента, чтобы рекомендовать дополнительные элементы с аналогичными свойствами.. Современные рекомендательные системы обычно объединяют один или несколько подходов в гибридную систему.
Различия между совместной фильтрацией и фильтрацией на основе содержимого можно продемонстрировать, сравнив две рекомендательные системы для ранней музыки - Last.fm и Pandora Radio.
У каждого типа системы есть свои сильные и слабые стороны. В приведенном выше примере Last.fm требует большого количества информации о пользователе, чтобы давать точные рекомендации. Это пример проблемы холодного запуска, распространенной в системах совместной фильтрации. В то время как Pandora требует очень мало информации для запуска, она гораздо более ограничена по объему (например, она может давать только рекомендации, аналогичные исходному сиду).
Рекомендательные системы - полезная альтернатива алгоритмам поиска, поскольку они помогают пользователям находить элементы, которые они иначе не смогли бы найти. Следует отметить, что рекомендательные системы часто реализуются с использованием поисковых систем, индексирующих нетрадиционные данные.
Рекомендательные системы впервые были упомянуты в техническом отчете как «цифровая книжная полка» в 1990 году Юсси Карлгреном из Колумбийского университета, а также масштабно реализованы и проработаны в технических отчетах и публикациях с 1994 года. затем Юсси Карлгрен, тогда работавший в SICS, и исследовательские группы под руководством Патти Мэйс из MIT, Уилла Хилла из Bellcore и Пола Резника, также из MIT, чья работа с GroupLens была удостоена награды 2010 Премия ACM Software Systems Award.
Монтанер представил первый обзор рекомендательных систем с точки зрения интеллектуальных агентов. Адомавичус представил новый, альтернативный обзор рекомендательных систем. Herlocker предоставляет дополнительный обзор методов оценки рекомендательных систем, а Beel et al. обсудили проблемы офлайн-оценок. Beel et al. также предоставили обзоры литературы по имеющимся системам рекомендаций по исследовательским работам и существующим проблемам.
Рекомендательные системы были в центре внимания нескольких выданных патентов.
Пример совместной фильтрации на основе рейтинговой системы Одним из широко используемых подходов к разработке рекомендательных систем является совместная фильтрация. Совместная фильтрация основана на предположении, что люди, которые соглашались в прошлом, согласятся в будущем, и что им понравятся предметы того же типа, что и в прошлом. Система генерирует рекомендации, используя только информацию о профилях оценок для разных пользователей или товаров. Обнаруживая одноранговых пользователей / элементы с историей рейтингов, аналогичной текущему пользователю или элементу, они генерируют рекомендации, используя это окружение. Методы совместной фильтрации подразделяются на основанные на памяти и модельные. Хорошо известным примером подходов, основанных на памяти, является алгоритм, основанный на пользователях, тогда как подходы на основе моделей - это.
Ключевым преимуществом подхода совместной фильтрации является то, что он не полагается на анализируемые машиной контент и, следовательно, он может точно рекомендовать сложные элементы, такие как фильмы, не требуя «понимания» самого элемента. Многие алгоритмы использовались для измерения сходства пользователей или элементов в рекомендательных системах. Например, подход k-ближайший сосед (k-NN) и корреляция Пирсона, впервые реализованная Алленом.
При построении модели на основе поведения пользователя, часто проводится различие между явными и неявными формами сбора данных.
Примеры явного сбора данных включают следующее:
Примеры сбор неявных данных включает следующее:
Подходы к совместной фильтрации часто имеют три проблемы: холодный старт, масштабируемость и разреженность.
Один из самых известных примеров совместной фильтрации - это совместная фильтрация между элементами (люди, которые покупают x, также покупают y), алгоритм, популяризированный Amazon.com.
Многие социальные сети изначально использовали совместную фильтрацию, чтобы рекомендовать новых друзей, группы и другие социальные связи путем изучения сети связей между пользователем и их друзья. Совместная фильтрация по-прежнему используется как часть гибридных систем.
Другим распространенным подходом при разработке рекомендательных систем является фильтрация на основе содержимого . Методы фильтрации на основе содержимого основаны на описании элемента и профиле предпочтений пользователя. Эти методы лучше всего подходят для ситуаций, когда есть известные данные об элементе (имя, местоположение, описание и т. Д.), Но не о пользователе. Основанные на содержании рекомендатели рассматривают рекомендацию как специфичную для пользователя проблему классификации и изучают классификатор для симпатий и антипатий пользователя на основе характеристик элемента.
В этой системе ключевые слова используются для описания элементов, а профиль пользователя создается для указания типа элемента, который нравится этому пользователю. Другими словами, эти алгоритмы пытаются рекомендовать элементы, похожие на те, которые пользователь любил в прошлом или изучает в настоящее время. Он не полагается на механизм входа пользователя в систему для создания этого часто временного профиля. В частности, различные элементы-кандидаты сравниваются с элементами, ранее оцененными пользователем, и рекомендуются наиболее подходящие элементы. Этот подход уходит корнями в поиск информации и поиск информации исследования.
Чтобы создать профиль пользователя, система в основном фокусируется на двух типах информации:
1. Модель предпочтений пользователя.
2. История взаимодействия пользователя с рекомендательной системой.
В основном эти методы используют профиль элемента (то есть набор дискретных атрибутов и функций), характеризующий элемент в системе. Чтобы абстрагироваться от характеристик элементов в системе, применяется алгоритм представления элементов. Широко используемый алгоритм - это представление tf – idf (также называемое представлением в векторном пространстве). Система создает профиль пользователей на основе содержимого на основе взвешенного вектора характеристик элемента. Веса обозначают важность каждой функции для пользователя и могут быть вычислены на основе индивидуально оцененных векторов контента с использованием различных методов. Простые подходы используют средние значения вектора оцененных элементов, в то время как другие сложные методы используют методы машинного обучения, такие как байесовские классификаторы, кластерный анализ, деревья решений и искусственные нейронные сети для оценки вероятности того, что элемент понравится пользователю.
Ключевая проблема с контентной фильтрацией заключается в том, способна ли система узнавать пользовательские предпочтения от пользователей. 'действия в отношении одного источника контента и использовать их в других типах контента. Когда система ограничена рекомендацией контента того же типа, который уже использует пользователь, значение из системы рекомендаций значительно меньше, чем когда можно рекомендовать другие типы контента из других служб. Например, рекомендовать новостные статьи на основе просмотра новостей полезно, но было бы гораздо полезнее, если бы можно было рекомендовать музыку, видео, продукты, обсуждения и т. Д. Из различных служб на основе просмотра новостей. Чтобы преодолеть это, большинство рекомендательных систем, основанных на содержании, теперь используют некоторую форму гибридной системы.
Рекомендательные системы на основе содержания могут также включать рекомендательные системы на основе мнения. В некоторых случаях пользователям разрешается оставлять текстовый обзор или отзыв о товарах. Эти созданные пользователем тексты являются неявными данными для рекомендательной системы, потому что они потенциально являются богатым ресурсом как по характеристикам / аспектам элемента, так и по оценке / настроению пользователей по отношению к элементу. Функции, извлеченные из пользовательских обзоров, являются улучшенными метаданными элементов, потому что, поскольку они также отражают такие аспекты элемента, как метаданные, извлеченные функции широко используются пользователями.. Мнения, извлеченные из обзоров, можно рассматривать как оценки пользователей по соответствующим функциям. Популярные подходы системы рекомендаций на основе мнений используют различные методы, включая интеллектуальный анализ текста, поиск информации, анализ настроений (см. Также мультимодальный анализ настроений ) и глубокое обучение.
Многокритериальные рекомендательные системы (MCRS) могут быть определены как рекомендательные системы, которые включают информацию о предпочтениях по множеству критериев. Вместо разработки методов рекомендаций, основанных на единственном значении критерия, общем предпочтении пользователя u для элемента i, эти системы пытаются предсказать рейтинг для неисследованных элементов u, используя информацию о предпочтениях по множеству критериев, которые влияют на это общее значение предпочтения. Некоторые исследователи подходят к MCRS как к проблеме принятия многокритериальных решений (MCDM) и применяют методы и методы MCDM для реализации систем MCRS. См. Эту главу для расширенного введения.
Большинство существующих подходов к рекомендательным системам сосредоточены на том, чтобы рекомендовать пользователям наиболее релевантный контент с использованием контекстной информации, но при этом не учитывают риск беспокойства пользователя. с нежелательными уведомлениями. Важно учитывать риск расстроить пользователя, выдвигая рекомендации в определенных обстоятельствах, например, во время профессиональной встречи, рано утром или поздно ночью. Таким образом, эффективность рекомендательной системы частично зависит от того, в какой степени она учла риск в процессе рекомендаций. Одним из вариантов решения этой проблемы является система DRARS, которая моделирует контекстно-зависимые рекомендации как бандитскую проблему. Эта система сочетает в себе методику, основанную на содержании, и алгоритм контекстного бандита.
Мобильные рекомендательные системы используют смартфоны с доступом в Интернет, чтобы предлагать персонализированные контекстно-зависимые рекомендации. Это особенно сложная область исследований, поскольку мобильные данные сложнее данных, с которыми часто приходится иметь дело рекомендательным системам. Он неоднороден, зашумлен, требует пространственной и временной автокорреляции и имеет проблемы с валидацией и общностью.
Есть три фактора, которые могут повлиять на мобильные рекомендательные системы и точность результатов прогнозирования: контекст, рекомендация метод и конфиденциальность. Кроме того, мобильные рекомендательные системы страдают от проблемы трансплантации - рекомендации могут применяться не во всех регионах (например, было бы неразумно рекомендовать рецепт в области, где все ингредиенты могут быть недоступны).
Одним из примеров мобильной рекомендательной системы являются подходы, используемые такими компаниями, как Uber и Lyft для создания маршрутов движения для водителей такси в городе. Эта система использует данные GPS о маршрутах, по которым таксисты выбирают во время работы, включая местоположение (широту и долготу), отметки времени и рабочее состояние (с пассажирами или без них). Он использует эти данные, чтобы рекомендовать список точек посадки вдоль маршрута с целью оптимизации времени занятости и прибыли.
Мобильные рекомендательные системы также были успешно созданы с использованием «Сети данных» в качестве источника структурированной информации. Хорошим примером такой системы является SMARTMUSEUM. Система использует семантическое моделирование, поиск информации и методы машинного обучения, чтобы рекомендовать контент, соответствующий интересам пользователей, даже если он представлен с разреженными или минимальными данными пользователя.
В большинстве рекомендательных систем сейчас используется гибридный подход, сочетающий совместную фильтрацию, фильтрацию на основе содержимого и другие подходы. Нет никаких причин, по которым нельзя было бы гибридизировать несколько различных методов одного и того же типа. Гибридные подходы могут быть реализованы несколькими способами: путем раздельного прогнозирования на основе контента и на основе сотрудничества с последующим их объединением; путем добавления возможностей, основанных на содержании, к подходу, основанному на сотрудничестве (и наоборот); или путем объединения подходов в одну модель (см. полный обзор рекомендательных систем). Несколько исследований, которые эмпирически сравнивают производительность гибрида с чистыми методами совместной работы и методами, основанными на содержании, и продемонстрировали, что гибридные методы могут дать более точные рекомендации, чем чистые подходы. Эти методы также можно использовать для преодоления некоторых общих проблем в рекомендательных системах, таких как холодный запуск и проблема разреженности, а также узкое место инженерии знаний в подходах, основанных на знаниях.
Netflix - хороший пример использования гибридных рекомендательных систем. Веб-сайт дает рекомендации, сравнивая привычки просмотра и поиска похожих пользователей (т. Е. Совместная фильтрация), а также предлагая фильмы, которые имеют общие характеристики с фильмами, высоко оцененными пользователем (фильтрация на основе контента).
Некоторые методы гибридизации включают:
Одно из событий, которое энергичные исследования в рекомендательных системах w как Приз Netflix. С 2006 по 2009 год Netflix спонсировал конкурс, предлагая главный приз в размере 1000000 долларов команде, которая могла взять предложенный набор данных из более чем 100 миллионов оценок фильмов и выдать рекомендации, которые были на 10% точнее, чем те, которые предлагает существующая система рекомендаций компании. Этот конкурс стимулировал поиск новых и более точных алгоритмов. 21 сентября 2009 года главный приз в размере 1000000 долларов США был присужден команде BellKor Pragmatic Chaos за использование правил разрыва связей.
Самый точный алгоритм 2007 года использовал ансамблевый метод из 107 различных алгоритмических подходов, объединенных в один прогноз.. Как заявили победители, Белл и др. :
Точность прогнозов существенно повышается при смешивании нескольких предикторов. Наш опыт показывает, что больше всего усилий следует сосредоточить на разработке существенно разных подходов, а не на совершенствовании единой техники. Следовательно, наше решение представляет собой совокупность многих методов.
Многие преимущества были получены в Интернете благодаря проекту Netflix. Некоторые команды взяли свои технологии и применили их на других рынках. Некоторые члены команды, занявшей второе место, основали Gravity RD, механизм рекомендаций, который активно участвует в сообществе RecSys. 4-Tell, Inc. создала решение на основе проекта Netflix для веб-сайтов электронной коммерции.
Ряд проблем с конфиденциальностью возник в связи с набором данных, предложенным Netflix для конкурса Netflix Prize. Хотя наборы данных были анонимизированы в целях сохранения конфиденциальности информации о клиентах, в 2007 году два исследователя из Техасского университета смогли идентифицировать отдельных пользователей, сопоставив наборы данных с рейтингами фильмов в базе данных Internet Movie Database. В результате в декабре 2009 года анонимный пользователь Netflix подал в суд на Netflix в деле Doe v. Netflix, утверждая, что Netflix нарушил законы США о справедливой торговле и Закон о защите конфиденциальности видео, опубликовав наборы данных. Это, а также опасения со стороны Федеральной торговой комиссии, привели к отмене второго конкурса Netflix Prize в 2010 году.
Оценка важна при оценке эффективность рекомендательных алгоритмов. Для измерения эффективности рекомендательных систем и сравнения различных подходов доступны три типа оценок : пользовательские исследования, онлайн-оценки (A / B-тесты), и офлайн-оценки.
Обычно используемые метрики - это среднеквадратичная ошибка и среднеквадратичная ошибка, последняя из которых использовалась в Netflix Prize. Метрики поиска информации, такие как точность и отзыв или DCG, полезны для оценки качества метода рекомендации. Разнообразие, новизна и охват также считаются важными аспектами оценки. Тем не менее, многие из классических методов оценки подвергаются резкой критике.
Исследования пользователей довольно малы. Несколько десятков или сотен пользователей получают рекомендации, созданные с помощью различных подходов к рекомендациям, а затем пользователи решают, какие рекомендации являются лучшими. В A / B-тестах рекомендации обычно показываются тысячам пользователей реального продукта, и рекомендательная система случайным образом выбирает как минимум два различных подхода к рекомендациям для создания рекомендаций. Эффективность измеряется с помощью неявных мер эффективности, таких как коэффициент конверсии или рейтинг кликов. Офлайн-оценки основаны на исторических данных, например набор данных, содержащий информацию о том, как пользователи ранее оценивали фильмы.
Затем эффективность рекомендательных подходов измеряется на основе того, насколько хорошо рекомендательный подход может предсказать оценки пользователей в наборе данных. Хотя рейтинг является явным выражением того, понравился ли фильм пользователю, такая информация доступна не во всех доменах. Например, в области систем рекомендаций по цитированию пользователи обычно не оценивают цитирование или рекомендованную статью. В таких случаях офлайн-оценки могут использовать неявные меры эффективности. Например, можно предположить, что эффективна рекомендательная система, способная рекомендовать как можно больше статей, содержащихся в списке ссылок на исследовательскую статью. Однако многие исследователи считают подобные офлайн-оценки критическими. Например, было показано, что результаты автономных оценок имеют низкую корреляцию с результатами пользовательских исследований или A / B-тестов. Было показано, что набор данных, популярный для автономной оценки, содержит повторяющиеся данные и, таким образом, приводит к неправильным выводам при оценке алгоритмов. Часто результаты так называемых автономных оценок не коррелируют с фактически оцененной удовлетворенностью пользователей. Вероятно, это связано с тем, что автономное обучение сильно смещено в сторону высокодоступных элементов, а на данные автономного тестирования сильно влияют результаты модуля онлайн-рекомендаций. Исследователи пришли к выводу, что к результатам офлайн-оценок следует относиться критически.
Обычно исследования рекомендательных систем направлены на поиск наиболее точных алгоритмов рекомендаций. Однако есть ряд факторов, которые также важны.
На область рекомендательных систем также повлиял кризис репликации. Систематический анализ публикаций, применяющих глубокое обучение или нейронные методы для решения топ-k проблем рекомендаций, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys), показал, что в среднем менее 40% статей воспроизводимы при минимальном количестве статей. как 14% на некоторых конференциях. В целом исследование выявило 18 статей, только 7 из них могли быть воспроизведены, а 6 из них могли быть лучше, чем гораздо более старые и более простые, правильно настроенные исходные данные. В статье также освещается ряд потенциальных проблем современных научных исследований и содержится призыв к совершенствованию научной практики в этой области. Подобные проблемы были обнаружены также в рекомендательных системах, учитывающих последовательность. Было обнаружено, что предыдущие исследования мало повлияли на практическое применение рекомендательных систем. К 2011 году Экстранд, Констан и др. критиковал, что «в настоящее время трудно воспроизвести и расширить результаты исследования рекомендательных систем», и что оценки «не обрабатываются последовательно». Констан и Адомавичус заключают, что «исследовательское сообщество рекомендующих систем сталкивается с кризисом, когда значительное количество статей представляет результаты, которые мало способствуют накоплению коллективных знаний […] часто из-за того, что исследованию не хватает […] оценки для правильной оценки и, следовательно, чтобы внести значимый вклад ". Как следствие, многие исследования рекомендательных систем можно рассматривать как невоспроизводимые. Следовательно, операторы рекомендательных систем не находят в текущих исследованиях особых указаний по ответу на вопрос, какие рекомендательные подходы использовать в рекомендательных системах. Said Bellogín провели исследование статей, опубликованных в этой области, а также провели сравнительный анализ некоторых из самых популярных систем для рекомендаций и обнаружили значительные несоответствия в результатах, даже когда использовались одни и те же алгоритмы и наборы данных. Некоторые исследователи продемонстрировали, что незначительные вариации в алгоритмах рекомендаций или сценариях приводят к значительным изменениям в эффективности рекомендательной системы. Они приходят к выводу, что для улучшения текущей ситуации необходимы семь действий: «(1) изучить другие области исследований и извлечь из них уроки, (2) найти общее понимание воспроизводимости, (3) определить и понять детерминанты, которые влияют на воспроизводимость, (4)) проводить более всесторонние эксперименты (5) модернизировать методы публикации, (6) способствовать развитию и использованию рамок рекомендаций и (7) устанавливать руководящие принципы передовой практики для исследования рекомендательных систем ".
Ким Фальк (январь 2019 г.), Системы практических рекомендаций, Manning Publications, ISBN 9781617292705
