Amazon Mechanical Turk

редактировать
Сервис Micro-Work, запущенный Amazon
Amazon Mechanical Turk
URLwww.mturk.com
Текущий статусLive

Amazon Mechanical Turk (MTurk ) - это краудсорсинговый веб-сайт для предприятий (известный как Запрашивающие) для найма удаленно расположенных «краудворкеров» для выполнения дискретных задач по требованию, которые компьютеры в настоящее время не могут выполнять. Он управляется Amazon Web Services и принадлежит Amazon. Работодатели публикуют вакансии, известные как задачи человеческого интеллекта (HIT), такие как определение определенного контента на изображении или видео, написание описаний продуктов или ответы на вопросы, среди прочего. Рабочие, в просторечии известные как туркеры или краудворкеры, просматривают существующие вакансии и завершают их в обмен на ставку, установленную работодателем. Для размещения вакансий запрашивающие программы используют открытый интерфейс прикладного программирования (API) или более ограниченный сайт MTurk Requester. По состоянию на апрель 2019 г. запрашивающие могли зарегистрироваться только из 49 одобренных стран.

Содержание

  • 1 История
  • 2 Правовой статус
  • 3 Обзор
    • 3.1 Местоположение туркеров
  • 4 Использование
    • 4.1 Человеко-субъектные исследования
    • 4.2 Машинное обучение
    • 4.3 Поиск пропавших без вести
    • 4.4 Художественные произведения
    • 4.5 Стороннее программирование
      • 4.5.1 API
    • 4.6 Примеры использования
      • 4.6. 1 Обработка фотографий / видео
      • 4.6.2 Очистка / проверка данных
      • 4.6.3 Сбор информации
      • 4.6.4 Обработка данных
  • 5 Обоснованность исследования
  • 6 Проблемы с персоналом
    • 6.1 Денежная компенсация
    • 6.2 Мошенничество
    • 6.3 Трудовые отношения
  • 7 Связанные системы
  • 8 См. Также
  • 9 Ссылки
  • 10 Дополнительная литература
  • 11 Внешние ссылки

История

Первоначально сервис был задуман Венки Харинараяном в патенте США, поданном в 2001 году. Amazon ввела термин искусственный искусственный интеллект для процессов, передающих некоторые части компьютерной программы людям, для тех задач, которые выполняются людьми намного быстрее чем компьютеры. Утверждается, что Джефф Безос был ответственным за концепцию, которая привела к разработке Amazon Mechanical Turk для реализации этого процесса.

Название Mechanical Turk было вдохновлено «Турком ", шахматный автомат 18 века, созданный Вольфгангом фон Кемпеленом, который совершил поездку по Европе, победив Наполеона Бонапарта и Бенджамина Франклина. Позже выяснилось, что эта «машина» вовсе не была автоматом, а на самом деле была человеком шахматным мастером, спрятанным в шкафу под доской и контролирующим движения гуманоидного манекена. Точно так же онлайн-сервис Mechanical Turk использует удаленный человеческий труд, скрытый за компьютерным интерфейсом, чтобы помочь работодателям выполнять задачи, которые невозможно выполнить на настоящей машине.

MTurk был публично запущен 2 ноября 2005 г. После его запуска база пользователей Mechanical Turk быстро росла. В период с начала до середины ноября 2005 года были десятки тысяч вакансий, и все они были загружены в систему самой Amazon для выполнения некоторых внутренних задач, требующих человеческого интеллекта. Типы HIT расширились, и теперь они включают расшифровку, оценку, маркировку изображений, опросы и написание.

По сообщениям, в марте 2007 года в более чем 100 странах работало более 100 000 сотрудников. В январе 2011 года это число увеличилось до более чем 500 000 зарегистрированных работников из более чем 190 стран. В том же году Techlist опубликовал интерактивную карту, на которой указано местонахождение 50 000 сотрудников MTurk по всему миру. К 2018 году исследование показало, что, хотя на платформе в любое время было доступно более 100 000 сотрудников, только около 2000 активно работали.

Правовой статус

В трудовом законодательстве США, по словам профессора Мириам Черри, Юридический факультет Университета Сент-Луиса, «рабочие на Mechanical Turk ничем не отличаются от, скажем, строительных рабочих, которые появляются на стройплощадках и работают в течение одного или двух дней. Эти рабочие-строители могут подать иск в соответствии с Законом о справедливых трудовых стандартах за кражу заработной платы, даже если они не считаются сотрудниками "по контракту Amazon.

Обзор

Пользователь Mechanical Терк может быть либо «Работником» (подрядчиком), либо «Заказчиком» (работодателем). У сотрудников есть доступ к панели инструментов, которая отображает три раздела: общий заработок, статус HIT и итоги HIT. Рабочие устанавливают свои часы работы и не обязаны выполнять какую-либо конкретную задачу. Работники классифицируются Amazon как подрядчики, а не как служащие, и отказываются заполнять формы или платить налоги на заработную плату. Это нацелено на то, чтобы уклониться от минимальной заработной платы, сверхурочной работы и компенсации работникам. Работники должны указывать свой доход как доход от самозанятости. В 2013 году средняя заработная плата за несколько назначенных микрозадач, если они выполняются быстро, составляет около одного доллара в час, при этом каждая задача в среднем составляет несколько центов. У рабочих может быть почтовый адрес в любой точке мира. Плата за выполнение задач может быть получена на Amazon.com с помощью подарочного сертификата (подарочные сертификаты - единственный вариант оплаты, доступный для иностранных работников, кроме Индии) или позже переведена на банковский счет сотрудника в США.

Запрашивающие могут попросить, чтобы Рабочие соответствовали квалификациям, прежде чем приступить к выполнению задачи, и они могут настроить тест для проверки квалификации. Они также могут принять или отклонить результат, отправленный работником, что влияет на репутацию работника. По состоянию на апрель 2019 года запрашивающие выплачивали Amazon минимальную комиссию в размере 20% от стоимости успешно выполненных работ с увеличенными суммами за дополнительные услуги. Запросы могут использовать API Amazon Mechanical Turk для программной интеграции результатов этой работы непосредственно в свои бизнес-процессы и системы. Когда работодатели назначают свою работу, они должны указать

  • , сколько они платят за каждый выполненный HIT,
  • сколько работников они хотят работать над каждым HIT,
  • максимальное время, в течение которого работник должен работать над одной задачей:
  • сколько времени у рабочих на выполнение работы,

, а также конкретные детали работы, которую они хотят выполнить.

Местоположение туркеров

С момента создания платформы работники в основном проживают в Соединенных Штатах, а демографические данные в целом аналогичны общему количеству пользователей Интернета в США.

В 2010 году были введены денежные выплаты для индийских рабочих, что дало новые и обновленные результаты по демографическим характеристикам рабочих, которые остались в основном в Соединенных Штатах. Исследователь, стоящий за этой статистикой, ведет веб-сайт, на котором демографические данные работников обновляются ежечасно. В мае 2015 года он показал, что 80% работников были расположены в Соединенных Штатах, а остальные 20% - в других странах мира, большинство из которых - в Индии. По данным на май 2019 года, примерно 60% работников находились в США, а 40% - в других странах мира; примерно 30% находятся в Индии.

Использует

Исследования на людях

Начиная с 2010 года, многочисленные исследователи изучали жизнеспособность Механического Турка для набора субъектов для экспериментов в области социальных наук. Ежегодно публикуются тысячи статей, основанных на данных, собранных сотрудниками Mechanical Turk, в том числе сотни в ведущих академических журналах. Исследователи обычно обнаружили, что, хотя выборки респондентов, полученные с помощью Mechanical Turk, не полностью соответствуют всем значимым характеристикам населения США, они также не являются дико искажающими. По общему мнению исследователей, этот сервис лучше всего подходит для набора разнообразных выборок; он менее успешен в исследованиях, требующих более точного определения совокупностей или требующих репрезентативной выборки населения в целом. Однако есть опасения, что запатентованный алгоритм выбора может нанести ущерб результатам (см.: Достоверность исследования).

В целом, MTurk в США состоит в основном из белых и белых женщин и несколько моложе и образованнее, чем население США в целом. Данные, собранные о рабочих местах, выполняемых с 2013 года, показывают, что население США больше не состоит преимущественно из женщин, и что в настоящее время среди работников несколько больше шансов быть мужчинами. Стоимость MTurk была значительно ниже, чем у других средств проведения опросов: работники готовы выполнять задачи менее чем за половину минимальной заработной платы в США.

Машинное обучение

контролируемое машинное обучение требует больших сумм. аннотированных человеком данных для успешного обучения. Исследователи машинного обучения наняли рабочих через Mechanical Turk для создания таких наборов данных, как SQuAD, вопрос, отвечающий на набор данных.

Поиск пропавших без вести

С 2007 года эта служба используется для поиска известных пропавших без вести лиц. Впервые это было предложено во время поиска Джеймса Кима, но его тело было найдено до того, как был достигнут какой-либо технический прогресс. Тем летом компьютерный ученый Джим Грей исчез на своей яхте, а личный друг Amazon Вернер Фогельс организовал DigitalGlobe, который предоставляет спутниковые данные для Google Maps и Google Earth, чтобы разместить недавние фотографии Фараллонских островов на сайте Mechanical Turk. Статья на первой странице Digg привлекла 12 000 поисковиков, которые работали с профессионалами в области визуализации над теми же данными. Поиск не увенчался успехом.

В сентябре 2007 года аналогичная процедура была повторена при поиске авиатора Стива Фоссета. Спутниковые данные были разделены на секции размером 85 квадратных метров, и пользователей Mechanical Turk попросили пометить изображения с «посторонними объектами», которые могут быть местом крушения или другими доказательствами, которые следует изучить более внимательно. Этот поиск тоже не увенчался успехом. Спутниковые снимки были в основном в радиусе 50 миль, но примерно год спустя туристы нашли место крушения в 65 милях.

Художественные работы

В дополнение к возрастающему интересу из социальных наук MTurk также использовался как инструмент для художественного творчества. Одним из первых художников, которые работали с Mechanical Turk, были The Mechanical Olympics (2008), Endless Om (2015) и Mediation on Digital Labor. Еще одна ранняя работа - «Десять тысяч центов» художника Аарона Коблина (2008).

Стороннее программирование

Программисты разработали различные расширения браузера и сценарии, призванные упростить процесс выполнения заданий. Amazon заявила, что не одобряет скрипты, которые полностью автоматизируют процесс и исключают человеческий фактор. Это связано с тем, что процесс завершения задачи - например, при ответе на опрос - можно обыгрывать случайные ответы, и полученные в результате данные могут оказаться бесполезными. Аккаунты, использующие так называемых автоматических ботов, заблокированы. Есть сервисы, расширяющие возможности MTurk.

API

Amazon предоставляет интерфейс прикладного программирования (API), чтобы предоставить пользователям еще одну точку доступа к системе MTurk. API MTurk позволяет программисту получить доступ к многочисленным аспектам MTurk, таким как отправка заданий, получение выполненной работы, а также утверждение или отклонение этой работы. В 2017 году Amazon запустила поддержку AWS Software Development Kits (SDK), что позволило пользователям MTurk получить девять новых SDK. MTurk доступен через API на следующих языках: Python, JavaScript, Java,.NET, Go, Ruby, PHP или C ++. Веб-сайты и веб-сервисы могут использовать API для интеграции работы MTurk в другие веб-приложения, предоставляя пользователям альтернативы интерфейсу, созданному Amazon для этих функций.

ER_diagram для рабочего-HIT-назначение

Примеры использования

Обработка фото / видео

Amazon Mechanical Turk предоставляет платформу для обработки изображений, что хорошо подходит для человеческого интеллекта. Запрашивающие создали задачи, предлагая работникам пометить объекты, найденные на изображении, выбрать наиболее подходящее изображение в группе изображений, отобразить несоответствующий контент и классифицировать объекты на спутниковых изображениях. Кроме того, краудворкеры выполнили задачи оцифровки текста из изображений, таких как отсканированные формы, заполненные вручную.

Очистка / проверка данных

Компании с большими онлайн-каталогами используют Mechanical Turk для выявления дубликатов и проверки деталей записей о товарах. Некоторыми примерами исправления дубликатов являются выявление и удаление дубликатов в списках каталогов на желтых страницах и в записях онлайн-каталога продуктов. Примеры проверки деталей включают проверку информации о ресторане (например, номер телефона и часы работы) и поиск контактной информации на веб-страницах (например, имя автора и адрес электронной почты).

Сбор информации

Диверсификация и масштаб персонала Механический турок позволяет собирать объем информации, который был бы затруднен за пределами платформы толпы. Механический турок позволяет Запрашивающим собрать большое количество ответов на различные типы опросов, от простых демографических до академических исследований. Другие варианты использования включают написание комментариев, описаний и записей в блогах на веб-сайтах и ​​поиск элементов данных или конкретных полей в крупных правительственных и юридических документах.

Обработка данных

Компании используют коллективный труд Mechanical Turk для понимания и ответа к разным типам данных. Обычное использование включает редактирование и транскрипцию подкастов, перевод и сопоставление результатов поисковой системы.

Достоверность исследования

Достоверность исследования, проведенного с пулом рабочих Mechanical Turk, была поставлена ​​под сомнение. Это в значительной степени связано с запатентованным методом, который Mechanical Turk использует для отбора своих рабочих. Поскольку метод отбора не используется исследователями, исследователи не могут знать истинную демографию участников. Неясно, использует ли Mechanical Turk фискальные, политические или образовательные ограничения в процессе отбора. Это может сделать недействительными любые опросы или исследования, проведенные с использованием пула рабочих Mechanical Turk.

Проблемы труда

Mechanical Turk широко критиковали за его взаимодействие с рабочей силой и ее использование. Ученый-компьютерщик Джарон Ланье отмечает, что дизайн Mechanical Turk «позволяет вам думать о людях как о программных компонентах, которые« вызывают »чувство магии, как будто вы можете просто сорвать результаты из облака по невероятно низкой цене ». Хотя опрос, проведенный исследователями из Техасского университета, показал, что опрошенные рабочие были мотивированы удовольствием и самореализацией, эти результаты могли быть искажены алгоритмами отбора работников MTurk. Исследование Pew Research, проведенное в 2016 году, показало, что четверть онлайн-«гигантов», таких как те, кто работает на Mechanical Turk, делают это потому, что их возможности трудоустройства ограничены.

Денежная компенсация

Потому что задачи обычно являются простыми и повторяющимися, и пользователям часто платят всего несколько центов за их выполнение, некоторые критикуют Mechanical Turk за то, что они эксплуатируют и не компенсируют работникам истинную ценность выполняемой ими задачи. Минимальный платеж, который Amazon допускает за задачу, составляет один цент. Рынок задач является конкурентным, и для некоторых эти задачи являются единственной доступной формой занятости, особенно для менее образованных. Из-за необходимости обеспечивать себя и отсутствия других возможностей многие работники соглашаются на низкую компенсацию за выполнение заданий. Исследование 3,8 миллиона задач, выполненных 2767 рабочими на Amazon Mechanical Turk, показало, что «рабочие получали среднюю почасовую оплату около 2 долларов в час», при этом 4 процента рабочих зарабатывали более 7,25 долларов в час. Поскольку эти работники считаются независимыми подрядчиками, они не защищены Законом о справедливых трудовых стандартах, который гарантирует минимальную заработную плату. К 2018 году рост числа рабочих, соревнующихся на сайте, сократил общий объем доступной работы. Когда работники ищут задания, они не получают ни компенсацию, ни дополнительную компенсацию, если задача занимает больше времени, чем рассчитано заказчиком.

Мошенничество

Журнал Nation сообщил в 2014 году, что некоторые запрашивающие воспользовались рабочими, заставив их выполнять задания, а затем отклонили их заявки, чтобы не платить им.

В скандале с данными Facebook – Cambridge Analytica компания Mechanical Turk была одной из средства скрытого сбора частной информации для большой базы данных. Система платила людям доллар или два за установку связанного приложения Facebook и ответы на личные вопросы. Задача опроса как работа по найму не использовалась для проекта демографических или психологических исследований, как могло показаться. Вместо этого цель заключалась в том, чтобы заставить работника раскрыть личную информацию о личности работника, которая еще не была собрана Facebook или Mechanical Turk.

Трудовые отношения

Другие критиковали, что рынок не имеет возможности для рабочих вести переговоры с работодателями. В ответ на растущую критику уклонения от оплаты и отсутствия представительства группа разработала стороннюю платформу под названием Turkopticon, которая позволяет работникам давать отзывы о своих работодателях, позволяя другим пользователям избегать потенциально сомнительных рабочих мест и рекомендовать более качественных работодателей. Другая платформа под названием Dynamo была создана для того, чтобы рабочие могли анонимно собирать данные и организовывать кампании для улучшения своей рабочей среды, в том числе Руководство для соискателей академических запросов и Кампанию уважаемого Джеффа Безоса. Amazon усложнила работникам регистрацию в Dynamo, закрыв учетную запись запроса, в которой работникам был предоставлен код, необходимый для членства в Dynamo. Amazon установила обновления, которые не позволяют плагинам, которые определяют высококачественные задачи человеческого интеллекта, работать на веб-сайте. Кроме того, были жалобы рабочих на то, что платежная система Amazon иногда перестает работать - серьезная проблема для сотрудников, которым требуются ежедневные платежи.

Связанные системы

MTurk в некоторых отношениях сравним с ранее прекращенной Служба ответов Google. Однако Mechanical Turk - это более общая торговая площадка, которая потенциально может помочь распределить любые рабочие задачи по всему миру. Collaborative Human Interpreter (CHI) Филиппа Ленссена также предложил использовать распределенный человеческий интеллект, чтобы помочь компьютерным программам выполнять задачи, с которыми компьютеры не справляются. MTurk можно использовать в качестве механизма выполнения для ОМС.

Российский поисковый гигант Яндекс разработал аналогичную систему под названием Яндекс.Толока.

См. Также

  • CAPTCHA, которая проверяет и проверяет человеческую работу над простой онлайн-задачей
  • Citizen science
  • Microwork

Ссылки

Дополнительная литература

Внешние ссылки

Последняя правка сделана 2021-06-10 16:31:00
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте