Войти
В области взаимодействия человека с компьютером, эксперимент «Волшебник страны Оз» - это исследовательский эксперимент, в котором субъекты взаимодействуют с компьютерной системой, которую субъекты считают автономной, но которая фактически управляется или частично управляется невидимым человеком.
Фраза «Волшебник страны Оз» (первоначально OZ Paradigm) широко используется в областях экспериментальной психологии, человеческого фактора, эргономики, лингвистики и юзабилити-инженерии для описания методологии тестирования или итеративного проектирования, при которой экспериментатор («волшебник») в лабораторных условиях моделирует поведение теоретического интеллектуального компьютерного приложения (часто переходя в другую комнату и перехватывая все сообщения между en участник и система). Иногда это делается с предварительным знанием участника, а иногда это обман низкого уровня, используемый для управления ожиданиями участника и поощрения естественного поведения.
Например, участник теста может думать, что он или она общается с компьютером, используя речевой интерфейс, когда слова участника фактически тайно вводятся в компьютер человеком в другой комнате («волшебник») и обрабатывается как текстовый поток, а не как аудиопоток. Отсутствующие функциональные возможности системы, которые предоставляет мастер, могут быть реализованы в более поздних версиях системы (или могут быть даже спекулятивными возможностями, которых нет в современных системах), но их точные детали обычно считаются не имеющими отношения к исследованию. В тестовых ситуациях целью таких экспериментов может быть наблюдение за использованием и эффективностью предложенного пользовательского интерфейса участниками тестирования, а не измерение качества всей системы.
Джон Ф. («Джефф») Келли придумал для этой цели фразы «Волшебник страны Оз» и «Парадигма страны Оз» примерно в 1980 году, чтобы описать метод, который он разработал в свои диссертация работает в Университете Джона Хопкинса. (Его научным руководителем был покойный профессор Альфонс Чапанис, «Крестный отец человеческого фактора и инженерной психологии».) Как ни странно, в дополнение к некоторым односторонним зеркалам и тому подобному существует Буквально это была плотная завеса, отделяющая Джеффа как «Волшебника» от поля зрения участника во время исследования.
Техника «экспериментатора в петле» была впервые применена в исследовательской лаборатории связи Чапаниса в Джоне Хопкинсе еще в 1975 году (Дж. Ф. Келли появился в 1978 году). В. Рэндольф Форд использовал технику «экспериментатора в цикле» в своей новаторской программе CHECKBOOK, в которой он получал языковые образцы в естественной обстановке. Согласно методу Форда, предварительная версия системы обработки естественного языка будет помещена перед пользователем. Когда пользователь вводил синтаксис, который не был распознан, он получал сообщение «Не могли бы вы перефразировать это?» подсказка из программного обеспечения. После сеанса будут созданы или усовершенствованы алгоритмы обработки вновь полученных образцов, и будет проведен другой сеанс. Этот подход привел к возможному развитию его техники обработки естественного языка «Многоступенчатая редукция шаблонов». Вспомнил доктор Форд, что доктор Келли действительно придумал фразу «Парадигма волшебника из страны Оз», но эта техника использовалась как минимум в двух отдельных исследованиях до того, как доктор Келли начал проводить исследования в телекоммуникационной лаборатории Джона Хопкинса. Подобное раннее использование этой техники для моделирования системы понимания естественного языка, разрабатываемой в исследовательском центре Xerox в Пало-Альто, было сделано Алленом Манро и Доном Норманом примерно в 1975 году в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник страны Оз» еще не применялось к этой технике. Результаты были опубликованы в 1977 году в статье группы (Боброу и др.).
На этом занятии экспериментатор («Волшебник») сидел за терминалом в соседней комнате, отделенной односторонним зеркалом, чтобы можно было наблюдать за объектом. Каждый ввод от пользователя обрабатывался правильно за счет комбинации обработки программного обеспечения и вмешательства экспериментатора в реальном времени. По мере того, как процесс повторялся в последующих сеансах, добавлялось все больше и больше программных компонентов, так что экспериментатору оставалось все меньше и меньше дел во время каждого сеанса, пока не была достигнута асимптота при росте словаря словосочетаний и экспериментатор мог «пойти выпить чашку кофе». »Во время сеанса (который на данном этапе был перекрестной проверкой автономной работы окончательной системы).
Заключительный момент: воспоминания доктора Келли о чеканке этого термина подкреплены воспоминаниями покойного профессора Аль Чапаниса. В своем техническом отчете Мичиганского университета за 1985 год Грин и Вей-Хаас заявляют следующее: Первое появление имени «Волшебник страны Оз» в печати было в диссертации Джеффа Келли (Kelley, 1983a, 1983b, 1984a). Считается, что это название было придумано в ответ на вопрос на семинаре для выпускников в Хопкинсе (Chapanis, 1984; Kelley, 1984b). «Что произойдет, если испытуемый увидит экспериментатора [за« занавеской »в соседней комнате, действующей как компьютер]?» Келли ответил: «Ну, это похоже на то, что случилось с Дороти в« Волшебнике страны Оз ». Так и название прижилось. (Цитировано с разрешения.)
Также имеется случайное упоминание о запланированном использовании "экспериментов Волшебника страны Оз" в протоколе 1982 г. Фордом и Смитом.
Один факт, представленный в диссертации Келли, об этимологии термина в этом контексте: у доктора Келли изначально было определение аббревиатуры «OZ» (помимо очевидных параллелей с книгой 1900 года Удивительный волшебник из страны Оз автор Л. Фрэнк Баум ). «Offline Zero» - это ссылка на тот факт, что экспериментатор («Мастер») интерпретировал вводимые пользователем данные в реальном времени во время фазы моделирования.
Подобные экспериментальные установки иногда использовались и раньше, но без названия «Волшебник страны Оз». Исследователь дизайна Найджел Кросс проводил исследования в 1960-х годах с «смоделированными» системами автоматизированного проектирования, где предполагаемый симулятор на самом деле был человеком-оператором, использующим текстовую и графическую связь через CCTV.. Как он объяснил: «Все, что пользователь воспринимает в системе, - это консоль удаленного доступа, а остальное для него - черный ящик... можно с таким же успехом заполнить черный ящик людьми, как и механизмами. Это обеспечивает сравнительно дешевый симулятор, обладающий замечательными преимуществами гибкости, памяти и интеллекта человека-оператора, который можно перепрограммировать для предоставления широкого спектра компьютерных ролей, просто изменив правила работы. Иногда ему не хватает скорости и точности реального компьютера., но группа экспертов, работающих одновременно, может компенсировать в достаточной степени, чтобы обеспечить приемлемое моделирование ". Позже Кросс называл это своего рода обратным тестом Тьюринга.
Метод «Волшебник ОЗ» очень мощный. В своем первоначальном приложении доктор Келли смог создать простую систему распознавания естественного языка с вводом с клавиатуры, которая намного превышала скорость распознавания любой из гораздо более сложных систем того времени.
Многие компьютерные ученые и лингвисты в то время считали, что для того, чтобы компьютер мог «понимать» естественный язык в достаточной степени, чтобы иметь возможность выполнять полезные задачи, программное обеспечение должно быть прикрепленным к огромному «словарю», имеющему большое количество категорий для каждого слова. Категории позволили бы очень сложному алгоритму синтаксического анализа распутать двусмысленность, присущую естественному языку. Обескураживающая задача создания такого словаря заставила многих поверить в то, что компьютеры просто никогда по-настоящему не «поймут» язык, пока они не смогут «вырасти» и «пережить жизнь» как люди, поскольку люди, кажется, применяют жизненный опыт для интерпретации языка.
Ключевым фактором, позволившим впервые использовать метод OZ, было то, что система была разработана для работы в едином контексте (ведение календаря), что ограничивало сложность языка, с которой сталкивались пользователи, до такой степени, что Простая модель языковой обработки была достаточной для достижения целей приложения. Модель обработки представляла собой двухпроходный подход к сопоставлению ключевых слов и ключевых фраз, в значительной степени основанный на алгоритмах, используемых в известной программе Вейценбаума Eliza. Побуждая участников генерировать языковые образцы в контексте решения реальной задачи (с использованием компьютера, который, как они считали, действительно понимал, что они вводили), разнообразие и сложность собранных лексических структур были значительно уменьшены, и можно было разработать простые алгоритмы сопоставления ключевых слов. для обращения к фактически собранному языку.
Это первое использование OZ было в контексте подхода итеративного проектирования. На ранних этапах разработки экспериментатор моделировал систему в целом, выполняя все запросы к базе данных и вручную составляя все ответы участникам. По мере развития процесса экспериментатор смог заменить человеческое вмешательство по частям вновь созданным разработанным кодом (который на каждом этапе был разработан для точной обработки всех входных данных, которые были созданы на предыдущих этапах).). К концу процесса экспериментатор был в состоянии наблюдать сеансы в режиме «невмешательства» (и измерять скорость распознавания завершенной программы).
OZ была важна, потому что она обратила внимание на очевидную критику:
Ответ оказался следующим:
Используя эмпирический подход, такой как OZ, каждый может себе это позволить; Расширение словаря и синтаксиса доктора Келли достигло асимптоты (уровень распознавания от 86% до 97%, в зависимости от используемых измерений) всего после 16 экспериментальных испытаний, и полученная программа со словарями содержала менее 300 КБ кода.
В течение 23 лет, прошедших после первой публикации, метод OZ использовался в самых разных условиях, в частности, при создании прототипов и тестировании удобства использования предлагаемых дизайнов пользовательских интерфейсов до того, как будет установлено фактическое прикладное программное обеспечение.
Название эксперимента происходит от истории Чудесный волшебник из страны Оз, в которой обычный человек прячется за занавеской и делает вид, используя «усиливающая» технологию, чтобы быть могущественным волшебником.
В романе Дэвида Лоджа Маленький мир преподаватель английской литературы познакомился с компьютерной программой ELIZA, которая, по его мнению, способна вести с ним связную беседу. Выясняется, что компьютерный лектор управляет компьютером и дает все ответы. Первоначальная программа ELIZA, обеспечивающая простые, но часто удивительно похожие на человека ответы на вопросы, была написана в Массачусетском технологическом институте Джозефом Вайценбаумом в 1960-х годах.
Литературный портал 
Книжный портал 
Романтический портал Вот некоторые из оригинальных (и последующих) ссылок на эту тему (метод использовался во многих исследовательских областях, и есть многочисленные последующие ссылки, только некоторые из которых перечислены здесь).
Краткое изложение технических аспектов работы:
Келли, Дж. Ф., «CAL - программа на естественном языке, разработанная с использованием парадигмы OZ: последствия для суперкомпьютерных систем». Первая международная конференция по суперкомпьютерным системам (Санкт-Петербург, Флорида, 16–20 декабря 1985 г.), Нью-Йорк, ACM, стр. 238–248.
Краткое описание метода:
Келли, Дж. Ф., «Эмпирическая методология написания удобных для пользователя компьютерных приложений на естественном языке». Труды ACM SIG-CHI ’83 «Человеческий фактор в вычислительных системах» (Бостон, 12–15 декабря 1983 г.), Нью-Йорк, ACM, стр. 193–196. [1]
Лучшее описание метода:
Келли, Дж. Ф., «Методология итеративного проектирования для удобных для пользователя офисных информационных приложений на естественном языке». Транзакции ACM по офисным информационным системам, март 1984 г., 2: 1, стр. 26–41. [2]
Сама неопубликованная диссертация:
Келли, Дж. Ф., «Естественный язык и компьютеры: шесть эмпирических шагов для написания простого в использовании компьютерного приложения». Неопубликованная докторская диссертация, Университет Джона Хопкинса, 1983 г. (Номер 8321592 можно получить в University Microfilms International; 300 North Zeeb Road; Ann Arbor; Michigan; 48106; США.)
Работа Калифорнийского университета в Сан-Диего:
Боброу Д., Каплан Р., Кей М., Норман Д., Томпсон Х. и Виноград Т. (1977). GUS, диалоговая система, управляемая фреймами. Искусственный интеллект, 8: 2 (апрель 1977 г.) 155-173., 8 (2), 155–173.
Последующие ссылки и реализации (выборка примерно за 30 лет цитирования):
Schieben, A., et al. 2009, «Театрально-системная техника: гибкое проектирование и тестирование поведения и взаимодействия системы применительно к высокоавтоматизированным автомобилям». В материалах 1-й Международной конференции по автомобильным пользовательским интерфейсам и интерактивным автомобильным приложениям (Эссен, Германия, 2009 г.). ACM Press, Нью-Йорк, США. [3]
Акерс, Д. 2006. Волшебник из страны Оз для совместного проектирования: изобретение жестового интерфейса для трехмерного выбора оценок нейронных путей. В расширенных рефератах по человеческому фактору в вычислительных системах CHI ’06 (Монреаль, Квебек, Канада, 22–27 апреля 2006 г.). CHI ’06. ACM Press, Нью-Йорк, США, 454-459. [4]
Хёйсниеми, Дж., Хямяляйнен, П., и Тюрки, Л. 2004. Волшебник из страны Оз, прототипы игр для детей, основанных на компьютерном зрении. В материалах конференции 2004 г. по интерактивному дизайну и детям: построение сообщества (Мэриленд, 1–03 июня 2004 г.). IDC ’04. ACM Press, Нью-Йорк, США, 27-34. [5]
Молин, Л. 2004. Волшебник из страны Оз, прототип для совместного проектирования графических пользовательских интерфейсов. В материалах третьей северной конференции по взаимодействию человека и компьютера (Тампере, Финляндия, 23–27 октября 2004 г.). НордиЧИ '04, т. 82. ACM Press, Нью-Йорк, США, 425-428. [6]
Лай Дж. И Янкелович Н. 2003. Разговорные речевые интерфейсы. В Руководстве по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения, J. A. Jacko and A. Sears, Eds. Человеческий фактор и эргономика. Лоуренс Эрлбаум Ассошиэйтс, Махва, Нью-Джерси, США, 698-713.
Глейхер, М. Л., Хек, Р. М. и Уоллик, М. Н. 2002. Основа для виртуальной видеографии. В материалах 2-го международного симпозиума по интеллектуальной графике (Хоторн, Нью-Йорк, 11–13 июня 2002 г.). СМАРТГРАФ '02, т. 24. ACM Press, Нью-Йорк, США, 9–16. [7]
Клеммер, С.Р., Синха, А.К., Чен, Дж., Лэнди, Дж. А., Абубейкер, Н., и Ван, А. 2000. Замша: инструмент для создания прототипов голосовых пользовательских интерфейсов «Волшебник из страны Оз».. В материалах 13-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса (Сан-Диего, Калифорния, США, 6–08 ноября 2000 г.). UIST ’00. ACM Press, Нью-Йорк, США, 1-10. [8]
Хьюетт, Томас Т. (и др.), «Учебная программа для взаимодействия человека и компьютера», ACM SIGCHI, 1992, 1996, Глава 2. [9]
Пьерно, П.П., Фелчиано, Р.М., Стансел, Р., Марш, Дж. И Ивон, М. 1995. Проектирование PenPal: сочетание аппаратного и программного обеспечения в пользовательском интерфейсе для детей. В материалах конференции SIGCHI по человеческому фактору в вычислительных системах (Денвер, Колорадо, США, 7–11 мая 1995 г.). И. Р. Кац, Р. Мак, Л. Маркс, М. Б. Россон и Дж. Нильсен, Eds. Конференция по человеческому фактору в вычислительных системах. ACM Press / Addison-Wesley Publishing Co., Нью-Йорк, США, 511–518. [10]
Прагер, Дж. М., Ламберти, Д. М., Гарднер, Д. Л., и Бальзак, С. Р. 1990. REASON: интеллектуальный помощник пользователя для интерактивных сред. IBM Syst. J. 29, 1 (январь 1990 г.), 141–164.
Дальбек, Н. и Йонссон, А. 1989. Эмпирические исследования представлений дискурса для интерфейсов естественного языка. В материалах Четвертой конференции Европейского отделения Ассоциации компьютерной лингвистики (Манчестер, Англия, 10–12 апреля 1989 г.). Встреча европейского отделения ACL. Ассоциация компьютерной лингвистики, Морристаун, Нью-Джерси, США, 291–298. [11]
Кэрролл, Дж., И Ааронсон, А. 1988. Обучение на собственном опыте с смоделированной интеллектуальной помощью. Commun. ACM 31, 9 (август 1988 г.), 1064–1079. [12]
Гулд, Дж. Д. и Льюис, К. 1985. Проектирование для удобства использования: ключевые принципы и то, что думают дизайнеры. Commun. ACM 28, 3 (март 1985 г.), 300–311. [13]
Грин, П., и Вей-Хаас, Л. 1985. Быстрое развитие пользовательских интерфейсов: опыт работы с мастером метода OZ. In Proceedings of the Human Factors and Ergonomics Annual Meeting, volume 29, number 5, 1985, pp. 470 - 474 (5). [14]
Эмбли, Д. У., и Кимбрелл, Р. Э. 1985. Управляемый схемой переводчик запросов на естественный язык. В материалах тринадцатой ежегодной конференции ACM по информатике 1985 г. (Новый Орлеан, Луизиана, США). CSC ’85. ACM Press, Нью-Йорк, США, 292–297. [15]
Гуд М. Д., Уайтсайд Дж. А., Уиксон Д. Р. и Джонс С. Дж. 1984. Создание пользовательского интерфейса. Commun. ACM 27, 10 (октябрь 1984 г.), 1032–1043. [16]
