Эксперимент

редактировать
научная процедура, выполняемая для проверки гипотезы Даже очень маленькие дети проводят элементарные эксперименты, чтобы узнать о мире и о том, как все работает.

эксперимент - это процедура, проводимая для подтверждения, опровержения или подтверждения гипотезы . Эксперименты дают представление о причинно-следственной связи, демонстрируя, какой результат наступает, когда манипулируют определенным фактором. Эксперименты сильно различаются по целям и масштабу, но всегда полагаются на повторяемую процедуру и логический анализ результатов. Также существуют естественные экспериментальные исследования.

Ребенок может проводить базовые эксперименты, чтобы понять гравитацию, в то время как группам ученых могут потребоваться годы систематических исследований, чтобы углубить свое понимание явления. Эксперименты и другие виды практических занятий очень важны для обучения студентов в классе естественных наук. Эксперименты могут повысить результаты тестов и помочь ученику стать более вовлеченным и заинтересованным в изучаемом материале, особенно если использовать его с течением времени. Эксперименты могут варьироваться от личных и неформальных естественных сравнений (например, дегустация ряда шоколадных конфет, чтобы найти фаворит) до строго контролируемых (например, тестов, требующих сложной аппаратуры, под наблюдением многих ученых, которые надеются обнаружить информацию о субатомных частицах). Использование экспериментов значительно различается между естественными и гуманитарными науками.

Эксперименты обычно включают элементы управления, которые предназначены для минимизации влияния переменных, отличных от единственной независимой переменной. Это увеличивает надежность результатов, часто путем сравнения контрольных измерений с другими измерениями. Научный контроль является частью научного метода. В идеале все переменные в эксперименте контролируются (учитываются контрольными измерениями), и ни одна из них не является неконтролируемой. В таком эксперименте, если все элементы управления работают, как ожидалось, можно сделать вывод, что эксперимент работает, как задумано, и что результаты обусловлены влиянием тестируемых переменных.

Содержание
  • 1 Обзор
  • 2 История
  • 3 Типы экспериментов
    • 3.1 Контролируемые эксперименты
    • 3.2 Натуральные эксперименты
    • 3.3 Полевые эксперименты
  • 4 Контраст с наблюдательными исследованиями
  • 5 Этика
  • 6 Экспериментальный метод в законе
  • 7 См. Также
  • 8 Примечания
  • 9 Дополнительная литература
  • 10 Внешние ссылки
Обзор

В научном методе, эксперимент - это эмпирическая процедура, которая оценивает конкурирующие модели или гипотезы. Исследователи также используют эксперименты, чтобы проверить существующие теории или новые гипотезы, чтобы поддержать или опровергнуть их.

Эксперимент обычно проверяет гипотезу, которая представляет собой ожидание того, как конкретная процесс или явление работает. Тем не менее, эксперимент может также быть направлен на ответ на вопрос «что, если» без конкретных ожиданий относительно того, что он открывает, или на подтверждение предыдущих результатов. Если эксперимент проводится тщательно, результаты обычно либо подтверждают, либо опровергают гипотезу. Согласно некоторым философии науки, эксперимент никогда не может «доказать» гипотезу, он может только добавить поддержки. С другой стороны, эксперимент, который предоставляет контрпример, может опровергнуть теорию или гипотезу, но теорию всегда можно спасти с помощью соответствующих специальных модификаций за счет простоты. Эксперимент также должен контролировать возможные искажающие факторы - любые факторы, которые могут повлиять на точность или повторяемость эксперимента или возможность интерпретировать результаты. Ошибки обычно устраняются с помощью научного контроля и / или, в рандомизированных экспериментах, с помощью случайного распределения.

В инженерии и физических науках, экспериментах являются основным компонентом научного метода. Они используются для проверки теорий и гипотез о том, как физические процессы работают в определенных условиях (например, может ли конкретный инженерный процесс производить желаемое химическое соединение). Обычно эксперименты в этих областях сосредоточены на репликации идентичных процедур в надежде на получение идентичных результатов в каждой репликации. Случайное назначение - редкость.

В медицине и социальных науках распространенность экспериментальных исследований широко варьируется по дисциплинам. Однако при использовании эксперименты обычно следуют форме клинического исследования, где экспериментальные единицы (обычно отдельные люди) случайным образом назначаются для лечения или контрольного состояния, в котором оценивается один или несколько исходов. В отличие от норм в естественных науках, основное внимание обычно уделяется среднему эффекту лечения (разница в результатах между экспериментальной и контрольной группами) или другой статистической статистике, полученной в эксперименте.. Одно исследование обычно не включает повторение эксперимента, но отдельные исследования могут быть объединены с помощью систематического обзора и метаанализа.

Существуют различные различия в экспериментальной практике в каждом из отрасли науки. Например, в сельскохозяйственных исследованиях часто используются рандомизированные эксперименты (например, для проверки сравнительной эффективности различных удобрений), в то время как экспериментальная экономика часто включает экспериментальные тесты теоретического поведения человека, не полагаясь на случайное распределение. индивидуумов к условиям лечения и контроля.

История

Один из первых методических подходов к экспериментам в современном понимании прослеживается в трудах арабского математика и ученого Ибн аль-Хайсама. Он проводил свои эксперименты в области оптики - возвращаясь к оптическим и математическим проблемам в работах Птолемея - контролируя свои эксперименты из-за таких факторов, как самокритичность, полагаясь на видимые результаты экспериментов как а также критичность с точки зрения более ранних результатов. Он был одним из первых ученых, применивших индуктивно-экспериментальный метод для достижения результатов. В своей Книге оптики он описывает принципиально новый подход к познанию и исследованиям в экспериментальном смысле:

«Мы должны, то есть, возобновить исследование его принципов и предпосылок, начиная с нашей исследование с осмотром существующих вещей и обзором состояния видимых объектов. Мы должны различать свойства деталей и собирать с помощью индукции, что относится к глазу, когда происходит зрение, и что обнаруживается в манере ощущений, быть единообразными, неизменными, явными и не подлежащими сомнению. После этого мы должны постепенно и упорядоченно подниматься в наших исследованиях и рассуждениях, критикуя исходные посылки и проявляя осторожность в отношении выводов - наша цель во всем, что мы делаем предметом изучения и анализа. применять справедливость, не следовать предрассудкам и заботиться обо всем, что мы судим и критикуем, стремиться к истине и не поддаваться влиянию мнения. Таким образом мы можем в конечном итоге прийти к истине, которая бьет сердце и постепенно и осторожно достигает конца, в котором появляется уверенность; в то время как посредством критики и осторожности мы можем уловить истину, которая рассеивает разногласия и разрешает сомнительные вопросы. Тем не менее, мы не свободны от той человеческой мутности, которая присуща человеку; но мы должны делать все возможное, используя то, что у нас есть человеческая сила. Мы получаем поддержку от Бога во всем ".

Согласно его объяснению, необходимо строго контролировать выполнение теста с учетом субъективности и восприимчивости результатов, обусловленных природой человека. Более того, критический взгляд о результатах и ​​результатах более ранних ученых необходимо:

«Таким образом, долг человека, изучающего труды ученых, если познание истины является его целью, - стать врагом всего, что он читает, и прилагая свой разум к ядру и краям его содержания, атакуйте его со всех сторон. Он также должен подозревать себя, когда он проводит свое критическое рассмотрение этого, чтобы он мог избежать предрассудков или снисходительности ».

Таким образом, сравнение предыдущих результатов с экспериментальными результатами необходимо для объективного эксперимента - видимого результаты имеют большее значение. В конце концов, это может означать, что экспериментальный исследователь должен найти достаточно смелости, чтобы отказаться от традиционных мнений или результатов, особенно если эти результаты не являются экспериментальными, а являются результатом логического / ментального вывода. В этом процессе критического рассмотрения сам человек не должен забывать, что он склонен к субъективным мнениям - из-за «предрассудков» и «снисходительности» - и поэтому должен критически относиться к собственному способу построения гипотез.

Фрэнсис Бэкон (1561–1626), английский философ и ученый, действовавший в 17 веке, стал влиятельным сторонником экспериментальной науки в английский ренессанс. Он не соглашался с методом ответов ученых ифические вопросы по дедукции - аналогично Ибн аль-Хайсам - и описали это следующим образом: «Сначала определив вопрос согласно своей воле, человек затем прибегает к опыту и сгибает ее. чтобы соответствовать своим местам, водит ее, как пленницу в процессии ». Бэкон хотел метод, основанный на повторяющихся наблюдениях или экспериментах. Примечательно, что он первым заказал научный метод, как мы его понимаем сегодня.

Остается простой опыт; который, если принять его таким, как он есть, называется случайностью, если его искать, экспериментом. Истинный метод опыта сначала зажигает свечу [гипотеза], а затем с помощью свечи показывает путь [устраивает и ограничивает эксперимент]; начиная с опыта, должным образом упорядоченного и усвоенного, а не с ошибочного или ошибочного, и из него выводят аксиомы [теории], а из установленных аксиом снова новые эксперименты.

В последующие столетия люди, которые применяли научный метод в разных области сделали важные достижения и открытия. Например, Галилео Галилей (1564–1642) точно измерил время и экспериментировал, чтобы сделать точные измерения и сделать выводы о скорости падающего тела. Антуан Лавуазье (1743–1794), французский химик, использовал эксперимент для описания новых областей, таких как горение и биохимия, а также для разработки теории сохранение массы (материи). Луи Пастер (1822–1895) использовал научный метод, чтобы опровергнуть преобладающую теорию спонтанного зарождения и разработать зародыш теория болезни. Из-за важности контроля потенциально мешающих переменных, по возможности предпочтительно использование хорошо спланированных лабораторных экспериментов.

Значительный прогресс в разработке и анализе экспериментов произошел в начале 20 века благодаря вкладам таких статистиков, как Рональд Фишер (1890–1962), Ежи Нейман (1894–1981), Оскар Кемпторн (1919–2000), Гертруда Мэри Кокс (1900–1978) и Уильям Джеммелл Кокран (1909) –1980) и др.

Типы экспериментов

Эксперименты можно разделить на категории по ряду параметров, в зависимости от профессиональных норм и стандартов в различных областях обучения. В некоторых дисциплинах (например, психология или политология ) «настоящий эксперимент» - это метод социального исследования, в котором есть два типа переменных. Экспериментатор управляет независимой переменной, а зависимой переменной измеряет. Характерной особенностью настоящего эксперимента является то, что он случайным образом распределяет субъектов, чтобы нейтрализовать предвзятость экспериментатора, и гарантирует, на протяжении большого количества итераций эксперимента, что он контролирует все смешивающие факторы.

Контролируемые эксперименты

В контролируемом эксперименте часто сравниваются результаты, полученные на экспериментальных образцах, с контрольными образцами, которые практически идентичны экспериментальному образцу, за исключением одного аспекта, эффект которого проверяется (независимая переменная ). Хорошим примером может служить испытание препарата. Образец или группа, получающая лекарственное средство, будет экспериментальной группой (группа лечения ); и тот, кто получает плацебо или регулярное лечение, будет контролем. Во многих лабораторных экспериментах рекомендуется иметь несколько реплик образцов для выполняемого теста и иметь как положительный контроль, так и отрицательный контроль. Результаты повторных образцов часто можно усреднить, или, если один из повторений явно несовместим с результатами других образцов, его можно отбросить как результат экспериментальной ошибки (какой-то этап процедуры тестирования мог быть ошибочно опущено для этого образца). Чаще всего тесты проводятся в двух или трех экземплярах. Положительный контроль - это процедура, аналогичная фактическому экспериментальному тесту, но из предыдущего опыта известно, что она дает положительный результат. Известно, что отрицательный контроль дает отрицательный результат. Положительный контроль подтверждает, что основные условия эксперимента смогли дать положительный результат, даже если ни один из реальных экспериментальных образцов не дал положительного результата. Отрицательный контроль демонстрирует исходный результат, полученный, когда тест не дает измеримого положительного результата. Чаще всего значение отрицательного контроля рассматривается как «фоновое» значение, которое вычитается из результатов теста образца. Иногда положительный контроль занимает квадрант стандартной кривой .

. Примером, который часто используется в учебных лабораториях, является контролируемый протеин анализ. Студентам может быть предоставлен образец жидкости, содержащий неизвестное (для ученика) количество белка. Их работа - правильно провести контролируемый эксперимент, в котором они определяют концентрацию белка в образце жидкости (обычно называемом «неизвестным образцом»). Учебная лаборатория будет оснащена стандартным раствором белка с известной концентрацией белка. Студенты могут сделать несколько положительных контрольных образцов, содержащих различные разведения стандарта белка. Образцы отрицательного контроля будут содержать все реагенты для анализа белка, но не содержат белка. В этом примере все образцы выполняются в двух экземплярах. Анализ представляет собой колориметрический анализ, в котором спектрофотометр может измерять количество белка в образцах, обнаруживая окрашенный комплекс, образованный взаимодействием молекул белка и молекул добавленного красителя. На иллюстрации результаты для разбавленных тестовых образцов можно сравнить с результатами стандартной кривой (синяя линия на рисунке), чтобы оценить количество белка в неизвестном образце.

Контролируемые эксперименты можно проводить, когда трудно точно контролировать все условия в эксперименте. В этом случае эксперимент начинается с создания двух или более групп выборок, которые являются вероятностно эквивалентными, что означает, что измерения характеристик должны быть одинаковыми среди групп и что группы должны реагировать одинаково, если их обрабатывают одинаково. Эта эквивалентность определяется с помощью статистических методов, которые принимают во внимание величину вариации между индивидуумами и количество индивидуумов в каждой группе. В таких областях, как микробиология и химия, где между людьми очень мало различий, а размер группы легко исчисляется миллионами, эти статистические методы часто игнорируются и просто разделяют решение на равные части предполагает получение идентичных групп выборок.

После формирования эквивалентных групп экспериментатор пытается относиться к ним одинаково, за исключением одной переменной, которую он или она желает выделить. Эксперименты на людях требуют специальных мер защиты от внешних переменных, таких как эффект плацебо. Такие эксперименты обычно являются двойным слепым, что означает, что ни доброволец, ни исследователь не знают, какие люди находятся в контрольной или экспериментальной группе, пока не будут собраны все данные. Это гарантирует, что любые воздействия на добровольца вызваны самим лечением, а не ответом на знание того, что его лечат.

В экспериментах на людях исследователи могут дать субъекту (человеку) стимул, на который субъект реагирует. Цель эксперимента - измерить реакцию на стимул с помощью тестового метода.

Исходная карта Джона Сноу, показывающая кластеры случаи холеры во время эпидемии в Лондоне 1854 г.

В плане экспериментов для оценки разницы между средними ответами <121 используются два или более «лечения».>для лечения. Например, эксперимент по выпечке хлеба может оценить разницу в ответах, связанных с количественными переменными, такими как отношение воды к муке, и с качественными переменными, такими как штаммы дрожжей. Экспериментирование - это этап научного метода, который помогает людям выбирать между двумя или более конкурирующими объяснениями или гипотезами. Эти гипотезы предлагают причины для объяснения явления или предсказания результатов действия. Примером может служить гипотеза о том, что «если я выпущу этот мяч, он упадет на пол»: это предположение можно затем проверить, выполнив эксперимент по отпусканию мяча и наблюдая за результатами. Формально гипотеза сравнивается с противоположной ей или нулевой гипотезой («если я выпущу этот мяч, он не упадет на пол»). Нулевая гипотеза состоит в том, что нет никакого объяснения или предсказательной силы явления через рассуждения, которые исследуются. После определения гипотез можно провести эксперимент и проанализировать результаты, чтобы подтвердить, опровергнуть или определить точность гипотез.

Также могут быть разработаны эксперименты для оценки побочных эффектов на соседние необработанные единицы.

Естественные эксперименты

Термин «эксперимент» обычно подразумевает контролируемый эксперимент, но иногда контролируемые эксперименты чрезвычайно трудны или невозможны. В этом случае исследователи прибегают к натурным экспериментам или квази-экспериментам. Естественные эксперименты основываются исключительно на наблюдениях за переменными изучаемой системы системы, а не на манипулировании одной или несколькими переменными, как это происходит в контролируемых экспериментах. Насколько это возможно, они пытаются собирать данные для системы таким образом, чтобы можно было определить вклад всех переменных, и где эффекты вариации некоторых переменных остаются примерно постоянными, чтобы можно было различить влияние других переменных. Степень, в которой это возможно, зависит от наблюдаемой корреляции между объясняющими переменными в наблюдаемых данных. Когда эти переменные плохо коррелируют, естественные эксперименты могут приблизиться к мощности контролируемых экспериментов. Однако обычно между этими переменными существует некоторая корреляция, которая снижает надежность натурных экспериментов по сравнению с тем, что можно было бы сделать, если бы проводился контролируемый эксперимент. Кроме того, поскольку естественные эксперименты обычно проводятся в неконтролируемой среде, переменные из необнаруженных источников не измеряются и не остаются постоянными, и это может приводить к иллюзорным корреляциям в исследуемых переменных.

Большое количество исследований в нескольких научных дисциплинах, в том числе экономика, география человека, археология, социология, культурная антропология, геология, палеонтология, экология, метеорология и астрономия, опирается на квазиэксперименты. Например, в астрономии совершенно невозможно, проверяя гипотезу «Звезды - это сжатые облака водорода», начать с гигантского облака водорода, а затем провести эксперимент, ожидая несколько миллиардов лет, пока оно не сформирует звезду.. Однако, наблюдая за различными облаками водорода в различных состояниях коллапса и другими следствиями гипотезы (например, наличием различных спектральных излучений от света звезд), мы можем собрать данные, необходимые для подтверждения гипотезы. Ранним примером этого типа эксперимента была первая проверка в 17 веке, что свет не перемещается с места на место мгновенно, а вместо этого имеет измеримую скорость. Наблюдение за появлением спутников Юпитера было немного отложено, когда Юпитер был дальше от Земли, в отличие от того, когда Юпитер был ближе к Земле; и это явление было использовано, чтобы продемонстрировать, что разница во времени появления лун соответствует измеримой скорости.

Полевые эксперименты

Полевые эксперименты названы так, чтобы отличать их от лабораторных экспериментов, которые обеспечивают научный контроль путем проверки гипотезы в искусственных и строго контролируемых условиях лаборатории.. Полевые эксперименты, часто используемые в социальных науках, и особенно при экономическом анализе мероприятий в области образования и здравоохранения, имеют то преимущество, что результаты наблюдаются в естественных условиях, а не в искусственных лабораторных условиях. По этой причине полевые эксперименты иногда рассматриваются как имеющие более высокую внешнюю достоверность, чем лабораторные эксперименты. Однако, как и естественные эксперименты, полевые эксперименты страдают от возможности заражения: условия эксперимента можно контролировать с большей точностью и уверенностью в лаборатории. Однако некоторые явления (например, явка избирателей на выборы) нелегко изучить в лаборатории.

Контраст с наблюдательным исследованием
модель черного ящика для наблюдения (входные и выходные данные - наблюдаемые). Когда есть обратная связь с контролем некоторого наблюдателя, как показано, наблюдение также является экспериментом.

Наблюдательное исследование используется, когда оно непрактично, неэтично, непомерно дорого (или иным образом неэффективны), чтобы вписать физическую или социальную систему в лабораторные условия, полностью контролировать мешающие факторы или применить случайное распределение. Его также можно использовать, когда смешивающие факторы либо ограничены, либо известны достаточно хорошо, чтобы анализировать данные в их свете (хотя это может быть редкостью, когда исследуются социальные явления). Чтобы наблюдательная наука была достоверной, экспериментатор должен знать и учитывать искажающие факторы. В этих ситуациях наблюдательные исследования имеют ценность, потому что они часто предлагают гипотезы, которые можно проверить с помощью рандомизированных экспериментов или путем сбора свежих данных.

Однако, по сути, наблюдения не являются экспериментами. По определению, в наблюдательных исследованиях отсутствуют манипуляции, необходимые для экспериментов Бэкона. Кроме того, обсервационные исследования (например, в биологических или социальных системах) часто включают переменные, которые трудно количественно оценить или контролировать. Наблюдательные исследования ограничены, потому что им не хватает статистических свойств рандомизированных экспериментов. В рандомизированном эксперименте метод рандомизации, указанный в протоколе эксперимента, направляет статистический анализ, который обычно также указывается в протоколе эксперимента. Без статистической модели, отражающей объективную рандомизацию, статистический анализ полагается на субъективную модель. Выводы из субъективных моделей ненадежны в теории и на практике. Фактически, есть несколько случаев, когда тщательно проведенные наблюдательные исследования постоянно дают неверные результаты, то есть когда результаты наблюдательных исследований противоречивы, а также отличаются от результатов экспериментов. Например, эпидемиологические исследования рака толстой кишки неизменно показывают положительную корреляцию с потреблением брокколи, в то время как эксперименты не обнаруживают никакой пользы.

Особая проблема наблюдательных исследований с участием людей - большая трудность в достижении справедливого сравнения между видами лечения (или воздействиями), поскольку такие исследования подвержены систематической ошибке отбора, а группы, получающие разное лечение (воздействия), могут сильно различаться в зависимости от их ковариат (возраст, рост, вес, лекарства, физические упражнения, статус питания, этническая принадлежность, семейный анамнез), так далее.). Напротив, рандомизация предполагает, что для каждой ковариаты среднее значение для каждой группы должно быть одинаковым. Для любого рандомизированного исследования, конечно, ожидается некоторое отклонение от среднего, но рандомизация гарантирует, что экспериментальные группы имеют близкие средние значения из-за центральной предельной теоремы и неравенства Маркова. При неадекватной рандомизации или небольшом размере выборки систематические вариации ковариат между группами лечения (или группами воздействия) затрудняют отделение эффекта лечения (воздействия) от эффектов других ковариат, большинство из которых не были измерены.. Математические модели, используемые для анализа таких данных, должны учитывать каждую отличающуюся ковариату (если она измерена), и результаты не имеют смысла, если ковариата не рандомизирована и не включена в модель.

Чтобы избежать условий, которые делают эксперимент гораздо менее полезным, врачи, проводящие медицинские испытания - скажем, для одобрения Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США - определяют количественно и рандомизируют ковариаты, которые могут быть идентифицированы. Исследователи пытаются уменьшить систематические ошибки наблюдательных исследований с помощью методов сопоставления, таких как сопоставление оценок склонностей, которые требуют больших групп субъектов и обширной информации о ковариантах. Однако сопоставление оценок предрасположенности больше не рекомендуется в качестве метода, поскольку оно может увеличивать, а не уменьшать смещение. По возможности результаты также оцениваются количественно (плотность костной ткани, количество некоторых клеток или веществ в крови, физическая сила или выносливость и т. Д.) И не основываются на мнении субъекта или профессионального наблюдателя. Таким образом, план обсервационного исследования может сделать результаты более объективными и, следовательно, более убедительными.

Этика

Помещая распределение независимых переменных под контроль исследователя, эксперимент - особенно когда в нем участвуют люди - вводит потенциальные этические соображения, такие как баланс пользы и вреда, справедливое распределение вмешательств (например, лечение заболевания) и информированное согласие. Например, в психологии или здравоохранении неэтично предоставлять пациентам некачественное лечение. Таким образом, советы по этическому контролю должны прекращать клинические испытания и другие эксперименты, если только не предполагается, что новое лечение предлагает такие же преимущества, как текущая передовая практика. Также, как правило, неэтично (а часто и незаконно) проводить рандомизированные эксперименты по изучению воздействия некачественных или вредных методов лечения, например, воздействия мышьяка на здоровье человека. Чтобы понять последствия такого воздействия, ученые иногда используют наблюдательные исследования, чтобы понять влияние этих факторов.

Даже если экспериментальные исследования не связаны напрямую с людьми, они все равно могут вызывать этические проблемы. Например, эксперименты с ядерной бомбой, проведенные Манхэттенским проектом, подразумевали использование ядерных реакций для нанесения вреда людям, хотя в экспериментах не участвовали люди напрямую.

Экспериментальный метод в законе

Экспериментальный метод может быть полезен при решении юридических проблем.

См. Также
Примечания
Дополнительная литература
  • Даннинг, Тад (2012). Естественные эксперименты в социальных науках: подход, основанный на дизайне. Кембридж: Издательство Кембриджского университета. ISBN 978-1107698000. CS1 maint: ref = harv (ссылка )
  • Шадиш, Уильям Р.; Кук, Томас Д.; Кэмпбелл, Дональд Т.. (2002). Экспериментальные и квазиэкспериментальные планы для обобщенного причинного вывода (Nachdr. Ed.). Boston: Houghton Mifflin. ISBN 0-395-61556-9.(Выдержки )
  • Джереми, Тейген (2014). «Experimental Methods in Military and Veteran Studies». In Soeters, Joseph; Shields, Patricia; Rietjens, Sebastiaan (eds.). Routledge Handbook of Research Methods in Military Studies. New York: Routledge. Pp. 228–238.
Внешние ссылки
Последняя правка сделана 2021-05-19 09:55:13
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте