Войти
Рецензент из Американских национальных институтов of Health оценивает предложение по гранту. Экспертная оценка - это оценка работы одним или несколькими людьми с аналогичными компетенциями, как у авторов работы (коллег ). Он функционирует как форма саморегулирования квалифицированными специалистами в соответствующем поле . Методы экспертной оценки используются для поддержания стандартов качества, повышения производительности и обеспечения доверия. В академических кругах, научная экспертная оценка часто используется для определения пригодности академической статьи для публикации. Рецензирование может быть разделено на категории по типу деятельности, а также по области или профессии, в которой эта деятельность осуществляется, например, медицинская экспертная оценка.
Профессиональная экспертная оценка фокусируется на работе профессионалов с целью повышения качества, соблюдение стандартов или предоставление сертификации. В академических кругах экспертная оценка используется для информирования при принятии решений, связанных с продвижением преподавательского состава и продолжительностью пребывания в должности. Генри Ольденбург (1619–1677) был британским философом немецкого происхождения, которого считают «отцом» современных научных коллег.
Прототип профессионального процесса экспертной оценки рекомендован в Этике врача, написанном Исхаком ибн Али ал-Рухави (854–931). Он заявил, что приходящий врач должен делать двойные записи о состоянии пациента при каждом посещении. Когда пациент вылечился или умер, записи врача были изучены местным медицинским советом других врачей, который решал, соответствовало ли лечение требуемым стандартам медицинской помощи.
Профессиональная экспертная оценка широко применяется в сфере здравоохранения, где его обычно называют клинической экспертной оценкой. Кроме того, поскольку деятельность по экспертной оценке обычно сегментирована по клинической дисциплине, существует также экспертная оценка врачом, экспертная оценка медсестер, экспертная оценка стоматологии и т. Д. Многие другие профессиональные области имеют некоторый уровень процесса экспертной оценки: бухгалтерский учет, право, инженерия (например, экспертная оценка программного обеспечения, техническая экспертная оценка ), авиация и даже борьба с лесными пожарами.
Экспертная оценка используется в образовании для достижения определенных целей обучения, особенно в качестве инструмент для достижения процессов более высокого порядка в аффективной и когнитивной областях, как это определено в таксономии Блума. Это может принимать различные формы, в том числе точно имитировать процессы экспертной оценки, используемые в науке и медицине.
Научная экспертная оценка (также известная как рефери ) представляет собой процесс подвергания научной работы, исследования или идей автора вниманию других, экспертов в той же области, перед публикацией статьи, описывающей это Работа публикуется в журнале, трудах конференций или в виде книги. Рецензирование помогает издателю (т. Е. главный редактор, редакционная коллегия или программный комитет) решить, следует ли принять работу, считать ли ее приемлемой с исправлениями, или отклонено.
Рецензирование требует наличия сообщества экспертов в данной (и часто узко определенной) области, которые обладают квалификацией и могут проводить достаточно беспристрастную оценку. Беспристрастный анализ, особенно работы в менее узко определенных или междисциплинарных областях, может оказаться трудным для выполнения, а значимость (хорошая или плохая) идеи никогда не будет широко оценена ее современниками. Рецензирование обычно считается необходимым для академического качества и используется в большинстве крупных научных журналов. Однако рецензирование не предотвращает публикацию недействительных исследований, и имеется мало свидетельств того, что рецензирование улучшает качество публикуемых статей.
Есть попытки реформировать процесс рецензирования, в том числе в областях метанаука и журналистика. Реформаторы стремятся повысить надежность и эффективность процесса экспертной оценки и предоставить ему научную основу. Были проверены альтернативы общепринятым методам рецензирования, в частности открытое рецензирование, где комментарии видны читателям, как правило, с раскрытием личности рецензентов, например, F1000, eLife, BMJ и BioMed Central.
Европейский Союз использовал экспертная оценка в рамках «открытого метода координации» политики в областях активной политики на рынке труда с 1999 года. В 2004 году программа партнерских обзоров началась в социальной интеграции. Каждая программа ежегодно спонсирует около восьми встреч коллегиального обзора, на которых «принимающая страна» представляет данную политику или инициативу, открытую для рассмотрения полдюжиной других стран и соответствующими НПО европейского уровня. Обычно они проводятся в течение двух дней и включают посещение местных сайтов, где можно увидеть действие политики. Встрече предшествует составление экспертного отчета, по которому участвующие "равные страны" представляют свои комментарии. Результаты опубликованы в сети.
Европейская экономическая комиссия Организации Объединенных Наций через Обзоры результативности экологической деятельности ЕЭК ООН использует экспертную оценку, называемую «взаимное обучение», для оценки прогресса, достигнутого ее стран-участниц в улучшении своей экологической политики.
Штат Калифорния - единственный штат США, в котором требуется научная экспертная оценка. В 1997 году губернатор Калифорнии подписал законопроект Сената 1320 (Sher), глава 295, статут 1997 года, который требует, чтобы до того, как какой-либо совет, департамент или офис CalEPA примут окончательную версию нормотворчества, научные выводы, выводы и предположения, на которых основано предлагаемое правило, должны быть представлены на независимую внешнюю научную экспертную оценку. Это требование включено в раздел 57004 Кодекса здравоохранения и безопасности штата Калифорния.
Медицинская экспертная оценка может быть разделена на 4 классификации:
1) Клинический эксперт обзор ; Клиническая экспертная оценка - это процедура оценки участия пациента в оказании помощи. Это часть прогрессирующей оценки профессиональной практики и ориентированной на профессиональную практику оценки - важные сторонники сертификации и привилегий поставщиков.
2) коллегиальная оценка навыков клинического обучения как для врачей, так и для медсестер;
3) Научная рецензия журнальных статей;
4) Вторичный раунд экспертной оценки клинической ценности статей, одновременно опубликованных в медицинских журналах.
Кроме того, медицинская экспертная оценка была использована Американская медицинская ассоциация для обозначения не только процесса повышения качества и безопасности в организациях здравоохранения, но также и процесса оценки клинического поведения или соответствия стандартам членства в профессиональном сообществе. Клиническая сеть считает, что это самый идеальный метод обеспечения надежности распределенного исследования и того, что любые клинические лекарства, которые она защищает, защищены и жизнеспособны для людей. Таким образом, терминология имеет слабую стандартизацию и специфичность, особенно в качестве поискового запроса в базе данных.
В инженерии техническая экспертная оценка является разновидностью инженерной экспертизы. Технические партнерские проверки - это четко определенный процесс проверки для поиска и исправления дефектов, проводимый группой коллег с назначенными ролями. Технические коллегиальные обзоры проводятся коллегами, представляющими области жизненного цикла, на которые влияет анализируемый материал (обычно ограничивается 6 или менее людьми). Технические коллегиальные обзоры проводятся на этапах разработки, между этапными обзорами, завершенных продуктов или завершенных частей продуктов.
Для постороннего анонимный процесс экспертной оценки перед публикацией непрозрачен. Некоторые журналы обвиняют в том, что они не проводят строгую экспертную оценку, чтобы упростить расширение своей клиентской базы, особенно в тех журналах, авторы которых платят взнос перед публикацией. Ричард Смит, доктор медицинских наук, бывший редактор British Medical Journal, заявил, что экспертная оценка «неэффективна, в основном лотерея, антиинновационная, медленная, дорогая, расточительна научного времени, неэффективна, легко подвергается злоупотреблениям, склонны к предвзятости, неспособны выявлять мошенничество и не имеют отношения к делу; несколько исследований показали, что рецензирование предвзято против провинциальных и из стран с низким и средним уровнем дохода; для публикации многих журналов требуются месяцы и даже годы, и этот процесс тратит время исследователей. Что касается затрат, Исследовательская информационная сеть оценила глобальную стоимость экспертной оценки в 1,9 миллиарда фунтов стерлингов в 2008 г. "
Кроме того, Австралия инновационные исследовательские университеты (коалиция семи универсальных университетов, приверженных инклюзивному превосходству в преподавании, обучении и исследованиях в Австралии) обнаружила, что «экспертная оценка ставит исследователей в невыгодное положение на раннем этапе их карьеры, когда они полагаются на конкурсные гранты для покрытия своих зарплат, а когда они не добиваются успеха. l заявки на финансирование часто означают конец исследовательской идеи ".
Джон Иоаннидис утверждает, что, поскольку экзамены и другие тесты, которые люди сдают по их путь от «непрофессионала» к «эксперту» - сосредоточиться на своевременных ответах на вопросы и в соответствии со списком ответов, а не на проведении точных различий (последнее из которых было бы неузнаваемо для экспертов с более низкой когнитивной точностью), существует как значительные индивидуальные различия в способности отличать причинно-следственную связь от корреляции среди «экспертов», как и среди «непрофессионалов». Иоаннидис утверждает, что в результате научное рецензирование многими «экспертами» позволяет пройти только статьи, которые понятны с широким диапазоном когнитивных уровней точности, включая очень низкие, что смещает публикации в пользу статей, которые выводят причинно-следственную связь из корреляции, при неправильной маркировке статей, которые провести различие как «некомпетентная переоценка своих способностей» на стороне авторов, потому что некоторые из рецензирующих «экспертов» когнитивно неспособны отличить различие от предполагаемого рационализации конкретных выводов. Иоаннидис утверждает, что это делает рецензирование причиной выборочной публикации ложных результатов исследования, в то же время останавливая публикацию их строгой критики, и что дальнейшая проверка после публикации повторяет ту же предвзятость, выборочно отбирая несколько строгих статей, которые, возможно, сделали это. посредством первоначального рецензирования перед публикацией, позволяя тем самым нижним, которые путают корреляцию и причинно-следственную связь, оставаться в печати.
Исследователи рецензировали рукописи перед публикацией их в множество способов с 18 века. Основная цель этой практики - повысить актуальность и точность научных дискуссий. Несмотря на то, что эксперты часто критикуют экспертную оценку по ряду причин, этот процесс по-прежнему считается «золотым стандартом» науки. Однако иногда экспертная оценка одобряет исследования, которые позже оказываются ошибочными, и до публикации редко обнаруживаются обманчивые или мошеннические результаты. Таким образом, кажется, есть элемент разногласий между идеологией, лежащей в основе, и практикой экспертной оценки. Отсутствие эффективного сообщения о несовершенстве рецензирования приводит к тому, что широкая общественность получает сообщение о том, что исследования, опубликованные в рецензируемых журналах, являются «истинными» и что рецензирование защищает литературу от ошибочной науки. Существует ряд устоявшихся критических замечаний по поводу многих элементов экспертной оценки. Ниже мы описываем случаи более широкого влияния ненадлежащей экспертной оценки на понимание научной литературы общественностью.
Многочисленные примеры из нескольких областей науки показывают, что ученые повысили важность экспертной оценки для исследований, которые были сомнительными или искаженными. Например, отрицатели изменения климата опубликовали исследования в журнале «Энергия и окружающая среда», пытаясь подорвать совокупность исследований, показывающих, как деятельность человека влияет на климат Земли. Политики в Соединенных Штатах, которые отвергают устоявшуюся науку об изменении климата, затем несколько раз цитировали этот журнал в своих выступлениях и отчетах.
Иногда экспертная оценка разоблачается как процесс, который был организован для достижения заранее заданного результата. The New York Times получила доступ к конфиденциальным документам экспертной оценки исследований, спонсируемых Национальной футбольной лигой (НФЛ), которые были названы научным доказательством того, что травмы мозга не причиняют долгосрочного вреда своим игрокам. В процессе экспертной оценки авторы исследования заявили, что все игроки НФЛ участвовали в исследовании, заявление, которое репортеры сочли ложным, изучив базу данных, использованную для исследования. Кроме того, The Times отметила, что НФЛ стремилась узаконить методы и выводы исследований, ссылаясь на «строгий конфиденциальный процесс рецензирования», несмотря на свидетельства того, что некоторые рецензенты, казалось, «отчаялись» прекратить их публикацию. Недавние исследования также показали, что Широко распространенное отраслевое финансирование опубликованных медицинских исследований часто не декларируется, и такие конфликты интересов не решаются должным образом при экспертной оценке.
Еще одна проблема, которую не удается уловить коллегам, - это написание текста, процесс, осуществляемый какие компании готовят статьи для ученых, которые затем публикуют их в журналах, иногда с небольшими изменениями или без них. Эти исследования затем можно использовать в политических, нормативных и маркетинговых целях. В 2010 году Финансовый комитет Сената США опубликовал отчет, в котором говорится, что такая практика была широко распространено, что это испортило научную литературу и увеличило количество выписанных рецептов. Призрачные статьи появились в десятках журналов с участием профессора s в нескольких университетах.
Так же, как эксперты в конкретной области лучше понимают ценность статей, опубликованных в их области, считается, что ученые лучше понимают ценность опубликованных статей, чем широкая публика и рассматривать экспертную оценку как человеческий процесс с человеческими недостатками, и что «несмотря на ее ограничения, она нам нужна. Это все, что у нас есть, и трудно представить, как бы мы обошлись без этого ". Но эти тонкости упускаются из виду широкой публикой, которая часто заблуждается, полагая, что публикация в журнале с рецензированием является" золотым стандартом ". "и может ошибочно отождествлять опубликованное исследование с правдой. Таким образом, необходимо больше внимания уделять тому, как экспертная оценка и результаты рецензируемого исследования доводятся до неспециализированной аудитории; особенно в то время, когда ряд технических изменений и появляется более глубокое понимание сложностей рецензирования. Это будет необходимо, поскольку система научных публикаций должна противостоять более широким проблемам, таким как «кризис» отзыва и тиражирования или воспроизводимости.
Рецензирование часто считается неотъемлемой частью научного дискурса в той или иной форме. Предполагается, что его роль в качестве контролера необходима для поддержания качества научной литературы и предотвращения риска получения ненадежных результатов, неспособности отделить сигнал от шума и медленного научного прогресса.
Недостатки экспертной оценки устранены. требует еще более сильной фильтрации и большего контроля. Распространенным аргументом в пользу таких инициатив является вера в то, что этот фильтр необходим для поддержания целостности научной литературы.
Призывы к усилению надзора имеют по крайней мере два следствия, которые противоречат тому, что известно как истина. стипендия.
Другие утверждают, что авторы больше всего заинтересованы в качестве конкретной работы. Как выразился Фейнман (1974), только авторы могли обладать «дополнительным типом целостности, который выходит за рамки того, чтобы не лгать, а изгибаться назад, чтобы показать, насколько вы, возможно, неправы, что вы должны иметь, действуя как ученый. " Во всяком случае, текущий процесс коллегиальной оценки и академическая система могут наказать или, по крайней мере, не стимулировать такую честность.
Напротив, авторитет, присвоенный ярлыком «рецензируемый», может уменьшить то, что Фейнман называет культурой сомнения, необходимой науке для осуществления самокорректирующегося процесса поиска истины. Последствия этого можно увидеть в продолжающемся кризисе репликации, мистификациях и повсеместном возмущении по поводу неэффективности существующей системы. Принято считать, что ответ - это усиление контроля, поскольку рецензенты вовсе не лишены скептицизма. Но проблема не в скептицизме тех немногих избранных, которые определяют, проходит ли статья через фильтр. Это подтверждение и сопутствующее отсутствие скептицизма, которое приходит после. Здесь опять же усиление контроля только усиливает впечатление, что экспертная оценка обеспечивает качество, тем самым еще больше уменьшая культуру сомнений и противодействуя духу научного поиска.
Качественные исследования - даже некоторые из наших самых фундаментальных научных открытий - относятся к прошлым веков, задолго до того, как экспертная оценка приняла ее нынешнюю форму. Какая бы экспертная оценка ни существовала много веков назад, она приняла другую форму, чем в наше время, без влияния крупных коммерческих издательских компаний или повсеместной культуры публикации или исчезновения. Хотя изначально это было трудоемкой и отнимающей много времени задачей, исследователи, тем не менее, прибегали к экспертной оценке не из-за обязательств, а из-за долга, чтобы поддержать целостность своих собственных исследований. Им удавалось сделать это по большей части без помощи централизованных журналов, редакторов или какого-либо формализованного или институционализированного процесса. Сторонники современных технологий утверждают, что они позволяют мгновенно общаться с учеными по всему миру, упрощают такой научный обмен и возвращают рецензирование в более чистую научную форму, как дискурс, в котором исследователи взаимодействуют друг с другом для лучшего разъяснения, понимания
Такая современная технология включает публикацию результатов на серверах препринтов, предварительную регистрацию исследований, открытую экспертную оценку и другие открытая научная практика. Во всех этих инициативах роль контроля остается заметной, как если бы это была необходимая черта всего научного общения, но критики утверждают, что правильная реализация в реальном мире может проверить и опровергнуть это предположение; продемонстрировать стремление исследователей к большему, чем могут предложить традиционные журналы; показывают, что исследователям можно доверить проведение собственного контроля качества независимо от рецензий, связанных с журналами. также утверждает, что протест по поводу неэффективности традиционных журналов основан на их неспособности обеспечить достаточно строгую проверку и передачу критического мышления на аутсорсинг скрытому и плохо понимаемому процессу. Таким образом, предположение о том, что журналы и рецензирование необходимы для защиты научной целостности, кажется, подрывает сами основы научных исследований.
Чтобы проверить гипотезу о том, что фильтрация действительно не нужна для контроля качества, многие традиционные методы публикации необходимо будет изменить дизайн, редакционные коллегии, если их не распустить, перепрофилировать, а авторам предоставили контроль над рецензированием своих работ. Поручение авторам отвечать за их собственное рецензирование служит двойной цели. С одной стороны, это устраняет присуждение качества в рамках традиционной системы, тем самым устраняя престиж, связанный с простым актом публикации. Как это ни парадоксально, устранение этого барьера может на самом деле привести к повышению качества публикуемой работы, поскольку устраняет клеймо публикации ради самой публикации. С другой стороны, читатели знают, что фильтра не существует, поэтому они должны интерпретировать прочитанное со здоровой долей скептицизма, тем самым естественным образом восстанавливая культуру сомнений в научной практике.
Помимо опасений по поводу качества. Из работ, подготовленных благонамеренными исследователями, есть опасения, что действительно открытая система позволит наполнить литературу хламом и пропагандой теми, кто заинтересован в определенных вопросах. Контраргумент состоит в том, что традиционная модель экспертной оценки уменьшает здоровый скептицизм, который является отличительной чертой научного исследования, и, таким образом, повышает доверие к подрывным попыткам проникновения в литературу. Публикация такого «мусора» может сделать отдельные статьи менее надежными, но сделать литературу в целом более устойчивой за счет развития «культуры сомнений».
Одной из инициатив, экспериментирующих в этой области, является некоммерческая экспертная оценка Платформа публикаций с новым процессом рецензирования, управляемым авторами. Другие аналогичные примеры включают Self-Journal of Science, PRElights и The Winnower, которые, похоже, еще не сильно нарушили традиционный рабочий процесс рецензирования. Сторонники делают вывод, что исследователи более чем ответственны и достаточно компетентны, чтобы обеспечить собственный контроль качества; им просто необходимы средства и полномочия для этого.
