Научная рецензия

редактировать
Процесс подвергания научной работы автора или исследования вниманию других, которые являются экспертами той же области

Научно-экспертная оценка ( также известная как рефери ) - это процесс подвергания научной работы, исследования или идей автора вниманию других, которые эксперты в той же области, прежде чем статья с описанием этой работы будет опубликована в журнале, материалов конференций или в виде книги. Рецензирование помогает издателю (то есть главный редактор, редакционная коллегия или программный комитет) решить, следует ли принять работу, считать ли ее приемлемой с исправлениями, или отклонено.

Рецензирование требует наличия данного эксперта в области, которая обладает квалификацией и обладает достаточной беспристрастной оценкой. Беспристрастный анализ, особенно работы в менее узко определенных или междисциплинарных областях, может оказаться трудным для выполнения, а значимость (хорошая или плохая) идеи никогда не будет широко оценена ее современниками. Рецензирование обычно считается для больших научных журналов. Однако рецензирование не предотвращает публикацию недействительных исследований, и существует мало свидетельств того, что рецензирование улучшает качество опубликованных статей.

Есть попытки реформировать процесс рецензирования, в том числе в областях метанаука и журналистика. Реформаторы стремятся повысить эффективность процесса экспертной оценки и предоставить ему научную основу. Были проверены альтернативы общепринятым методам рецензирования, в частности открытое рецензирование, где комментарии видны читателям, как правило, с раскрытием личности рецензентов, например, F1000, eLife, BMJ и BioMed Central.

Содержание

  • 1 История
  • 2 Обоснование
  • 3 Процедура
  • 4 Набор рецензентов
  • 5 Различные стили
    • 5.1 Анонимные и приписываемые
    • 5.2 Открытая рецензия
    • 5.3 Рецензирование до и после публикации
      • 5.3.1 Рецензирование перед публикацией
      • 5.3. 2 Рецензирование после публикации
      • 5.3.3 Социальные сети и неформальное рецензирование
    • 5.4 Слепое рецензирование результатов
  • 6 Критика
    • 6.1 Обвинения в предвзятости и подавлении
    • 6.2 Журналы с открытым доступом и коллеги обзор
    • 6.3 Неудачи
      • 6.3.1 Поддельная экспертная оценка
      • 6.3.2 Плагиат
      • 6.3.3 Примеры
  • 7 В популярной культуре
  • 8 См. также
  • 9 Ссылки
  • 10 Дополнительная литература

История

Первая запись редакционной статьи рецензирование перед публикацией проведено с 1665 года Генри Ольденбургом, редактором-основателем Philosophical Transactions Королевского общества в Лондонском королевском обществе.

Первым коллегой - рецензируемая публикация могла быть «Медицинскими очерками и наблюдениями» опубликованными Королевским обществом Эдинбурга в 1731 году. Современная система рецензирования возникла из этого процесса 18-го века и начала привлекать внешние рецензенты в середины 19 века, и не стало обычным явлением до середины 20 века.

Рецензирование стало пробным камнем научным методом, но до конца 19 века часто выполняется непосредственно главным редактором или редакционным комитетом. Редакторы научных журналов в то время принимали решения о публикации, не обращаясь за помощью к извне, то есть к внешней группе рецензентов, что давало авторитетным авторам свободы действий в их журналистском усмотрении. Например, четыре революционных статьи Альберта Эйнштейна Аннуса Мирабилиса в выпуске Annalen der Physik 1905 года были рецензированы в редактором журнала., Макс Планк и его соредактор Вильгельм Вин, оба будущие лауреаты Нобелевской программы и вместе с ним по темам этих статей. Гораздо позже Эйнштейн резко критиковал процесс внешнего рецензирования, говоря, что он не уполномочил главного редактора показать свою рукопись «специалистам до того, как она будет напечатана», и сообщил ему, что он «опубликует статью в другом месте». "- что он и сделал, и позже ему пришлось отозвать публикацию.

Хотя некоторые медицинские журналы начали систематически назначать внешних рецензентов, эта практика распространилась только с середины 20-го века. В передовой статье 2003 года в Nature говорилось, что в начале 20 века «бремя доказательства лежало в основном на противниках, а не на сторонниках новых идей». Такие журналы, как Science и American Journal of Medicine, все больше полагались на внешние рецензенты в 1950-х и 1960-х годах, отчасти для уменьшения редакционной нагрузки. Этот процесс, по-видимому, развился независимо от процесса рецензирования редакционной коллегией.

Годе дает взгляд на ист орию рецензирования с точки зрения социальных наук, внимательно относясь к тому, что исследуется, в данном случае рецензирование, а не только к поверхностным или очевидные общие черты инквизиции, цензуры и рецензирования журналов. Он основан на исторических исследованиях Гулда, Бьяджоли, Спира и Рипа. Первый Конгресс рецензирования состоялся в 1989 году. Со временем доля статей, посвященных рецензирования, неуклонно сокращалась, что свидетельствует о том, что как область социологических исследований его заменили более систематические исследования предвзят ошибки и. Параллельно определениями «общего опыта», основанными на изучении экспертной оценки как «предварительное построение процесса», социологи рассматривают экспертную экспертную оценку, не считая ее заранее сконструированной. Хиршауэр предположил, что рецензирование журналов можно понимать как взаимную подотчетность сужденийам. Годе использования, чтобы рецензирование журналов могло быть понято как социальная форма пограничного суждения - определение того, что можно считать научным (или нет) противопоставление общей системе знаний, и следование предшествующим формам инквизиции и цензуры.

С прагматической точки зрения рецензирование относится к работе, проделанной во время просмотра представленных рукописей. Этот процесс побуждает собственные принятые стандарты своей дисциплины и сокращает распространение нерелевантных выводов, необоснованных утверждений, неприемлемых интерпретаций и личных взглядов. Публикации, не прошедшие рецензирование, скорее, были приняты академическими учеными и профессионалами с подозрением. Работа, не прошедшая рецензирование, не способствует увеличению академической репутации ученого, например, h-index, хотя это сильно зависит от области.

Обоснование

Авторам и исследователям, индивидуально или в команде, трудно каждую ошибку или изъян в сложной работе. Это не обязательно размышление о тех, кого это касается, но потому, что с новым и, возможно, эклектичным предметом, возможность улучшения может быть более очевидной для кого-то со специальными знаниями или того, кто просто смотрит на него свежим взглядом. Таким образом, показ работы другим увеличивает вероятность. И для грантового финансирования, и для публикации в научном журнале также обычно требуется, чтобы тема была новой и существенной.

Решение о публикации или о том, что следует изменить перед публикацией в конечном итоге принадлежит научному издателю (главный редактор или редакционная коллегия ). рукопись. Точно так же решение о том, финансировать ли предлагаемый проект или нет. Эти люди обычно относятся к мнению одного или нескольких рецензентов при принятии решения. Это в первую очередь по трем причинам:

  • рабочая нагрузка. Небольшая группа редакторов / оценщиков может уделять достаточно времени каждой из множества статей, представленных во многих журналах.
  • Множество идей. Если бы редактор / оценщик самостоятельно оценивал все представленные материалы, утвержденные материалы отражали исключительно их мнение.
  • Ограниченный опыт. От редактора / оценщика нельзя ожидать, что он будет достаточно экспертом во всех областях, охватываемых одним журналом или финансирующим агентством, чтобы адекватно оценить представленный материал.

Рецензенты часто анонимны и независимы. Однако некоторые рецензенты могут отказаться от анонимности, и в других ограниченных обстоятельствах, таких как рассмотрение официальной жалобы на судью или постановление суда, личность рецензента может быть раскрыта. Анонимность может быть односторонней или взаимной (одно- или двукратное слепое рецензирование).

Временные рецензенты обычно выбираются из процессов в процессе обсуждаемых в статье, рецензирования помогаютить некоторые недействительные или необоснованные утверждения в опубликованных исследованиях и знаниях. Ученые будут читать опубликованные статьи за пределами области детального опыта, а затем в некоторой степени на процесс рецензирования, чтобы обеспечить надежное и заслуживающее доверия исследование, на котором они основываются на исследованиях. Серьезный скандал, когда потенциальное исследование должно быть на недействительное исследование.

Для университетов США экспертное рецензирование книги перед публикацией является требованием для полноправного члена в Ассоциации прессы американского университета.

Процедура

В случае предлагаемых публикаций издатель (главный редактор или редакционная коллегия, часто с помощью редакторов-корреспондентов или младших редакторов) рассылает предварительные копии работы автора или идей исследователям или ученым, которые являются экспертами в поле ( известное как «рефери» или «рецензенты»). Связь обычно осуществляется по электронной почте или через веб-систему обработки рукописей, такую ​​как ScholarOne, Scholastica или Open Journal Systems. В зависимости от области исследования и конкретного журнала каждой статьи обычно приходится от одного до трех рецензентов. Например, Springer указывает, что на статью приходится два или три рецензента.

Процесс рецензирования включает три этапа:

Шаг 1: кабинетная оценка. Редактор оценивает рукопись, чтобы решить, будет ли статья передана рецензентам журнала. На этом многие статьи получают «кабинетный отказ», то есть редактор решающего кода статьи. Авторы могут получить или не получить объяснительное письмо.

Отклонение письменных документов, позволяющее быстро обходить нежизнеспособные рукописи и возможность авторам вести более подходящий журнал. Например, редакторы European Accounting Review задают каждую рукописи три, чтобы решить будет ли рукописьлена рецензентам: 1) соответствует ли статье целям и сфере деятельности журнала, 2) является ли содержание статьи (например, обзор литературы, методы, выводы) достаточны и вносит ли статья значительный вклад в большую часть литературы, и 3) соответствует ли она формату и техническим спецификациям? Если «нет» на какой-либо из них, рукопись получает отклонение от редакции.

Уровень отклонения от редакции зависит от журнала. Например, в 2017 году исследователи из Всемирного банка собрали процент отказов нескольких журналов по мировой экономике; процент отказов рабочего стола колеблется от 21% () до 66% (Journal of Development Economics ). Американская психологическая ассоциация публикует процент отказов для нескольких публикаций в этой области, хотя они не указаны, являются отклонением оценкой до или после завершения работы, их цифры в 2016 году изменились на 49%. до 90%.

Шаг 2: Проверка вслепую. Если статья не отклонена, редакторы отправляют рукопись рецензентам, которые выбираются с учетом их опыта и удаленности от авторов. На этом этапе рецензенты могут отклонить, принять без изменений (редко) или поручить авторам отредактировать и повторно подать заявку.

Причины принятия статьи редакторами различаются, но Elsevier опубликовал статью, в которой три редактора обсуждают факторы, способствующие принятию статьи. Эти факторы включают в себя: дает ли рукопись «новое понимание важного вопроса», будет ли она полезна для практиков, продвигает или предлагает новую теорию, поднимает новые вопросы, содержит ли подходящие методы и выводы, представляет ли убедительные аргументы, основанные на литературе и говорит хорошую историю. Один редактор отмечает, что ему нравятся статьи, которые он «хотел бы сделать» сам.

Каждый из этих рецензентов возвращает редактору оценку работы, отмечая недостатки или проблемы вместе с предложениями по улучшению. Как правило, большинство комментариев рецензентов в конечном итоге просматривается автором, хотя рецензент также может послать издателю комментарии типа «только для ваших глаз »; научные журналы соблюдают это соглашение почти повсеместно. Затем редактор оценивает комментарии рецензентов, свое собственное мнение о рукописи, прежде чем передать решение автору (ам), обычно с комментариями рецензентов.

Оценка рефери обычно включает явную рекомендацию о том, что делать с рукописью или предложением, часто выбирается из вариантов, предоставляемых журналом или финансирующим агентством. Например, Nature рекомендует четыре варианта действий:

  • безоговорочно принять рукопись или предложение,
  • принять ее в случае, если ее авторы улучшат ее определенным образом
  • , чтобы отклонить его, но воспользуйтесь пересмотрением и предложите повторное представление
  • , чтобы полностью отклонить его.

Во время этого процесса судей носит рекомендательный характер. Редактор (ы), как правило, не соглашается с мнением рецензентов, хотя чаще всего он это делает. Более того, научных публикаций не общаются друг с другом как группа, не общаются друг с другом, как правило, не знают личности или оценок друг друга. Сторонники утверждают, что, если рецензенты неизвестны друг другу, редактору (-ам) легче объективность рецензий. Обычно не требуется, чтобы рецензенты достигли консенсуса, вместо этого решения часто принимается редактором (-ами) на основе ее наилучшего суждения об условиях.

В ситуациях, когда несколько рефери расходятся во мнениях относительно качества работы, существует ряд стратегий для принятия решений. Статья может быть отклонена сразу, или редактор может выбрать, к какому рецензенту следует обратиться к автору. Когда издатель получает очень положительные и очень отрицательные отзывы на одну и ту же рукопись, редактор часто запрашивает один или несколько дополнительных обзоров в качестве разрешения конфликта. В качестве еще одной стратегии в случае совпадения издатель может предложить авторам ответить на критику рецензента и разрешить убедительное опровержение, чтобы разорвать ничью. Издатель не чувствует себя уверенно, чтобы взвесить убедительность опровержения, издатель может запросить ответ от рецензента, который выступил с первоначальной критикой. Редактор может передавать сообщения между авторами и рецензентом, фактическия им обсуждать точку зрения.

Однако даже в этих случаях издатели не разрешают нескольким рецензентам совещаться друг с другом, хотя каждый рецензент может часто видеть более ранние комментарии, другими рецензентами. Целью процесса является достижение консенсуса или убеждение кого-либо изменить свое мнение, предоставление материала для принятия информированного редакционного решения. Одно раннее исследование разногласий рефери показало, что было больше, чем шанс, по шести из семи атрибутов статьи (например, обзор литературы и окончательная рекомендация к публикации), но это исследование было небольшим и проводилось только по одному. журнал. По крайней мере, одно исследование показало, что несогласие рецензентов не является обычным явлением, но это исследование также невелико и проводится только в одном журнале.

Традиционно рецензенты часто остаются анонимными для авторов, но этот стандарт меняется как со временем, так и с течением времени. с академической сферой. В некоторых академических областях большинство журналов предлагают рецензенту возможность остаться анонимным или нет, или рецензент может подписать рецензию, тем самым отказываясь от анонимности. В опубликованных статьях в разделе благодарностей иногда содержится благодарность анонимным или именованным рецензентам, которые помогли улучшить статью. Например, журналы Nature предоставляют эту возможность.

Иногда авторы могут исключить определенных рецензентов: одно исследование, проведенное в Journal of Investigative Dermatology, показало, что исключение рецензентов удваивает шансы на принятие статьи. Некоторых ученых не устраивает эта идея, утверждая, что она искажает научный процесс. Другие утверждают, что он защищает от судей, которые каким-то образом предвзяты (например, профессиональное соперничество, обиды). В некоторых случаях авторы могут выбирать рецензентов для своих рукописей. Журнал открытого доступа по микробиологии перешел к этой модели. Главный редактор Майк Империале говорит, что этот процесс предназначен для сокращения времени, необходимого для рецензирования статей, и позволяет авторам выбирать наиболее подходящих рецензентов. Но скандал в 2015 году показывает, как такой выбор рецензентов может поощрять мошеннические отзывы. Фальшивые обзоры были отправлены в Журнал системы ренин-ангиотензин-альдостерон на имена рекомендованных автором рецензентов, в результате чего журнал исключил этот вариант.

Шаг 3: Исправления. Если рукопись не была отклонена во время рецензирования, она возвращается авторам для доработки. На этом этапе авторы решают вопросы, поднятые рецензентами. Доктор Уильям Стаффорд Ноубл предлагает десять правил для ответа рецензентам. Его правила включают:

  1. «Сделайте обзор, а затем процитируйте полный набор отзывов»
  2. «Будьте вежливы и уважительны ко всем рецензентам»
  3. «Признайте вину»
  4. «Сделайте ответ самодостаточным»
  5. «Отвечайте на все вопросы, поднятые рецензентом»
  6. «Используйте типографику, чтобы помочь рецензенту сориентироваться в вашем ответе»
  7. « По возможности начинайте свой ответ на каждый комментарий с прямого ответа на поднятый вопрос »
  8. « По возможности делайте то, что просит рецензент »
  9. « Четко объясните, что изменилось относительно предыдущая версия »
  10. « При необходимости напишите ответ дважды »(т. е. напишите версию для« удаления », а затем напишите версию, которую увидят рецензенты)

Набор рецензентов

журнала или книжного издателя, задача выбора рецензентов обычно ложится на редактора. Когда приходит рукопись, редактор запрашивает отзывы у ученых или других экспертов, которые могли или не могли уже выразить готовность выступить рецензентом журнал или книжный отдел. Грантовые агентства обычно набирают группу или комитет рецензентов до поступления заявок.

Рецензенты должны информировать редактора о любом конфликте интересов, который может возникнуть. Журналы или отдельные редакторы могут предложить авторам рукописи назвать людей, которых они считают квалифицированными для рецензирования их работы. Для некоторых журналов это требование подачи. Иногда авторам также предоставляется возможность назвать естественных кандидатов, которых следует дисквалифицировать, и в этом случае их могут попросить предоставить обоснование (обычно выражаемое в терминах конфликта интересов).

Редакторы запрашивают мнение автора при выборе рецензентов потому что академическое письмо обычно очень специализированное. Редакторы часто курируют многие специальности и не могут быть экспертами по всем из них. Но после того, как редактор выбирает рецензентов из числа кандидатов, редактор обычно обязан не раскрывать личности рецензентов авторам и в научных журналах друг другу. Политика по таким вопросамразличается в зависимости от академической дисциплины. Одна из трудностей, связанных с некоторыми рукописями, это в том, что может быть квалифицировано как эксперт, людей, которые сами проделали работу, соответствующую рассматриваемую работу. Это может помешать обеспечения анонимности рецензента и предотвращения конфликта интересов. Низкопрестижные или местные журналы и агентства по грантам, которые присуждают небольшие деньги, особенно затрудняются привлечением экспертов.

Потенциальным препятствием при наборе судей является то, что им обычно не платят, потому что это само по себе создало бы конфликт интересов. Кроме того, рецензирование отнимает время от их основной деятельности, такой как его или ее собственное исследование. К преимуществам потенциального рекрутера, используемым этими рецензентами, являются сами авторами или по крайней мере, читателями, которые знают систему публикации, эксперты жертвовали свое время. Работа в качестве судьи может быть даже условием получения гранта или члена профессиональной ассоциации.

У судей есть возможность предотвратить публикацию работы, не соответствует стандартам данной области. Редакторы имеют особое преимущество при найме ученого, когда они наблюдали за публикацией его или ее работ, или если ученый надеется отправить рукописи издательству этого редактора в будущем. Агентства, предоставляющие гранты, также склонны искать рецензентов среди своих нынешних или бывших получателей грантов.

Пэрство по науке - это независимая служба и сообщество, в котором набор рецензентов происходит через открытое взаимодействие: авторы отправляют свои рукописи в службу, где это возможно. сделана доступной для любого неаффилированного ученого, и «проверенные пользователи» сами выбирают, что они хотят просмотреть. Мотивация к участию в качестве рецензента исходит из системы репутации, в которой качество рецензируемой работы оценивается и оценивается другими пользователями и вносится в профили пользователей. Peerage of Science не взимает никаких гонораров с ученых и не платит рецензентам. Однако участвующие издатели платят за использование сервиса, получая доступ ко всем текущим процессам и возможность делать предложения о публикации авторам.

В случае услуг независимого рецензирования автор обычно сохраняет право на работу на протяжении всего рецензирования. процесс и может выбрать наиболее подходящий журнал для отправки работы. Услуги рецензирования также предоставляют советы по наиболее часто используемым журналам для работы. Журналы по-прежнему могут захотеть провести независимую рецензию без потенциального конфликта интересов, который может вызвать финансовое возмещение, или без риска того, что автор заключил контракт на несколько услуг рецензирования, но представляет только наиболее благоприятную из них.

Альтернативная или дополнительная система выполнения экспертной оценки заключается в том, что автор платит за ее выполнение. Примером таких услуг является Rubriq, который для каждой работы назначает рецензентов, предоставляющих финансовую компенсацию за их усилия.

Различные стили

Анонимные и приписанные

Для сообщества научных публикаций имена рецензентов сохраняются анонимно (также называемое «слепое рецензирование»). Альтернативная экспертная оценка с атрибуцией включает раскрытие рецензентов. Некоторые рецензенты отказываются от своего права на анонимность, даже если формат журнала по умолчанию - слепое рецензирование.

При анонимном рецензировании рецензенты известны редактору журнала или организатору конференции, но их имена не сообщаются автору статьи. В некоторых случаях автор также может быть анонимной для проверки, при этом идентифицирующая информация удаляется из документа перед проверкой. Система уменьшения или устранения предвзятости.

Некоторые эксперты предложили процедуры слепого обзора для рассмотрения спорных тем исследования.

В двойном слепом экспертном обзоре, который был создан социальными журналами в 1950-х годах и остается более распространенным в социальных и гуманитарных науках, чем в естественных науках, личность авторов скрывается от рецензентов (« слепой ») и наоборот, во избежание знания авторства или беспокойства по поводу неодобрения со стороны автора искажают их обзор. Критики процесса двойного слепого обзора указывают на то, что, несмотря на любые редакторские усилия по обеспечению анонимности, этот процесс часто не позволяет этого сделать, как подходы, методы, стили обозначения, обозначения и т. Д. Указывают на определенную группу людей в поток исследований и даже для конкретного человека.

Во многих областях «большие » общедоступные графики работы основного оборудования, такие как телескопы или синхротроны, сделают имена авторов очевидными для всех, кто захочет их найти. Сторонники двойного слепого обзора утверждают, что он работает не хуже, чем одинарный слепой. Одинарное слепое рассмотрение сильно зависит от доброй воли участников, но не больше, чем двойное рассмотрение с идентифицированными авторами.

В качестве альтернативы одинарному слепому и двойному слепому рецензированию авторам и рецензентам рекомендуется заявлять о конфликте интересов, когда имена авторов, а иногда и рецензентов известны друг другу. Когда сообщается о конфликтах, конфликтующему рецензенту может быть запрещено рецензировать и обсуждать рукопись, или его рецензия может быть интерпретирована с учетом сообщенного конфликта; последний вариант чаще выбирается, когда конфликт интересов умеренный, например, предыдущие варианты связи или дальние семейные отношения. Стимул для рецензентов заявляет о конфликте интересов профессиональной этики и личной честности. Даже если обзоры не являются общедоступными, они по-прежнему регистрируются, и доверие к рецензентам зависит от того, как они относятся к своим коллегам. Некоторые журналы по разработке программного обеспечения, такие как IEEE Transactions on Software Engineering, используют неслепые обзоры, сообщая редактора о конфликтах интересов как авторов, так и рецензентов.

Более строгий стандарт подотчетность известна как аудит. Условия рецензентам не платят, нельзя ожидать, что они потратят на проверку столько времени и усилий, сколько требует аудит. Следовательно, академические журналы, такие как Science, такие организации, как Американский геофизический союз и такие агентства, как Национальные институты здравоохранения и Национальный научный фонд поддерживает и архивирует научные данные и методы на случай, если другой исследователь пожелает воспроизвести или проверить результаты исследования после публикации.

Традиционное анонимное рецензирование подвергался критике за отсутствие подотчетности, возможность использования со стороны рецензентов или тех, кто управляет процессом рецензирования (то есть возможную предвзятость и непоследовательность, а также другие недостатки. Евгений Кунин, старший научный сотрудник национального центра биотехнологической информации, утверждает, что система имеет «известные недостатки», и выступает за «открытую экспертную оценку ".

Открытую экспертную оценку

В 1999 г. был запущен журнал открытого доступа Journal of Medical Internet Research, который с его начала решил публиковать имена рецензентов внизу каждой опубликованной статьи. Также в 1999 г. British Medical Journal перешел на открытую систему рецензирования, раскрывая личности рецензентов авторам, но не читателям, а в 2000 г. медицинские журналы из серии BMC с открытым доступом опубликовано BioMed Central, запущено с помощью открытого экспертного обзора. Как и в случае с BMJ, имена рецензентов включаются в отчеты экспертной оценки. Кроме того, если статья публикуется, отчеты становятся доступными в Интернете как часть «истории до публикации».

Некоторые другие публикуемые журналы BMJ Group допускают необязательный открытый одноранговый обзор, как и PLoS Medicine, опубликованный Публичной научной библиотекой. BMJ «Быстрые ответы» допускает постоянные дискуссии и критику после публикации.

В июне 2006 года Nature запустила эксперимент по параллельному открытому рецензированию: некоторые статьи были отправлены в обычные анонимные обсуждения, также были доступны в Интернете для открытого, определенного общественного обсуждения. Результаты были менее обнадеживающими - только 5% авторов были менее участвовать в эксперименте, и только 54% ​​этих статей получили комментарии. Исследователи предположили, что исследователи были слишком заняты, чтобы принять участие. Знание о том, что статьи одновременно подвергались анонимному рецензированию, также могло повлиять на восприятие.

В феврале 2006 года журнал Biology Direct был запущен BioMed Central, добавив еще одну альтернативу традиционной модели экспертной оценки. Если авторы найдут трех членов редакционной коллегии, каждый из которых вернет отчет или сам запросит внешнюю рецензию, статья будет опубликована. Как и в случае, рецензенты не могут запретить публикацию, но, в случае исключения от Philica, никакие рецензии не являются анонимными, и ни одна статья не публикуется без рецензирования. У авторов есть возможность отозвать свою статью, отредактировать ее в ответ на рецензии или опубликовать без доработки. Если авторы продолжат публикацию своей статьи, несмотря на критические комментарии, читатели могут увидеть любые негативные комментарии вместе с именами рецензентов. В социальных науках проводились эксперименты с wiki -стилем, подписанными рецензентами, например, в выпуске Shakespeare Quarterly.

. В 2010 году British Medical Journal начал публиковать подписанные рецензенты. отчеты с принятыми статьями, после определения того, что сообщение рецензентам о том, что их подписанные рецензии могут быть опубликованы публично, не оказало существенного влияния на качество рецензий.

В 2011 году Научное звание и независимый эксперт сервис рецензирования, был запущен с использованием нескольких нетрадиционных подходов к академическому рецензированию. В частности, они включают оценку и оценку точности и обоснованности экспертных обзоров, а также одновременное использование одного раунда экспертной оценки несколькими участвующими журналами.

Начиная с 2013 года с запуском F1000Research, некоторые издатели объединили открытое рецензирование с рецензированием постпубликации, используя систему версионных статей. В F1000Research статьи публикуются перед рецензированием, а отчеты о рецензировании (и имена рецензентов) публикуются вместе со статьей по мере их поступления. Отредактированные автором версии статьи затем связываются с оригиналом. Аналогичная система постпубликационного рецензирования с версионными статьями используется Science Open, запущенным в 2014 году.

В 2014 году Life внедрила открытую систему рецензирования, в рамках которой рецензируются отчеты и авторы ' ответы публикуются как неотъемлемая часть финальной версии каждой статьи.

С 2016 года Synlett экспериментирует с закрытой экспертной оценкой. Рецензируемая статья отправляется группе из 80+ экспертов-рецензентов, которые затем совместно комментируют рукопись.

В попытке решить проблемы с воспроизводимостью результатов исследования некоторые ученые просят авторов согласиться поделиться их необработанные данные в рамках процесса экспертной оценки. Например, еще в 1962 году ряд психологов пытались получить необработанные наборы данных от других исследователей, с неоднозначными результатами, чтобы повторно проанализировать их. Недавняя попытка привела к получению только семи наборов данных из пятидесяти запросов. Понятие получения, не говоря уже требует, открытых данных в качестве условия экспертной оценки остается спорным. Отсутствие доступа к исходным данным в рецензировании в 2020 году привело к отзыву статей в престижном New England Journal of Medicine and Lancet. Многие журналы теперь требуют доступа к необработанным данным для включения в рецензирование.

Рецензирование до и после публикации

Процесс рецензирования не ограничивается процессом публикации, управляемым академическим сообществом. журналы. В частности, некоторые формы рецензирования могут проводиться до того, как статья будет отправлена ​​в журнал и / или после того, как она будет опубликована в журнале.

Рецензирование перед публикацией

Рукописи обычно проверяются коллегами перед отправкой, и если рукопись загружена на серверы препринтов, такие как ArXiv, BioRxiv или SSRN, исследователи могут читать и комментировать рукопись. Практика загрузки на серверы препринтов и активность обсуждения сильно зависят от поля, и это позволяет проводить открытую рецензию перед публикацией. Преимущество этого метода - скорость и прозрачность процесса рассмотрения. Любой желающий может оставить отзыв, обычно в форме комментариев и обычно не анонимно. Эти комментарии также являются общедоступными, и на них можно ответить, поэтому общение автора и рецензента не ограничивается типичными 2–4 раундами обмена при традиционной публикации. Авторы из могут включать комментарии от широкого круга людей вместо отзывов от обычно 3–4 рецензентов. Недостаток в том, что гораздо большее количество документов сообществу без какой-либо гарантии качества.

Рецензирование после публикации

После публикации рукописи процесс рецензирования продолжается по мере чтения публикаций, известный как рецензирование после публикации . Читатели часто отправляют журнал или переписываются с редактором через интернет-клуб журналов. Таким образом, все «коллеги» могут предлагать обзор и критику опубликованной литературы. Внедрение практики «epub перед печатью» во многих журналах сделало совместную публикацию незапрашиваемых писем в редакцию вместе с оригинальной статьей в печатном номере.

Вариант по теме есть открытый экспертный комментарий, в котором запрашиваются комментарии специалистов к опубликованным статьям, авторам предлагается ответить. Журналы, использующие этот процесс, запрашивают и публикуют неанонимные комментарии к «целевой статье» вместе с самой авторами и, конечно же, с оригинальными ответами. Открытый коллегиальный комментарий был впервые реализован антропологом Сол Таксом, который основал журнал Current Anthropology в 1957 году. Журнал Поведенческие и мозговые науки, издаваемый Cambridge University Press, был основан Стеваном Харнадом в 1978 году и создан по образцу открытых комментариев коллег Current Anthropology. Психологи (1990–2002) основан на той же функции, но на этот раз реализован онлайн. С 2016 года открытые экспертные комментарии также журналом Animal Sentience.

. Помимо журналов, существуют собственные независимые веб-сайты, посвященные рецензированию после публикации, например, PubPeer, который позволяет анонимно комментировать опубликованную литературу и побуждает авторов отвечать на эти комментарии. Было предложено, чтобы обзоры на этих сайтах после публикации также рассматривались редакционно. Мегажурналы F1000Research и ScienceOpen открыто публикуют как личность рецензентов, так и отчет рецензента вместе со статьей.

Некоторые журналы используют рецензирование после публикации в качестве формального метода рецензирования вместо рецензирования до публикации. Впервые это было введено в 2001 г. компанией Химия и физика атмосферы (ACP). Совсем F1000Research и ScienceOpen были запущены недавно как мегажурналы с рецензированием после публикации в качестве формального метода рецензирования. Как в ACP, так и в F1000Research рецензенты официально приглашаются, как и в журналах предварительной публикации. Статьи, прошедшие рецензирование в этих двух журналах, включаются во внешние научные базы данных.

В 2006 году небольшая группа британских психологов запустила Philica, мгновенный онлайн-журнал Journal of Everything, чтобы исправить многое из увиденного. как проблемы традиционной экспертной оценки. Все присланные статьи сразу публикуются и могут быть просмотрены позже. Любой исследователь, желающий рецензировать статью, может сделать это, и отзывы анонимны. Рецензии в конце каждой статьи и используются для того, чтобы дать читателю критику руководство по работе, а не решить, опубликована она или нет. Это означает, что рецензенты не могут подавлять идеи, если они с ними не согласны. Читатели используют обзоры, чтобы направлять свое чтение, и особенно популярные или непопулярные работы легко определить.

Социальные сети и неформальная экспертная оценка

Недавние исследования привлекли внимание к использованию социальных сетей и научные блоги как средство неформальной экспертной оценки после публикации, как в случае полемики #arseniclife (или GFAJ - 1 ). В декабре 2010 года статья, опубликованная в Scienceexpress (предварительная версия Science ), вызвала волнение и скептицизм, так как ее авторы - под руководством НАСА астробиолога Фелиса. Вулф-Саймон - утверждал, что открыл и культивировал бактерии, которые могут заменить фосфор мышьяком в своих физиологических строительных блоках. Во время публикации статьи НАСА выпустило заявление для прессы, предполагаемое, что открытие повлияло на поиск внеземной жизни, вызвавшее волнение в Твиттере под хэштегом #arseniclife, а также критику со стороны коллег-экспертов, которые выразили скептицизм в своих личных блогах. В конце концов, в конце концов, в июле 2012 года, официально опубликованной в июле 2012 года относительно неудачной попытки ее воспроизвести оригинальные результаты ученых НАСА..

Исследователи, отслеживающие влияние случая #arseniclife на обсуждение в социальных сетях и процессы рецензирования, пришли к следующему выводу:

Наши результаты показывают, что интерактивные технологии онлайн-коммуникаций через более широкого научного сообщества выполняют эту роль эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль эту эту роль показывают наши результаты интерактивные выводу:. рецензентов журналов для легитимации научной информации после того, как она прошла через официальные каналы рецензирования. Кроме того, с помощью этих технологий и аудитории наблюдают за неформальным рецензированием после публикации. (p 946)

Слепая экспертная оценка результатов

Исследования, которые сообщаются о положительных или статистически значимых результатов, значительно более вероятно будут опубликованы, чем те, которые не имеют. Противодействием этому предубеждению в пользу позитивности является сокрытие результатов или их недоступность в результате рассмотрения научных предложений научными грантами агентствами. Версии включают:

  1. рецензирование, слепое рецензирование по результатам, или, слепое рецензирование по результатам, впервые предложено в 1966 году: рецензенты получают отредактированную версию представленной статьи, в которых отсутствуют разделы с результатами и заключениями. В двухэтапной версии второй раунд рецензирования или редакционного суждения основан на полной бумажной версии, которая была впервые предложена в 1977 году.
    Заключение слепого обзора, предложено Робином Хансоном в 2007 году расширяет это действие, предлагая всем авторам представить положительную и отрицательную версию, и только после того, как журнал принял статью, авторы раскрывают, какая версия является настоящим.
  2. Предварительно принятые статьи или результат - непредвзятые журналы или предварительное рассмотрение или зарегистрированные отчеты или до подачи результатов или предварительное одобрение расширяет предварительную регистрацию исследования до такой степени, что журналы оценивают или отклоняют статьи, основанные на версии статьи, сделаны предварительные результаты или выводы (расширенный протокол исследования), но вместо настоящего теоретического обоснования, экспериментальный план и статистический анализ. Только после того, как предложенная гипотеза и методология были приняты рецензентами, авторы могли собрать данные или проанализировать ранее собранные данные. Ограниченным производственным документом был обзор исследования The Lancet за 1997–2015 гг., В котором были проанализированы и опубликованы протоколы рандомизированных исследований с гарантией того, что возможный документ будет хотя бы разослан на рецензирование. чем сразу отклонили. Например, организация Nature Human Behavior принимает зарегистрированный формат отчета, поскольку он «переносит акцент с результатов исследования на вопросы, которые определяют направление исследования, и методы, используемые для ответа на них». European Journal of Personality определяет этот формат: «В зарегистрированном отчете действуют предложение по исследованию, которое включает теоретические и эмпирические основы, исследовательские вопросы / гипотезы и пилотные данные (если таковые имеются). После подачи этого предложения будет рассмотрено до сбора данных, и, если оно будет, статья, полученная в результате этой процедуры экспертного рецензирования, будет опубликована независимо от результатов исследования ».

Следующие журналы использовали независимую экспертную оценку результатов.

  • Европейский журнал парапсихологии под руководством Мартина Джонсона (который использует протокол регистрации в 1974 г.) начал принимать статьи, основанные на представленных проектах, а публиковать их с 1976 по 1993 г. и опубликовал 25 Всего ОР
  • Международный журнал прогнозирования независимой экспертной оценки результатов и предварительные статьи с 1986 по 1996/1997 гг.
  • Журнал Applied Psychological Measurement предложили процесс «предварительного обзора публикаций» с 1989–1996 гг., Который прекращается после подачи всего 5 статей.
  • JAMA Internal Medicine обнаружил в опросе 2009 года, что 86% его рецензентов были готовы работать в слепом режиме и провел пилотный эксперимент с двухэтапным слепым рецензированием результатов, показав, что шаг принес больше пользы для положительных исследований, чем для отрицательных. но в настоящее время журнал не использует независимую рецензию.
  • Центр открытой науки Воспетет использование «Зарегистрированных отчетов» (инструментов статей), начиная с 2013 г. По состоянию на октябрь 2017 г. ~ 80 журналы предоставляют зарегистрированные отчеты в целом, имеют специальные выпуски зарегистрированные отчеты или ограниченное зарегистрированные отчеты (например, только репликации), включая AIMS Neuroscience, Cortex, Perspectives on Psychological Science, Social Психология, сравнительные политические исследования
    • сравнительные политические исследования опубликовали результаты своего пилотного эксперимента, состоящего из 19 заявок, из 3 принятых в 2016 году. Процесс работал хорошо, но заявки были взвешены в стороне количественных экспериментальных схем и уменьшили количество «рыбалки» в качестве подателей и рецензентов сосредоточено на теоретической поддержке, существенной важности результатов, с вниманием к статистической мощности и последствиям нулевого результата, заключая, что «мы можем ясно отметить, что такая форма рецензирования позволяет получать статьи высочайшего качества. Нам бы хотелось, чтобы ведущий журнал принял рецензирование без результатов в качестве политики, по крайней мере, разрешив рецензирование без результатов в качестве одного из нескольких стандартных вариантов подачи заявок ».

Критика

Различные редакторы выразили критику экспертная оценка. Кроме того, в Кокрановском обзоре было обнаружено мало эмпирических доказательств того, что экспертная оценка обеспечивает качество биомедицинских исследований, в то время как второй систематический обзор и метаанализ выявили необходимость в основанной фактических данных экспертной оценки в области биомедицины, учитывая недостаточность оценки вмешательств. предназначены для улучшения процесса.

Обвинения в предвзятости и подавлении

Взаимодействие редакторов и рецензентов между авторами и читателями могут посредниками действовать как привратников. Некоторые социологи науки утверждают, что рецензирование делает возможность уязвимой для контроля элиты и личной зависти. Процесс рецензирования иногда может препятствовать прогрессу и может быть предвзятым против новизны. Ингуистический анализ отчетов об обзоре показывает, что рецензенты сконцентрированы на отклонении запросов путем поиска мест, а не на поиске новаторских идей с высоким риском / высокой выгодой, которые могут быть в предложении. Рецензенты склонны особенно критически относиться к выводам, противоречащим их собственному взглядам, и снисходительно относиться к тем, которые им соответствуют. В то же время авторитетные ученые с большей вероятностью, чем другие, будут привлечены в качестве рецензентов, особенно престижными журналами / издателями. Есть также признаки гендерной предвзятости, авторы когда предпочитают мужчин. В результате идеи, которые соответствуют признанным экспертам, с большей вероятностью увидят печать и появятся в ведущих журналах, чем являются иконоборческими или революционными. Это согласуется с хорошо известными наблюдениями Томаса Куна относительно научных революций. Была создана теоретическая модель, симуляции которой предполагают, что экспертная оценка и сверхконкурентное финансирование исследований способствуют усилению общепринятого мнения в пользу монополии.

Критика стандартной анонимной экспертной оценки утверждает, что она не подотчетна, может быть применена со стороны рецензентов и может быть предвзятыми и непоследовательными.

Журналы открытого доступа и экспертные оценки

Некоторые критики журналов открытого доступа (OA) утверждали, что по сравнению с традиционными журналами по подписке в журналах с открытым доступом могут некачественные или менее формальная практика рецензирования и, как следствие, пострадает качество научной работы в таких журналах. В исследовании, опубликованном в 2012 году, эта гипотеза проверена оценочного «воздействия» (с использованием подсчета цитирований) статей, опубликованных в журналах с открытым доступом и по подписке, на том основании, что члены научного сообщества, вероятно, с меньшей вероятностью будут ссылаться на не отвечающие стандартам работы, и это количество цитирований может служить одним из индикаторов того, действительно ли журнал повлиял на рецензирование и опубликованных стипендий. В конечном итоге это исследование пришло к выводу, что «журналы открытого доступа, проиндексированные в Web of Science и / или Scopus, приближаются к тому же научному влиянию и качеству, что и журналы по подписке, особенно в области биомедицины и журналов, финансируемых за счет» платы за обработку статей », и поэтому« существует не является причиной авторов не публиковаться в журналах открытого доступа только из-за ярлыка «открытый доступ».

Неудачи

Рецензирование не удается, если рецензируемая статья содержит фундаментальные ошибки, подрывают по крайней мере, один из его основных выводов, который мог бы быть сделан более внимательными рецензентами. Многие журналы не имеют процедур для устранения неудачных рецензий, кроме публикации писем в редакцию. Рецензирование в научных журналах предполагает, что рецензируемая статья была подготовлена ​​честно. Этот процесс иногда выявляет мошенничество, но не предназначен для этого. Если экспертная оценка не проходит и статья публикуется с поддельными или иным образом невоспроизводимыми данными, она может быть отозван. Эксперимент 1998 года по рецензированию фиктивных рукописи показал, что рецензенты не смогли некоторые ошибки рукописи, и большинство рецензентов не смогли заметить, что выводы статьи не подтверждаются ее результаты.

Поддельная рецензия

Были случаи, когда утверждено, что экспертная оценка проведена, но на самом деле это не так; это было задокументировано в некоторых хищнических журналах с открытым доступом (например, в деле Кто боится экспертной оценки? ) или в случае спонсируемых журналов Elsevier.

в ноябре В 2014 г. году статья в Nature показала, что некоторые ученые отправляли в журналы поддельные контактные данные рекомендованных рецензентов, так что если издатель связывался с рекомендованным рецензентом, они были первоначальным автором, рецензирующим свою работу под вымышленным именем. Комитет по этике публикаций выступил с заявлением, предупреждающим о мошенничестве. В марте 2015 года BioMed Central отозвал 43 статьи, а Springer отозвал 64 статьи в 10 журналах в августе 2015 года. Журнал Биология опухолей - еще один пример мошенничества с рецензированием.

Плагиат

Рецензенты обычно не имеют доступа к необработанным данным, но видят полный текст рукописи и обычно знакомы с последними публикациями в этой области. Таким образом, они могут лучше построить плагиат прозы, чем мошеннические данные. Например, несколько случаев такого текстового плагиата историками получили широкую огласку.

Что касается науки, опрос 3247 ученых, США Национальный институт здравоохранения, показал 0,3% признали фальсификацию данных и 1,4% - в плагиате. Кроме того, 4,7% участников того же опроса признали самоплагиат или автоплагиат, когда автор повторно публикует тот же материал, данные или текст, не цитируя свои более ранние работы.

Примеры

  • «Пожалуй, наиболее широко признанный недостаток экспертной оценки - это ее неспособность обеспечить высококачественную работу. Список важных научных статей, которые были рассмотрены некоторыми рецензируемыми журналами, вос, по крайней мере, к тому времени, редактор Отказ Философская транзакция в 1796 году в году отчета Эдварда Дженнера по первой вакцинации против оспы."
  • Споры Сун и Балиунас касались публикации в 2003 году. обзорного исследования, написанного аэрокосмическим инженером Уилли Суном и астрономом Салли Балиунас в журнале Climate Research, который был быстро рассмотрен Г.В. Бушем администрация как основание для внесения поправок в первый отчет Агентства по охране окружающей среды по окружающей среде мент. Работа подверглась резкой критике со стороны многих ученых за ее методологию и неправильное использование данных из ранее опубликованных исследований, что вызвало опасения по поводу процесса рецензирования статьи. Споры привели к отставке нескольких редакторов журнала и признанию его издателем Отто Кинне, что статью не следовало публиковать в том виде, в каком она была.
  • Правило трапеции , в котором метод сумм Римана для численного интегрирования был переиздан в журнале исследований диабета Diabetes Care. Этому методу почти всегда преподают в средней школе, и поэтому он считался примером очень известной идеи, которую переименовали в новое открытие.
  • Конференция, организованная Уэссекским технологическим институтом. стал целью разоблачения трех исследователей, написавших бессмысленные статьи (включая одну, состоящую из случайных фраз). Они сообщили, что документы были «рассмотрены и предварительно приняты», и пришли к выводу, что конференция была попыткой «продать» возможности публикации менее опытным или наивным исследователям. Однако это лучше описать как отсутствие какой-либо фактической экспертной оценки, чем как неудачную рецензию.
  • В гуманитарных науках одним из самых печально известных случаев плагиата, не обнаруженного экспертной проверкой, был Мартин Стоун, бывший профессор философии средневековья и эпохи Возрождения в Hoger Instituut voor Wijsbegeerte KU Leuven. Мартину Стоуну удалось опубликовать не менее сорока статей и глав книг, которые были почти полностью украдены из чужих работ. Большинство из этих публикаций появилось в высокорейтинговых рецензируемых журналах и сериях книг.

В популярной культуре

В 2017 году Высшая школа экономики в Москве открыла «Памятник А. Анонимный рецензент ». Он имеет форму большого бетонного куба, или кубика, с пятью видимыми сторонами «Принять», «Незначительные изменения», «Основные изменения», «Исправить и отправить повторно» и «Отклонить». Социолог, создавший памятник, сказал, что, хотя у исследователей есть отношения любви-ненависти к рецензированию, рецензенты тем не менее делают ценную, но в основном невидимую работу, и памятник является их данью.

См. Также

Ссылки

Дополнительная литература

Последняя правка сделана 2021-06-07 05:19:38
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте