Научным публикациям нужна лучшая система обратной связи
Ричард Прайс (основатель Academia.edu) объясняет, почему научным публикациям нужна лучшая система обратной связи.
Где-то между 65 и 90 процентов биомедицинской литературы считается невоспроизводимой. Это означает, что если вы пытаетесь воспроизвести эксперимент, описанный в данной статье, то в 65-90 процентах случаев вы не получите те же результаты. Мы называем это кризис воспроизводимости.
Этот вопрос стал актуальным благодаря исследованию, проведенному Гленн Бегли, который управлял онкологическим отделением в фармацевтической компании Amgen. В 2011 году Бегли решил попытаться воспроизвести результаты 53 основополагающих работ в области онкологии: высоко цитируемых работ, опубликованных в ведущих журналах. Он не смог воспроизвести 47 из них - 89 процентов.
Bayer, другая фармацевтическая компания, сообщила в том же году, что 65 процентов результатов опубликованных в работах, которые они пытались воспроизвести, не воспроизводились. Воспроизводимость также является проблемой в области психологии и информатики.
Что вызывает эти высокие уровни неповторяемости в научной литературе? Разнообразие факторов, играющих роль. Часто бывает трудно при прочтении статьи получить представление о том, как было выполнено исследование, потому что методы могут быть плохо описаны, или не представлен достаточный набор данных. Это делает исследование трудно воспроизводимым. Другим фактором является то, что ученые, пишущие статьи, не имеют достаточно сильного стимула к тому, чтобы их описание было воспроизводимым. Результат может быть случайностью, и нет достаточных стимулов, чтобы проверить это.
Третьим фактором является то, что при определении того, насколько статья хороша, наша нынешняя система рецензирования ограничивается мнением двух рецензентов. Два человека недостаточно.
Я утверждаю, что способ исправить кризис воспроизводимости - создание новой системы экспертной оценки. Она должна включать две вещи: для конкретной статьи, мы должны спросить мнение каждого ученого, кто ее читает, а не только двух рецензентов, которые читают статью для журнала; и система экспертной оценки должна предоставлять данные для ученых - код, наборы данных и других материалов, которые не публикуются в журналах.
На первом этапе рецензирования статьи, которое работает сегодня, редактор журнала получает статью, а затем просит двух ученых просмотреть ее. Статья опубликована, затем ее читает академическое сообщество: в зависимости от журнала, ее может прочитать 500 или 1000 человек. Что они думают? Сведения об этом теряются. И в новой системе рецензирования это должно быть учтено. Ученые, поскольку они читают статью, замечают ее аспекты, которые они считают надежными, а также моменты, которые они считают слабыми. Чем больше этих мнений мы сможем собрать, тем большее представление о конкретной статье мы можем получить.
Когда в статье обнаружатся слабые моменты, то автор будет иметь возможность ответить, и это приведет к более полному пониманию методов проделанной работы.
Второй вопрос, а именно предоставление ученым для совместного использования наборов исходных данных, кодов программ, сведений о воспроизводимости в работах других людей или отрицательных результатов, которые в настоящее время журналы не любят публиковать. Почему это так? Во многом потому, что журналы одержимы импакт-фактором, который является средним числом ссылок на статьи, опубликованные в журнале в течение двух лет. Наборы данных и коды не получают много цитируемости, поэтому сбивают среднее число цитат и, следовательно, импакт-фактор.
Журналы одержимы импакт-фактором и ученые также одержимы им, потому что грантовые комитеты одержимы им. Импакт-фактор является частью того, как ученый оценивается для работы и грантов.
Нам нужно вырваться из этого цикла. Нам нужно, чтобы ученый был в состоянии пойти в комитет по грантам и сказать: "Вот все наборы данных и фрагменты кода. Я не опубликовал их в журналах, потому что, как мы знаем, журналы не публикуют такой материал. Но вы можете увидеть, что каждый из них имеет несколько рекомендаций от ведущих ученых, так что эти одобрения со стороны научного сообщества должны чего-то стоить ".
Существуют различные группы, работающие в соответствии с новой системой экспертной оценки. Моя собственная, Academia.edu, это социальная сеть ученых, которые комментируют и рекомендуют работы друг друга. Каждой статье на Academia.edu присваивается балл - это «PaperRank» - который основан на том, сколько рекомендаций статья получила. Интернет-сообщества F1000 и Pubpeer позволяют ученым писать обзоры статей (анонимно на Pubpeer и не анонимно на F1000). ResearchGate является социальной сетью ученых, которая позволяет им задавать вопросы авторам.
Существует также работа, проводимая для освещения кризиса воспроизводимости. Например, проект под названием Reproducibility Initiative сосредоточен на изучении уровней воспроизводимости в нескольких научных областях.
Поскольку эти платформы рецензирования будут существовать в течение последующих лет и появятся другие, то мы получим мнение научного сообщества о данной работе, основанное на более широком круге знаний.
А в идеале мы также увидим, что ученые будут вознаграждены за обмен наборами данных, кода и других материалов.
Ричард Прайс является основателем Academia.edu и ранее сотрудником All Souls College, Оксфорд
Оригинальный текст: http://www.wired.co.uk/article/science-academic-papers-review
