Коэффициент воспроизводимости результатов психологических исследований повышен до 86%

 

В последнее десятилетие психология переживает кризис воспроизводимости. Крупные и громкие исследования показали, что только около половины результатов, полученных в литературе по поведенческим наукам, могут быть воспроизведены - это открытие бросило длинную тень на психологическую науку, но также подтолкнуло сторонников улучшения методов исследования, которые повышают точность.

 

Теперь одна из первых систематических проверок таких методов в психологии показывает, что она действительно повышает уровень воспроизводимости. Когда ученые "предварительно регистрировали" свои исследования, заранее обязуясь составить письменный план эксперимента и анализа данных, другие лаборатории могли воспроизвести 86% результатов, сообщается сегодня в журнале Nature Human Behaviour. Это гораздо выше, чем показатели воспроизведения от 30 до 70%, обнаруженные в других крупномасштабных исследованиях.

 

"Таким образом, показано, что, приняв эти более строгие экспериментальные протоколы, другие лаборатории могут воспроизвести результаты, что, на мой взгляд, очень важно", - говорит Дэвид Петерсон, социолог из университета Пердью, который не принимал участия в работе. Однако он и другие ученые предупреждают, что повторные исследования могли отличаться и по другим параметрам, поэтому полученные результаты не могут распространяться на другие исследования.

 

Более десяти лет назад, в самом начале того, что стало известно как кризис воспроизводимости, четверо ученых-бихевиористов из разных дисциплин заговорили о причинах этой проблемы. Некоторые психологи считали, что низкая воспроизводимость в психологии является результатом сомнительной исследовательской практики, например, задавать множество вопросов к данным и публиковать только анализы с наилучшими результатами. Другие исследователи утверждали, что человеческое поведение по своей природе изменчиво, поэтому поведенческие науки всегда могут испытывать трудности с воспроизведением результатов. Чтобы разобраться в этих вопросах, ученые решили посмотреть, что произойдет, если все лаборатории проведут тщательные эксперименты, а затем попытаются повторить работу друг друга.

 

Каждая из четырех лабораторий представила четыре исследования для повторения. Они охватывали различные темы поведенческих наук, включая доверие, самоконтроль, влияние рекламы и поведение людей в группах.

 

Эксперименты проводились по обычной для каждой лаборатории методике, но с одним важным условием: Исследователи, проводившие их, предварительно регистрировали свою работу. Это включало в себя написание гипотез, процедур и планов анализа данных, а также обмен этими планами с координатором проекта до начала экспериментов. Сторонники предварительной регистрации утверждают, что такое следование заранее разработанному плану затрудняет исследователям отбор интересных находок и замалчивание негативных результатов.

 

Затем каждая из четырех лабораторий попыталась воспроизвести все 16 исследований с большим объемом выборки - более 1500 участников. Оригинальные исследователи общались друг с другом только через менеджера проекта, чтобы сделать повторы максимально независимыми, чтобы отразить обычные условия, когда исследователи пытаются повторить работу другой группы.

 

Во всех 64 повторных исследованиях в 55 случаях был обнаружен тот же эффект, что и в оригинальном исследовании, что составляет 86% от общего числа повторных исследований. В предыдущих исследованиях ученые, пытавшиеся повторить работу других лабораторий, находили более слабые показатели по сравнению с оригинальной работой. Однако в новом исследовании воспроизведенные учеными результаты дали эффект, сходный по величине с тем, который был обнаружен в оригинальных лабораториях.

 

По словам Брайана Носека, исполнительного директора Центра открытой науки и одного из четырех руководителей лабораторий, это первая попытка повторения, которая прослеживает исследования от их зарождения до независимого воспроизведения. Вместо того чтобы ретроспективно выбирать выборку исследований из литературы, он и его коллеги хотели проследить, смогут ли они легче воспроизвести работы, которые с самого начала пытались улучшить точность: "И нам это удалось!"

 

Однако тот факт, что ученые сами выбирали, какие из их исследований будут представлены для воспроизведения заставляет задуматься, заявила Берну Девезер, специалист по метаисследованиям из Университета Айдахо, которая не принимала участия в данной работе. По ее словам, 16 результатов, использованных в этом исследовании, были выбраны совсем не так, как в предыдущих исследованиях по воспроизведению - они "не были выбраны случайно из четко определенной литературы и не являлись репрезентативными".

 

Авторы также проверили, отличаются ли их результаты, если использовать другие способы определения успешного воспроизведения. Некоторые из этих методов показали, что коэффициент воспроизведения составляет 71%. Но выделение более высоких оценок и замалчивание более низких показателей в деталях статьи "вызывает тревогу и иронию", - говорит научный сотрудник Эркан Бузбаш, - "потому что некоторые авторы не являются ярыми сторонниками выборки необходимых результатов нужных им заранее".

 

Низкая воспроизводимость может оставаться проблемой в поведенческих науках, где такие сложные предметы, как поведение человека или животных, подразумевают огромное количество изменяющихся переменных, говорит Петерсон. Но в данном исследовании показано, что высокая воспроизводимость определенного типа исследований - с относительно простым планом и легко имитируемыми методами - все же возможна: "Это возможно, если вы действительно используете эти методы... Мы не навсегда застряли в этом режиме низкой воспроизводимости".