Психометрика и психоскептика
698 subscribers
39 photos
234 links
Канал создан для обсуждения публикаций, исследований, измерений и теорий в
психологии и других социальных науках. Канал ведут Юлия Тюменева и Юлия Кузьмина
Download Telegram
Сегодня как никогда актуально звучат некоторые его слова об автономии, свободе и творчестве, которые противопоставлены жесткому контролю и внешнему принуждению. Вот цитата из его книги Why We Do What We Do:
Многие сегодня устали от этого. Им кажется, что мир выходит из-под контроля, и им это надоело. Они хотят «закрутить гайки», навести дисциплину, заставить окружающих вести себя лучше. Им близки писатели и политики, призывающие к большей ответственности, рассматривающие проблемы в моральных категориях и утверждающие, что пора ужесточить контроль.
Контроль — это простой ответ. Он предполагает, что обещание награды или угроза наказания заставят нарушителей подчиниться...Однако, несмотря на привлекательность контроля, становится всё очевиднее, что такой подход просто не работает. Попытки ужесточить дисциплину в значительной степени оказались неэффективными, а широкое использование наград и наказаний для мотивации ответственности не привело к желаемым результатам. Более того, накапливающиеся данные свидетельствуют о том, что эти так называемые решения, основанные на принципе жёсткой власти, скорее усугубляют проблемы, чем смягчают их.
…Человеческая свобода ведёт к аутентичности; она связана с тем, чтобы быть тем, кем мы на самом деле являемся. А вместе со свободой приходит и ответственность, потому что это тоже часть нашей подлинной природы. В нашей природе - развивать ответственность, стремясь к интеграции с социальной общностью».

Из сегодняшнего дня многие слова Диси о свободе, автономии и внутренней мотивации звучат, скорее, как некоторая далекая цель, а не описание реальной ситуации. Но тем не менее, кажется, что это цель, к которой стоит стремиться.
🔥84👍3
Еще раз про моделирование (вместо дебатов)

Один из недавних наших постов относительно психометрических моделей заканчивался на такой пессимистичной ноте: «Моделирование моделирует только собранные данные (из опросников, тестов, интервью). Но насколько реальность ответов отражает реальность, которая за ними стоит, моделирование показать не может. Поэтому результаты моделирования данных опросника/теста относятся только к «конструкту», который сконструирован ситуацией опроса/тестирования/интервью. Насколько ценно тратить ресурсы на моделирование этого искусственного и эфемерного конструкта?»

Этот пост получил комментарий от соавтора канала: «Ну хорошо, мы моделируем данные, или там реальность, которая создана условиями тестирования. Я с этим согласна. Но я не согласна с тем, что это бесполезно. Потому что все равно невозможно замоделировать какую-то там реальность, оторванную от метода. В любых науках. Даже наблюдение, типа антропологическое, это все равно какой-то метод, который может изменить саму реальность. Ну не знаю, если только антрополог не прячется в кустах постоянно».

Сегодня я отвечу на этот контраргумент, тем более, что утверждение «невозможно замоделировать реальность, оторванную от метода» очень близко к истине, хотя я бы здесь уточнила, что невозможно исследовать реальность вне метода. Но не всякое исследование – это моделирование.

Инструмент сбора данных (микроскоп или тест) должны основываться на предварительных исследованиях изучаемого феномена. Мы должны понимать, как феномен работает, какие процессы в нем происходят, каковы граничные условия существования феномена. В психологии можно исследовать математические способности: отобрать несколько младших школьников, у которых (с точки зрения учителей) эти способности ярко выражены:  определить, в чем именно проявляются эти способности, на каких задачах; как рассуждают эти дети; когда и в чем они ошибаются;  какого рода подсказки им нужны; лучше ли они запоминают; легко ли работают с любыми абстрактными символами или только с математическими; как действуют в условиях недоопределенности задачи или избыточной информации. Если есть достаточное финансирование, исследовать их утомляемость и др. физиологические показатели (на математических и других задачах), и сделать это исследование длительным на одних и тех же детях.

(Кстати, очень интересное исследование математических способностей в СССР было проведено В.А. Крутецким, у него есть соответствующая книжка «Психология математических способностей школьников» (1968), - рекомендую!)

В частности, Крутецкий выделил компоненты математических способностей:
- способность к обобщению,
- свертывание рассуждений,
- гибкость мышления,
- стремление к рациональному способу решения,
- математическую память (на отношения, а не на числа).

Так же он пришел к выводу, что математические способности проявляются с раннего возраста, и не связаны с родом деятельности родителей, что может указывать на врожденность, но не наследуемость этих способностей.

Конечно, все эти данные получены с помощью определенных методов, но принципиально здесь то, что разные методы давали одинаковые результаты. Например, на стремление к более рациональному решению указывали сами дети, их родители, их учителя, а также рационализации решения задач, которую эти дети демонстрировали, причем из раза в раз и продолжительное время.

Все это было ИССЛЕДОВАНИЕМ – не формальным моделированием. Хотя, конечно, на основе этих данных можно построить некую модель математических способностей. Например, мы можем предположить, что указанные компоненты являются достаточными, чтобы ребенок демонстрировал легкость в овладении математикой…

Что касается МОДЕЛИРОВАНИЯ.
Это построение формальной системы, которая:
- воспроизводит наблюдаемые данные,
- упрощает структуру данных,
- позволяет делать предсказания.
6🔥2👍1
В других науках, прежде всего, естественных, формальные модели строятся в отношении уже хорошо изученных феноменов. Например, модели в климатологии учитывают уже известные химические и тепловые процессы. Кроме того, качество этих моделей можно оценить, сопоставив ихрасчеты с данными из других источников: например, модель предсказала наводнение и оно случилось.

В психометрическом моделировании лично мне неизвестны (может, я плохо искала) исследования, где моделируется хорошо известный феномен (т.е. мы знаем, какие процессы, как и когда отвечают за его возникновение),  и где полученная на тестовых данных структура сопоставлялась бы с независимыми данными по ТОМУ ЖЕ САМОМУ феномену. Да, я в курсе про инвариантность и конвергентную валидность. Однако, данные при такой валидизации не независимые: тесты, как правило, содержат похожие задания и вопросы (о том, что структуру тестовых данных можно воспроизвести без эмпирики, а на основе семантической близости утверждений – мы писали раньше). Ну и тесты, по которым происходит валидизация, сами по себе требуют валидизации и т.д.

Поясню свою главную мысль. Психологические исследования, как более широкая деятельность, нежели психометрическое моделирование, могут поставлять новую информацию о феномене. Более того, эта информация может воспроизводиться другим исследователем и с помощью другого метода. Хотя это не значит, что получаемые знания раз и навсегда истинные. Скажем, феномены Пиаже воспроизводятся разными исследователями, если придерживаться подхода Пиаже к эксперименту, но оказывается, что культура, социальное окружение и степень вовлеченности ребенка в социальную ситуацию эксперимента, существенно смещают возраст проявления этих феноменов.

А вот психометрическое моделирование новую информацию о психологическом феномене дать не может, просто потому что мы не знаем, в каком отношении находится тест (с результатами которого имеет дело моделирование) с изучаемым феноменом, да и про сам феномен, как правило, знаем мало. Конечно, моделирование тестовых данных может быть полезным. К примеру, если тестовые задания подобраны так, что хорошо репрезентируют какую-то область (например, знание математики 6-го класса), то моделирование обнаружит структуру теста, укажет на неинформативные задания, предложит оптимальный вариант скоринга и пр., так что по такому тесту можно будет уверенно ранжировать детей по их овладению программой математики 6-го класса.

Однако, в большинстве случаев психометрика претендует на ИССЛЕДОВАНИЯ сложных и МАЛО ИЗУЧЕННЫХ феноменов: способностей, мотивации, черт личности.

Чисто теоретически, какое исследование могло бы быть проведено, чтобы связать психометрическое моделирование с психологическим феноменом? Например, если модель указывает, что математические способности включает навык «обобщения», то можно было бы сделать какую-то комплексную программу по развитию этого навыка, и, скажем, получить независимые свидетельства, что участники действительно стали обобщать быстрее и без ошибок. Если после обучения меняется структура латентного конструкта, нарушается инвариантность, появляются новые факторы, то это говорит о том, что мы моделировали не способность, а структуру теста… Хотя и тут могут быть возражения, конечно. Но думать надо куда-то в эту сторону…

Возвращаясь к контраргументу. Да, в любой науке данные зависят от метода. Но моделирование в других науках работает по другому. В психометрике мы моделируем (заметьте, сразу количественно!) данные теста по плохо исследованному феномену без возможности проверить модель: мы не знаем структуру феномена, мы не знаем граничные условия его проявления, мы не знаем процессуальную сторону, мы не знаем даже, как наш инструмент, на котором основана модель, с этим феноменом связан… В общем, модели хороши, чтобы сделать выводы про тест, но не более.
👍10🔥81
Давайте опять поговорим о научном прогрессе. Помнится, у нас был уже пост на эту тему (https://tg-me.sbs/cogn_psychometric/314). Сегодня мы хотим вернуться к обсуждению прогресса в социальных науках, но немного с другой стороны. В 2026 году в Research Policy вышла статья Rethinking scientific progress in the social sciences: disruptive or cumulative? В этой статье обсуждается понятие научного прогресса и говорится о том, что возможно, в социальных науках прогресс носит накопительный характер, хотя по формальным критериям это может выглядеть иначе. О том, что такое индекс разорванности и каким образом это может быть связано с научным прогрессом, читайте в нашем полном посте.
👍61🔥1
Внутри "черного ящика" эксперимента

Если мы случайным образом распределили участников по условиям, произвели манипуляцию, изменив одну переменную, и получили различие в результате – значит, мы обнаружили причинный эффект этой манипуляции. Именно так часто трактуют экспериментальные результаты. Но действительно ли эксперимент объясняет, как именно возникает этот эффект?

Именно этот вопрос поднимает в своей статье С. Л. К. Груйтерс (2026) “Inside the experimental causal black box”. Автор обращает внимание на проблему, которую он называет «причинным чёрным ящиком». Эксперимент позволяет показать, что переменная X влияет на переменную Y, но между ними может находиться множество промежуточных процессов, которые остаются скрытыми. Мы видим вход и выход системы, но не понимаем, какие механизмы работают внутри.

В последние годы психологи всё чаще пытаются открыть этот «чёрный ящик» с помощью моделей медиации и модерации, например, с помощью path analysis или структурного моделирования. Типичная логика выглядит так: есть манипуляция X, предполагаемый механизм M и результат Y. Исследователь строит модель вида X → M → Y и показывает, что часть эффекта X на Y проходит через M. На первый взгляд это выглядит как раскрытие механизма.
Однако автор статьи утверждает, что такие модели не гарантируют реального объяснения механизма. Дело в том, что статистическая модель путей не равна реальному причинному процессу. Даже если данные хорошо соответствуют модели X → M → Y, это не означает, что именно такая причинная цепочка действительно существует. Всегда могут существовать альтернативные пути: манипуляция может влиять на другие психологические процессы, которые не были измерены, или на результат может влиять скрытая переменная.

Лучшим подтверждением этому служит тот факт, что один и тот же экспериментальный результат может быть совместим сразу с несколькими причинными моделями. Чтобы показать это, С. Груйтерс предлагает рассмотреть простую структуру эксперимента. Есть экспериментальная манипуляция (A), предполагаемый психологический механизм (B), предполагаемый эффект (C) и его измерение (D). Например, в эксперименте с социальной изоляцией предполагается, что манипуляция (сообщение участнику, что группа его исключила) вызывает чувство отверженности, чувство отверженности приводит к переживанию одиночества, а уровень одиночества фиксируется с помощью соответствующей шкалы.

Однако С. Груйтерс показывает, что наблюдаемый экспериментальный эффект может возникать и через другие причинные пути. Манипуляция может воздействовать не на предполагаемый механизм, а на какой-то другой психологический процесс, который также приводит к тому же результату. Например, вместо чувства отверженности она может вызывать смущение, неловкость или гнев, и именно эти эмоции могут влиять на переживание одиночества. Возможна и другая ситуация: манипуляция действительно влияет на предполагаемый психологический атрибут, но этот атрибут изменяет не тот эффект, который предполагает исследователь, а какой-то другой процесс, который в итоге отражается в измерении. Наконец, возможны и более сложные комбинации, когда манипуляция запускает альтернативный психологический процесс, который приводит к альтернативному эффекту, и уже этот эффект фиксируется используемой шкалой.

Важно, что эти разные каузальные модели могут приводить к одному и тому же статистическому результату, например, к тому, что участники в экспериментальной группе получают более высокий балл по шкале одиночества. Эксперимент в таком случае показывает, что манипуляция влияет на итоговое измерение, но сам по себе не позволяет однозначно определить, через какой именно психологический механизм возникает этот эффект.
6👍3🥰1
(продолжение)

Дело осложняется еще двумя обстоятельствами. Первую отмечает сам С. Груйтерс. Экспериментальные манипуляции часто оказываются «fat-handed» («толсторукими»): они одновременно воздействуют на множество психологических процессов. Например, образовательная интервенция может менять мотивацию, ожидания успеха, уровень тревоги и стратегии обучения одновременно. Если исследователь измеряет только один из этих процессов и называет его медиатором, это ещё не означает, что именно он является настоящим механизмом эффекта.

Второе обстоятельство заключается в том, что психологические механизмы, даже ведущие к одному и тому же эффекту, могут различаться между людьми. Так что даже если проверка на групповых данных подтвердит правильность гипотезы о действии какого-то конкретного механизма, в группе могут быть люди, для которых будут работать другие механизмы. Мы уже обсуждали эту проблему на одном из наших семинаров.

Главная мысль статьи состоит в том, что эксперимент сам по себе не объясняет, каким образом получается тот эффект, который фиксирует экспериментатор. Даже если эффект статистически надёжен и модель выглядит убедительно, это ещё не означает, что мы действительно понимаем, как работает каузация. Чтобы приблизиться к объяснению, нужно тщательно исследовать альтернативные механизмы.

В этом собственно и заключается рекомендация С. Груйтерса: для выявления альтернативных объяснений он предлагает использовать “эвристики для причинно-следственного вывода в экспериментах” (Heuristic for Experimental Causal Inference, HECI). Виузально такие эвристики автор представлет как графы, в которых узлы - это потенциальные причины и следствия, которые могут находиться между манипуляцией (A) и измеряемым результатом (D). Другими словами, HECI, по мысли автора статьи, будет помогать исследователям причинно-следственным образом "распаковать" "локальный молярный" экспериментальный эффект.

Статья в целом мне лично понравилась, но после ее прочтения возникает вопрос - обычный в отношении критически настроенных авторов: кто и когда начнет следовать этим рекомендациям? Ведь уже существует масса публикаций, указывающих на разные проблемные точки в мейнстримной методологии психологии и содержащих более или менее подробные рекомендации по решению этих проблем.

(Кстати, совсем недавно опубликован перечень таких статей с разбивкой по темам: van Dongen, N. N., Glöckner, A., Musfeld, P., Sarafoglou, A., Borsboom, D., Bringmann, L., ... & Scheel, A. M. The state and status of theory in psychological science: The recent decades until now (January 2026). Перечень хотя и не полный, но все равно очень полезный, рекомендую!)

Почему же до сих пор не заметно изменений в привычных подходах к проведению исследований? Не знаю, в чем причина этого: в особенностях глобальной публикационной или финансовой политики, неосведомленности о проблемах исследователей, лени или апатии последних? Думаю, что все это вместе.

Возможно, кстати, что есть коллеги, которые разрабатывают более продуктивные альтернативные методы и ведут долговременные и тщательные программы исследований в психологии. Видимо, их пока не очень много, но все, что будет нами найдено, мы опубликуем на нашем канале!
9🔥3🥰2
Друзья, всем привет! Как говорилось в одном известном фильме: «На улице идет дождь, а у нас идет концерт!» В том плане, что интернет и телеграм закрывают, но мы продолжаем писать в надежде, что вы сможете это прочитать, и что это может быть кому-то интересным и полезным.
Сегодняшний мой пост навеян комментарием нашего читателя к предыдущему посту про эксперименты: «На фоне этого особенно смешно видеть, как в вузовских учебниках до сих пор носятся со Стэнфордским тюремным экспериментом, Милгрэмом и подобными)».
Я ничего не написала в ответ, но что-то меня задело в этом комментарии. Во-первых, я являюсь сторонником точки зрения, что о научных работах надо судить (особенно в социальных науках!) исходя из позиций того времени, когда они сделаны и опубликованы. Многое из того, что делалось 60, да даже 30 лет назад, сейчас может казаться, мягко скажем, странным. Но чтобы оценить значимость исследования, надо в первую очередь посмотреть, а что это исследование принесло на тот момент, когда оно было сделано. Во-вторых, я не знаю, а есть ли какие-то основания говорить о том, что в университетах «носятся» с этими классическими и очень известными экспериментами? И что значит «носятся»?
Вопросов много (как и экспериментов), в одном посте навряд ли мы сможем ответить на них. Сегодня попытаюсь немного разобраться в том, как сейчас представляют, интерпретируют и переосмысливают только один эксперимент, а именно Стэнфордский тюремный эксперимент.
На основе статей, рассматривающих то, как эксперимент представлен во вводных учебниках по психологии и по социальной психологии, можно коротко подытожить: да, Стэнфордский тюремный эксперимент по-прежнему присутствует в учебниках, чаще всего - в довольно упрощенной и канонической версии. Учебники в основном повторяют рассказ о «силе ситуации», но гораздо реже обсуждают методологические проблемы, различия между участниками, возможный эффект инструктажа, селекцию испытуемых и попытки критического переосмысления этого исследования.
Несомненно, сегодня Стэнфордский тюремный эксперимент стоило бы обсуждать в учебниках уже с учетом современной критики. Но, возможно, этого не происходит в полной мере не только из-за инерции учебного канона. За десятилетия этот эксперимент стал для психологии чем-то большим, чем просто одним известным исследованием. Он превратился в сильную, легко пересказываемую историю о том, что психология умеет открывать важные вещи о человеке, власти и обществе. В этом смысле он работает почти как научный миф. И когда такой миф начинают критически разбирать, под вопрос ставится не только сам эксперимент, но и часть того образа психологии, который через него долго поддерживался. Возможно, поэтому критика Стэнфордского эксперимента может восприниматься не просто как уточнение деталей, а как разрушение одной из самых красивых историй психологии.
Подробнее читайте в нашем полном посте
❤‍🔥9👍76
Как могут взаимодействовать теория и эксперимент? Хороший пример😊

Поскольку речь у нас зашла об экспериментах и психологических теориях, хочу рассказать об одной теории - из области обучения, которая мне лично очень нравится. Хотя, честно сказать, до разработки курса по Пед. психологии я про эту теорию толком ничего не знала. Зато теперь могу рассказать не только про саму теорию, но и про то, как она развивалась по мере накопления экспериментальных результатов.

Итак, венгерские психологи Гергели Сибра и Георгий Гергели (Csibra & Gergely) предположили, что невероятные возможности человеческого вида учиться и передавать из поколения в поколение огромные пласты культурной информации должны обеспечиваться специальным поддерживающим механизмом в психике человека. Этот механизм должен поддерживаться эволюционно и быть специфическим для нашего вида. Это предположение оформилось в теорию естественной педагогики (Csibra & Gergely, 2006, 2009). Согласно ей, в ходе эволюции у людей сформировалась специализированная система «педагогической коммуникации», которая:
У отправителя («учителя», взрослого): Использует особые сигналы (визуальный контакт, направленная речь, обращение по имени), которые вместе означают: «Сейчас я буду передавать тебе обобщаемое, культурно значимое знание» .
У получателя («ученика», ребенка): Включает «интерпретационную установку» (interpretative stance), при которой ребенок воспринимает демонстрируемые действия как преднамеренно демонстрируемые, обощаемые, важные и «правильные» .

Несколько упрощая, если кто-то взрослый внимательно смотрит на ребенка и обращается к нему, например, по имени, это воспринимается как сигнал о том, что сейчас будет передана важная для него (ребенка) информация. Механизм распознавания коммуникативных сигналов как маркеров для передачи культурного знания врожденный и видоспецифический.

Например, я собираюсь рассказать студентам о чем-то новом, я привлекаю к себе их внимание, смотрю на них и всячески показываю, что сейчас скажу что-то важное. Эти сигналы создают у студентов установку на восприятие дальнейших моих действий как важных и заслуживающих запоминания.

Особенно поразительно то, что эта установка снижает критичность восприятия и способствует принятию новой информации как «правильной».

С эволюционной точки зрения такой механизм давал преимущества подрастающему поколению, т.к. они могли запоминать большее количество важной для выживания информации и копировать больше «правильных» действий.

Подробнее про эксперименты самих Сибры и Гергели, а также попытки воспроизвести их результаты и уточнение теории см. здесь. Но в целом, продолжающаяся линия вдумчивых и аккуратных экспериментов показала, что «педагогический контекст» не определят автоматически как будет восприниматься информация и будет ли она затем передаваться другим как значимая.

Скорее действует комплекс характеристик, например, активный поиск информации ребенком, сложность и конкретность полученной им информации, а также характеристики человека, которому ребенок готов передавать полученную информацию.

Мне кажется, что вся история с теорией естественной педагогики дает нам правильный образец внимательного, кропотливого, длительного взаимодействия теории и эмпирических находок, которое вполне способно давать улучшенное и более точное знание о психологических механизмах.
7❤‍🔥2👍1
Сегодня мы возвращаемся к теме ошибок и искажений при цитировании. Мы думаем, что многие из вас в той или иной степени вовлечены в публикационный процесс: пишут статьи, отправляют их в журналы, пишут рецензии и т.п. Наверняка, некоторым приходилось сталкиваться с ситуацией, что рецензент просит включить в список цитируемых работ ту или иную статью. Иногда это может быть статья (или статьи) самого рецензента или редактора. Бывает, что эта рекомендуемая для включения статья мало связана с темой, а бывает, что она оказывается полезной. Первый случай не такой уж и редкий. В большом исследовании Fong и Wilhite (2017) на основе опроса более 12 тысяч ученых из 18 дисциплин показано, что с требованием добавить нерелевантные цитаты сталкивался примерно каждый седьмой исследователь, а более половины опрошенных признавали, что были бы готовы заранее расширить библиографию лишними ссылками, если журнал известен такими практиками.
Некоторые ученые считают (иногда серьезно, иногда в шутку), что включение в статью ссылок на работы рецензентов повышает вероятность положительного отзыва и принятия статьи. Проверке этого предубеждения (или факта?) посвящена рассматриваемая сегодня статья.
Stelmakh et al. (2023), “Cite-seeing and reviewing: A study on citation bias in peer review”
🔥6
Как относиться к доказательной психологии и психотерапии?

Примерно в 2010-х года я стала встречать термин «доказательная психология». Обращал на себя внимание перенос слова «доказательная» с более привычного для меня «доказательная медицина». К примеру, околонаучная пресса начинает указывать на когнитивно-поведенческую терапию (КПТ) как на «доказанно эффективную».

Практика, основанная на доказательствах в психологии (Evidence-based practice in psychology, EBPP), была официально одобрена АPА в 2005 году. Цель была внедрить единые и теоретически нейтральные критерии в психологию (прежде всего, клиническую).

В этом посте я расскажу о недавней статье, где рассматривается происхождение EBPP и ее ядра – рандомизированных контролируемых испытаний (РКИ) – в исследованиях для информирования психологов. Идеей авторов было указать на фундаментальные проблемы применения РКИ в психологии и предложить иной – «юриспруденциальный» – подход для оценки существующих психологических практик (https://www.nature.com/articles/s41599-026-06832-w)

Авторы статьи начинают с работы эпидемиолога Арчи Кокрейна, которая является вехой в практике, основанной на доказательствах (включая EBPP). В конце 1960-х годов Кокрейн занимался оценкой эффективности программ здравоохранения. В качестве альтернатвы типичным в то время экспертным мнениям, часто противоречащих друг другу, Кокрейн предложил использовать рандомизированные контролируемые испытания (РКИ), которые должны были поставить медицину на путь становления точной наукой.

Эти идеалы были приняты медицинским сообществом, что вылилось в концепцию доказательной медицины (evidence-based medicine, EBM) в начале 1990-х годов. Квинтэссенцией EBM является методологическая иерархия, в которой РКИ находятся на вершине. Мнение экспертов, напротив, находится внизу. Этот идеал распространился на многие области социальных наук, включая психологию.

EBPP была создана для того, чтобы отличать психологические услуги от медицинских методов лечения. В начале 1990-х годов существовал реальный риск того, что психотерапия (как лечение разговором) будет заменена медицинскими методами. Необходимо было показать, что психотерапия может быть эффективна не менее, чем медицина. В качестве риторического (как замечают авторы статьи) средства предлагалось использовать РКИ (в подражаение Кокрейну и EBM). Как и в EBM, квинтэссенцией EBPP являются количественные методологии, такие как РКИ. Но главное, в психологии практика РКИ, как и РКИ в медицине, возглавляет методологическую иерархию как самая “доказательная”.

Поскольку на нашем канале мы уже много раз писали о проблемах количественной психологии (измерения и агрегирования данных), мы не будем повторять автора рассматриваемой статьи, где он излагает те же сомнения в осмысленности шкалирования психологических характеристик, в том числе диагностических, таких, например, как тревожность.
Перейдем сразу к проблемам РКИ как якобы «лучшего» метода оценки какого бы то ни было метода интервенции в психологии (лучшего – потому что результаты из РКИ стоят на вершине иерархии «доказательности» по рекомендации APA). Подробнее здесь
👍10🔥9
Наш канал, в основном, посвящен обсуждению проблем психологических исследований и психометрике. Но иногда мы говорим о проблемах, которые не являются специфичными для социальных наук, а касаются в целом методологии научных исследований. Вот и сегодня мы поговорим о теме, которая совсем скоро может коснуться любого научного исследования. Это тема - The AI Scientist, система полной автоматизации научных исследований, начиная от выдвижения начальной идеи, и заканчивая конечным результатом - научной публикацией. Тема эта новая, но уже широко обсуждаемая.
Начнем мы со статьи «Towards end-to-end automation of AI research» (Lu et al., 2026), опубликованной в журнале Nature в марте 2026 года. Авторы говорят о том, что системы ИИ в том или ином виде использовались для автоматизации или улучшения научных исследований еще до появления LLM. С появлением LLM роль ИИ в научных исследованиях расширилась. Теперь ИИ используется для генерации новых гипотез, написания литературных обзоров, программирования экспериментов. Но вопрос в том, может ли быть научное исследование полностью автоматизировано, без вмешательства человека: от выдвижения новой идеи до публикации статьи. Авторы считают, что в скором будущем такое возможно, и демонстрируют возможности работы такой системы. За подробностями по ссылке.
🔥111
Психология искусственного разума

Недавно мне попалась довольно любопытная статья, связанная с изучением больших языковых моделей (LLM). Из нее я выяснила, что есть целая научная область – «психология ИИ», и как утверждают авторы, она повторяет исторический путь психологии человека. В частности, сейчас психология ИИ оказалась в плену бихевиористской парадигмы, которая фокусируется на наблюдаемых корреляциях «вход-выход» и игнорирует внутренние когнитивные механизмы. Иными словами, исследователи изучают LLM через стимулы (промпты) и реакции (ответы), что повторяет классическую схему «стимул → реакция». В этой схеме не отражаются причинные механизмы: как и почему модель пришла именно к этой реакции.
Кроме того, как указывают авторы, невозможно отличить подлинное внутреннее понимание от сложной поведенческой имитации, особенно в задачах, требующих неявных знаний.

В статье можно детально познакомиться с проблемами «психологии ИИ», как их понимают авторы, основными выводами и рекомендациями. Здесь же я хочу описать максимально простым языком суть проблем, с которыми имеет дело «психология ИИ», и отреагировать и на эти проблемы и на сам факт существования этой психологии.
Далее здесь
🔥9❤‍🔥742
Друзья! С Днём Победы Красной армии и  советского народа над нацистской Германией в Великой Отечественной войне 1941—1945 годов!
🔥16
Сегодня у нас пост по статье “Unraveling honest responding: a systematic review on the effectiveness of social desirability bias reduction methods in survey research”, вышедшей в начале 2026 года (Zaal et al., 2026).
Социальная желательность (Social Desirability Bias, SDB), то есть склонность респондентов так отвечать на пункты опросника, чтобы представить себя в социально приемлемом свете, создает серьезные проблемы при использовании и анализе результатов психологических опросников. В статье авторы сделали обзор экспериментальных исследований эффективности различных способов снижения социальной желательности. Они выделили 13 основных методов и сделали вывод о том, что наиболее эффективным подходом являются Face-saving strategies / стратегии “сохранения лица. Подробности читайте в нашем полном посте.
👍7🔥51
Решила еще раз пройтись по ИИ исследованиям в социальных науках, а точнее их влиянию на самих ученых. Недавно вышла статья Cecilie Traberg, Jon Roozenbeek и Sander van der Linden под названием “ИИ превращает научные исследования в монокультуру”. Главный тезис статьи состоит в том, что искусственный интеллект становится не просто объектом исследования, а фактором, постепенно унифицирующим саму научную культуру: темы исследований, методы, язык науки и даже способы мышления ученых начинают становиться все более однообразными. 

Подробнее здесь
🔥10👍3💯2😭1🫡1
Сегодня хотелось бы немного рассказать о коллекции статей, опубликованной в этом году в журнале Computational Brain & Behavior. Она посвящена теме Illusions of Understanding in the Sciences - иллюзиям понимания в науке. Всего в этой коллекции сейчас опубликовано 24 материала, большая часть из которых - комментарии к статье Shiffrin, Stigler и Keil “Illusions of Understanding in the Sciences”. Поэтому сначала подробнее остановимся на самой статье, которая запустила эту дискуссию, а к комментариям вернемся отдельно. Главная идея статьи состоит в том, что ученые часто переоценивают степень своего понимания изучаемого феномена. Причем эта иллюзия может усиливаться именно там, где наука выглядит особенно строгой и формализованной: при использовании математических моделей, компьютерных симуляций, статистического анализа и количественного предсказания.
Надо сказать, что я долго колебалась, прежде чем писать этот пост. Я начинала, бросала, опять начинала. И все-таки решила довести дело до конца. С одной стороны, проблема, о которой говорится в статье топик-стартере – не новая, и мы на нашем канале много писали про это. Признаться, я немного устала от статей, посвященных разбору того, как все плохо и неясно в социальных науках. С другой стороны, мне было интересно прочитать и саму статью, а главное, комментарии к ней. Возможно, думала я, кто-то из комментаторов сможет привести какие-то аргументы в пользу социальных наук и формального моделирования в них. В конце концов, я решила, что все-таки стоит поделиться с вами и тем, что написано в самой статье, и тем, что написано в комментариях. Насколько стоило это делать – судить вам. Читайте дальше, если интересно
10🔥3🤬1
Задача - найти психологический феномен

На нашем канале мы много раз писали про репликационный кризис, который переживает психология, и про более глубокий кризис психологических теорий. Всё больше исследователей считают, что проблема современной психологии не сводится к p-values, p-hacking или слабым размерам эффекта. Проблема в том, что дисциплина слишком мало внимания уделяла и уделяет поиску устойчивых эмпирических феноменов.

Недавно появилась публикация “Устанавление психологических феноменов: Альтернативные методологические перспективы в научной практике” большой группы авторов, включая наших любимых Дэниеля Борсбума, Брайана Хайга, и Маркуса Эронена. Авторы предлагают радикально изменить то, как вообще должна строиться психологическая наука.

Подробнее об этом здесь, и там же я делюсь недавними наблюдениями и мыслями, по поводу устойчивости сложившихся исследовательских практик к изменениям такого рода
🔥61👍1🤬1
Вчера у меня была т.н. «открытая лекция» в рамках курса «Психология образования». Открытая – т.к. к ней могли подключаться внешние слушатели и она записывалась. Тема «Нейробиология внимания, памяти и мотивированного обучения». Если кому-то интересно, то выкладываю запись: https://disk.360.yandex.ru/i/4lz2qBDKIiNuGg

В то же время хочу пояснить, что поскольку я не нейробиолог, а только притворяюсь интересуюсь этой областью, то уровень содержания относится скорее к популярному. Кроме того, поскольку мне пришлось ужать 4 ак. часа до 2ух, вторая половина лекции довольно сильно скомкана. Если есть интерес к этой теме, я могу сделать запись двух полноценных лекций, которые я буду читать осенью. А пока, что есть, то есть😊 Приятного просмотра!
24🤬1🍾1
Сегодня наш пост посвящен статье с интересным и многообещающим названием, The cost of thinking is similar between large reasoning models and humans, вышедшей в ноябре 2025 года в PNAS. Авторы задались вопросом, могут ли языковые модели «схватить» особенности человеческого мышления, а в частности, отразить когнитивные затраты на обработку информации. Для ответа на этот сложный вопрос, они использовали сравнительно новый тип языковых моделей, Large Reasoning Models (LRM) и оценили длину цепочки рассуждений при решении семи типов задач. Эти же семь типов задач выполняли люди. Авторы рассчитали корреляцию между длиной цепочки рассуждений и временем решения задач людьми и сделали вывод о том, что длина цепочки рассуждений предсказывает (да! Они действительно говорят «предсказывает»!) время реакции людей как внутри отдельных задач, так и между задачами. Это согласование между моделями и людьми показывает, что reasoning-модели отражают ключевые свойства, определяющие сложность проблем и задач в человеческих познавательных процессах. Не хочется спойлерить, но по моему мнению, заголовок статьи гораздо интереснее, чем полученные результаты (как в моем детстве говорили, «размах на рубль, удар на копейку»). Тем не менее, статью может быть интересно прочитать как пример того, какие исследования являются мейнстримом. И в очередной раз посокрушаться. 😊 Более подробно тут
🔥6👍21🤬1
Недавно наткнулась на работу Уильяма Старбука «Постоянные причины нескончаемой моды в поведенческих и социальных науках» (The Constant Causes of Never-Ending Faddishness in the Behavioral and Social Sciences). Статья давняя - 2009-го года, но это не делает ее устаревшей: наоборот, кажется, с каждым годом, она становится все актуальнее.

Этот пост написан по этой статье и дополнен личным комментарием, на этот раз касающимся эмоционального интеллекта, настойчивости (Grit) и темных черт личности (Dark Triad, Dark Tetrad, Dark Core и пр.) как примеров модных концепций. Приятного чтения!
🔥11👍3🤬1🦄1