Как посчитать индекс успешности ученика?

Научный семейный фестиваль PRO.NRG, прошедший недавно в Астане, собрал школьников, родителей и экспертов, чтобы сделать науку ближе и понятнее людям. Одним из ключевых спикеров стал Максат Жампеисов – главный экзаменатор Международного Бакалавриата (IB) и эксперт международной аккредитации WASC. Он рассказал о психометрике – направлении образования, которое становится заметным трендом в частных школах Казахстана. В интервью Youth.kz Максат рассказал о том, как психометрика помогает выявлять скрытые проблемы в учебном процессе, почему бумажные опросы не всегда работают, и что нужно сделать, чтобы данные стали реальным инструментом для улучшения качества образования в стране.

Максат, для начала введите нас, пожалуйста, в тему: что представляет собой психометрика?

Если говорить простыми словами, психометрика – это психология, которая женилась на статистике. Виды метрик абсолютно безграничны как в глубину, так и в ширину. Все зависит от того, какой объект или субъект нас интересует. Это могут быть измерения, связанные с учеником: его профиль, компетенции, психоэмоциональное состояние, отношения со сверстниками, динамика развития, уровень развития soft- и hard-навыков. С другой стороны, психометрика может применяться для оценки качественных характеристик самой образовательной среды: школьных предметов, элективных курсов, различных процессов – от приема и выбытия учеников до показателей успеваемости, посещаемости и вовлеченности. Перечислять направления психометрики в образовательном процессе можно до бесконечности. 

Насколько актуальна психометрика в современном образовании? Можно ли говорить о ней как о тренде?

Я думаю, в разных секторах образовании, государственном и частном, актуальность и динамика психометрики будут отличаться. В частном секторе образования нашей страны я бы уже сейчас назвал это зарождающимся трендом. На протяжении последних двух лет наблюдается активный интерес к концепциям Big Data и практикам работы с большими данными. Психометрика же, на мой взгляд, представляет собой вторую, более глубокую волну развития аналитики в образовании, поскольку она фокусируется на психологических наблюдениях за объектом или субъектом образовательного процесса. В государственных образовательных учреждениях, я полагаю, этот тренд пока еще не на слуху. Вероятно, там существуют более насущные проблемы, которые требуют первоочередного решения. Но я уверен, что и там уже задумываются о возможностях, которые открывает психометрика.

Как происходят наблюдения? Кто и где записывает и анализирует информацию?

Сбор и анализ данных в психометрике может происходить по-разному, в зависимости от целей и доступных инструментов. Все наблюдения фиксируются, систематизируются и затем анализируются – чаще всего в цифровом формате. Метрики делятся на два вида: базовые и суперметрики. Базовая метрика – один конкретный показатель, например, успеваемость ученика. Она отвечает лишь на один вопрос и дает ограниченное представление. Суперметрика – это уже комплексный показатель, формируемый на основе нескольких базовых метрик. Например, индекс успешности ученика может включать данные о посещаемости, вовлеченности, взаимоотношениях со сверстниками, эмоциональном фоне и других аспектах. Данные могут собираться как в цифровом, так и в бумажном виде, например, через опросники. Правда, бумажные формы существенно замедляют процесс обработки и анализа.

Когда речь идет о работе с большим объемом данных, специалисты часто используют цифровые инструменты аналитики, такие как Power BI. Эти системы позволяют автоматизировать обработку данных, анализировать их быстрее и глубже, наглядно визуализировать результаты, гибко «играть» с показателями в режиме реального времени. Наличие таких данных позволяет выдвигать обоснованные гипотезы и принимать решения не «с потолка», а на основе реальных показателей. Это особенно важно, если мы говорим, например, о трудностях, которые сталкивается ученик в процессе учебы. Проблема может быть не в нем, а в учебной программе, методах преподавания или даже внешних социальных факторах.

Психометрика помогает принимать более взвешенные, справедливые и объективные решения, минимизируя эмоциональные оценки и вероятность ошибок. А значит, снижается риск того, что кто-то пострадает из-за непонимания ситуации. 

Максат, могли бы вы привести пример успешных кейсов в области психометрики в образовании, которые повлияли на улучшение образовательного процесса?

Если говорить о внешних исследованиях, то один из интересных кейсов – это исследование 2018 года под названием «Эффект автоматизированных вмешательств» в программировании учебных заданий. В исследовании использовался курс, который проходили разные группы студентов. При этом их академическая успеваемость, количество попыток сдачи заданий и обратная связь по курсу кардинально отличались. На первый взгляд, администрация могла бы посчитать курс неудачным. Но психометрический анализ показал, что студенты проходили данный курс поздно вечером и всего один раз в неделю. Это напрямую влияло на качество усвоения материала и восприятие курса в целом. Проблема оказалась не в содержании, а в контексте прохождения – времени и частоте занятий.

Если говорить о нашем собственном кейсе, то в одной из школ, где мы проводили сбор и анализ данных, был выявлен отток учеников в 7-х классах – сразу после окончания первой четверти. Типичные опросы о деятельности учителей проблему не подсвечивали, наоборот, по ним были получены положительные отзывы. В этом случае психометрический анализ позволил глубже взглянуть на ситуацию. Мы обнаружили, что в 7 классе математику вел преподаватель с опытом работы в РФМШ, и он фактически устраивал в этой школе свой «мини-РФМШ». Его высокие требования не выдерживали многие ученики, и именно они уходили. Те же, кто оставались, наоборот, были довольны, потому что именно за таким подходом и пришли. Почему отток прекращался после первой четверти? Здесь «включалась» когнитивная игра – если тебе тяжело, то ты уйдешь в самом начале учебного года, в середине тебе не даст уйти мотивация, а в самом конце уже работает эффект «вложенного времени». За счет сбора таких данных мы выявили настоящую проблему и решили ее уже управленческим способом. Понимание этих нюансов стало возможным только благодаря комплексному сбору и интерпретации данных. На основе полученных выводов было принято решение: в рамках обычных уроков математики ожидания и нагрузка были приведены к стандартному уровню, а для мотивированных учеников был запущен отдельный элективный курс с этим преподавателем.

Кто на сегодняшний день в частных школах страны занимается психометрикой?

Все зависит от глубины внедрения психометрики в конкретной школе. К примеру, базовые метрики могут собирать сами учителя. 

То есть они проходят специальное обучение, чтобы этим заниматься?

На уровне бакалавриата, как мне известно, программы подготовки педагогов пока не включают обучение в области психометрики. Этому направлению чаще обучают в рамках магистерских программ – как в ряде казахстанских, так и зарубежных вузов. Кроме того, многие специалисты приходят в психометрику через самообразование. Если у человека есть интерес и мотивация, он может углубиться в тему самостоятельно – проходя курсы по аналитике, работе с данными, статистике и смежным дисциплинам. 

Поскольку психометрика в образовании – все еще формирующийся тренд, далеко не во всех частных школах страны такие процессы уже налажены. И даже там, где психометрика применяется, формат и уровень реализации сильно варьируются: где-то этим занимается инициативная группа преподавателей, где-то – представители школьной администрации, в отдельных случаях создаются специализированные аналитические команды. В нашей организации за это направление отвечают два департамента: департамент развития и департамент аналитики. Хотя команды в них небольшие, они системно занимаются внедрением психометрических подходов. Педагогический коллектив мы вовлекаем на этапе сбора данных и на этапе анализа и обсуждения полученных результатов. 

Ваш опыт работы с частными школами в этой сфере, несомненно, ценен. Есть ли у вас интерес к тому, чтобы поделиться своими практическими наработками с представителями государственных школ?

Я активно делюсь своими идеями на различных площадках. Недавно, к примеру, представлял данную тему на семейном научном фестивале PRO.NRG. Кроме того, совместно со своими коллегами развиваю социальную платформу Mektepreneur. Это наш совместный авторский проект, где мы, по мере сил и свободного времени, создаем и предлагаем педагогам совершенно бесплатные обучающие курсы. На платформе зарегистрированные учителя также могут взаимодействовать и обмениваться опытом.

Какие тенденции, на ваш взгляд, будут определять развитие психометрики в образовании страны в ближайшем будущем?

Я думаю, что в ближайшие три года психометрика станет одним из ключевых трендов. Ее развитие будет тесно связано с цифровизацией образования. Все больше людей приходят к пониманию, что для эффективного менеджмента необходимы данные, поскольку принимаемые решения должны быть аргументированными и научно обоснованными. Работа с большими данными и принятие решений на их основе хорошо развиты в банковской сфере, квазигосударственном секторе, крупных торговых холдингах и операторах сферы услуг. Постепенно осознание необходимости таких подходов приходит и в другие сферы деятельности, в частности в образование.