Как научить искусственный интеллект обучать людей математике: опыт Plario

Приветствуем вас в блоге томского IT-сообщества! Здесь мы пишем об интересных кейсах и опыте томских IT-компаний по разработке и продвижению своих продуктов. А еще мы проводим медиаконференцию «Город IT 2020: продуктовый сезон», где будем обсуждать темы, которые будут затрагиваться в этом блоге. Больше информации о Городе IT 2020 можно найти тут.

В этой статье компания ENBISYS поделится своим опытом разработки систем адаптивного образования. Передаём им слово.

Меня зовут Дмитрий Бубнов, и вот уже 14 лет я руковожу компанией ENBISYS. Мы помогаем крупным западным клиентам на пути к цифровизации. Кроме услуг классической заказной разработки, в 2016 г. мы создали лабораторию машинного обучения и с тех пор накопили значительный опыт работы с большими данными.

Наша компания реализовала несколько проектов по созданию систем адаптивного обучения в Западной Европе. Работая с этими проектами, мы увидели возможность улучшить качество образования в России за счёт умных алгоритмов на технологиях машинного обучения. Именно этим мы занимаемся с 2018 года в партнерстве с Томским государственным университетом и другими ведущими вузами страны

В этой статье поделимся нашим опытом по созданию Plario.ru. Это онлайн-платформа адаптивного обучения математике для старшеклассников и первокурсников. Расскажем про технологические подходы к созданию таких систем, технологии, используюемые за рубежом, а также о том, как и зачем их можно дорабатывать.

Для начала разберёмся, что такое адаптивное обучение, и чем оно отличается от неадаптивного. Из названия очевидно, что адаптивное обучение подстраивается под особенности конкретного ученика, его уровень знаний и потребности.

Хорошим примером адаптивного обучения является индивидуальная работа с репетитором. В процессе работы с подопечным хороший репетитор выявляет имеющиеся знания, фиксирует пробелы, а также определяет, как ученик лучше всего усваивает новые знания.

Развитие технологий позволило тиражировать этот подход. Современные системы онлайн-обучения могут варьировать последовательность обучающих материалов в соответствии с индивидуальным прогрессом учеников, который определяется по их ответам на вопросы и задания.

Какие задачи призваны решать системы адаптивного обучения, и почему они стали таким мощным трендом современного образования?

Ответ кроется в желании современных пользователей:

Чтобы обеспечить процесс обучения в подобном формате, недостаточно «оцифровать» учебники и лекции. Нужно научить систему помогать пользователям осваивать только необходимые им навыки.

Таким образом, современное образование должно быть:

Именно для этого создаются системы адаптивного обучения, где основная задача адаптивности – это выбор наиболее подходящего контента для учащегося в соответствии с его цифровым следом.

Существует несколько видов адаптивных систем:

Среди наиболее успешных и подтвердивших свою эффективность платформ можно выделить:

Большинство из них являются очень сложными и дорогими для использования в российских вузах и школах. Эти системы используют формальные математические модели для представления и оценки состояния обучающегося, например, расширенную Item Response Theory (IRT) в Knewton, или Knowledge Space Theory / Learning Space Theory в ALEKS. Кроме того, адаптивная логика, как правило, предполагает использование «больших данных» (обрабатываемых методами машинного обучения и глубинного анализа данных).

Также, в интеллектуальных обучающих системах широко применяют алгоритм Bayesian Knowledge Tracing (BKT), представляющий знание студента (степень владения определённым навыком) как скрытую переменную в марковском процессе, обновляемую путём наблюдения правильности / ошибочности взаимодействия студента с системой, в котором он применяет рассматриваемый навык (решает задачу, требующую владение навыком).

Компания enbisys совместно с Томским государственным университетом реализовала задачу «выравнивания» уровня владения навыками элементарной математики с использованием технологий адаптивного обучения в онлайн тренажёре Plario.ru.

Математику как предметную область мы решили выбрать в силу нескольких причин: данный предмет достаточно просто разложить на необходимый и логичный «гранулярный» контент. Кроме того, существует объективная проблема: студенты, поступающие в вуз, находятся на самых разных уровнях подготовки по математике, и, зачастую, этого уровня недостаточно для изучения более сложной вузовской программы.

Это негативно сказывается на эффективности групповых аудиторных занятий, т.к. преподавателю крайне сложно адаптировать состав и темп подачи материала к фактическому уровню каждого студента. Помимо этого, есть необходимость дополнительно заниматься математикой и у учащихся старших классов школ с целью подготовки к ЕГЭ.

Plario.ru состоит из 6 обучающих модулей: преобразование алгебраических выражений, тригонометрия, логарифмы, уравнения, неравенства, функции.

Каждый модуль — это совокупность взаимосвязанных «навыков» (от 30 до 60), где каждый «навык» соответствует конкретному умению/способности использовать определенный набор теоретических знаний из этой темы для решения практических задач. К каждому навыку привязано множество «учебных материалов» (теоретических материалов и практических задач), работа с которыми и составляет основу тренировочного процесса.

Состояние знаний (модель) студента представляется совокупностью пар (навык, мастерство). Мастерство – это степень освоения навыка, уверенность в том, что студент освоил этот навык. Мастерство может принимать значения в диапазоне от 0 до 100%. Навык считается освоенным, если уверенность в его освоении превышает некоторое пороговое значение, например, 90%.

В ходе разработки системы мы учли следующие требования:

Таким образом, Plario.ru состоит из следующих блоков:

Из-за особенностей предметной области (математики) в Plario.ru мы решили использовать расширенную версию алгоритма BKT (Bayesian Knowledge Tracing), отличающуюся от стандартной возможностью:

Расширенная версия BKT в Plario.ru обеспечивает динамическое формирование индивидуальной траектории обучения, когда траектория меняется после выполнения каждого задания.

Данный алгоритм позволяет оценивать текущее состояние студента (какими навыками владеет и какие навыки готов осваивать) после каждого совершенного взаимодействия с системой в виде ответа на предложенное задание.

Поскольку на начальном этапе мы не имели реальных фактических данных о параметрах и результатах обучения, для реализации рекомендательной части системы (адаптивной логики) мы решили использовать алгоритм ранжирования материалов, исправленный и дополненный в соответствии с требованиями к системе. Со временем, после накопления достаточного количества данных, мы планируем перевести механизм адаптивной логики на технологии машинного обучения.

Адаптивность процесса обучения обеспечивается гибким алгоритмом рекомендации упражнений для студента, который обеспечивает:

Модель компетенций для каждого модуля в Plario.ru была разработана группой экспертов ТГУ и представляет собой ориентированный ациклический граф, в котором:

Состояние знаний студента в каждый момент времени (модель студента) может быть представлено как совокупность навыков, для каждого из которых определено индивидуальное значение мастерства (уверенности в том, что данный студент освоил данный навык). В результате наложения модели студента на граф навыков мы получаем индивидуальный граф навыков конкретного студента.

Таким образом, процесс обучения в упрощённом виде представляет собой продвижение по индивидуальному графу от освоенных навыков к неосвоенным в соответствии с зависимостями между ними.

Образовательный контент для Plario.ru создается экспертами ТГУ в соответствии с разработанной ими методикой. Она основана на следующих принципах:

Образовательный контент в Plario.ru состоит из:

При создании учебных материалов в системе они описываются в соответствии с требованиями расширенной версии BKT, используемой в Plario.ru. Отдельное место занимают тестовые задачи, используемые для диагностики входного уровня. На этапе диагностики важно за минимально возможное время максимально достоверно определить мастерство по каждому навыку. В связи с этим к подготовке диагностических задач предъявляются несколько иные требования:

Платформа Plario.ru проектировалась как система, работающая без участия преподавателя. Преподаватель в ней осуществляет контроль над прогрессом обучения, но непосредственно не вмешивается.

В данный момент мы дорабатываем платформу под другие предметы и добавляем возможность помощи преподавателю во время образовательного процесса.

Система Plario будет улучшена и трансформирована в цифровой учебно-методический комплекс, позволяющий:

В условиях новой реальности и развития технологий системы адаптивного обучения должны максимально индивидуализировать процесс освоения навыков и помогать преподавателю, делая весь процесс смешанного обучения приближенным к индивидуальному.

Pario.ru — это удачный пример создания адаптивной системы, решающей реальные проблемы студентов и преподавателей. Концепция платформы соответствует приоритетной задаче вузов, связанной с цифровизацией образовательной среды.

Благодаря задействованию умных алгоритмов, онтологий и экспертности ведущих математиков ТГУ, система Plario.ru трансформирует процесс выравнивания знаний студентов в математике, снимает нагрузку с преподавателей, освобождает их от рутинной работы и помогает снижать загрузку аудиторий. В течение 2019 и 2020 г. система Plario.ru была внедрена в 5 вузов РФ, а также 6 школ с общим количеством пользователей свыше 5000.