О клиенте
Российский холдинг в сфере образования, который издает печатные и цифровые учебные материалы, развивает образовательные программы для детей и взрослых, а также цифровые образовательные сервисы в России и за рубежом.
Проблема и задачи клиента
Производство учебных заданий — это сложный многоэтапный процесс, в котором участвуют сразу несколько специалистов: методист, тестолог и корректор. При этом объемы — промышленные: задания требуются тысячами, в нескольких вариантах, под разные форматы (подготовка, контрольные, экзамены).
Дополнительно действуют условия:
- задания нельзя повторять из года в год, так как прошлогодние варианты быстро попадают в открытый доступ;
- используется строго ограниченный набор лексики и грамматики;
- обязательно учитывать ценностные ориентиры и возрастные ограничения;
- необходимо соблюдать требования ФГОС и методические стандарты.
Фактически методист ежедневно вручную разрабатывает новые задания в течение нескольких месяцев, одновременно соблюдая десятки ограничений и обеспечивая вариативность формулировок и сценариев. В результате даже при высокой квалификации специалистов задания начинают терять вариативность.
Ситуация еще сложнее в математике:
- задача должна быть корректна не только с точки зрения формулировки, но и вычислительно;
- формулировки не могут выходить за пределы возрастного опыта учащихся;
- числа и единицы измерения строго регламентированы;
- требуется не только условие, но и минимум два корректных решения в виде формул;
- каждая задача должна иметь методическую пометку (тип задачи, сценарий, метод решения);
- при этом необходимо обеспечивать вариативность: разные контексты, персонажи, направления движения, типы задач (на время, скорость, расстояние и т.д.).
Задача бизнеса — сократить длительный этап ручной генерации контента и перевести экспертов в режим проверки и доработки, не снижая методического качества и соответствия стандартам.
Решение
Мы разрабатываем ИИ-платформу, которая возьмет на себя трудоемкие рутинные операции по генерации вариантов заданий в больших объемах и в рамках как рекомендаций, так и жестких ограничений. В результате эксперты получат массив тестовых заданий, готовых к проверке и доработке.
Как будет работать система
- Пользователь задает параметры: предмет, класс, тема, тип задания, методические требования.
- Система формирует структурированный запрос с учетом возрастных, ценностных, лексических и методических условий.
- Модель генерирует массив заданий с заданной вариативностью.
- Методисты, тестологи и корректоры оценивают задания по формализованному протоколу и вносят правки.
- Финальные задания поступают в контентную систему заказчика для дальнейшего производства.
Большая часть логики — ограничения, правила, сценарии, шаблоны и проверки — скрыта внутри платформы и не требует ручной настройки со стороны пользователя.
Что уже реализовано
- Проведено исследование доступных open source LLM с учетом требований по безопасности, лицензированию и размещению в инфраструктуре заказчика.
- Подобраны модели, способные решать задачи генерации образовательного контента в рамках заданных ограничений.
- Реализован контур промпт-инжиниринга с преднастроенными возрастными, методическими и ценностными ограничениями.
- Запущена генерация заданий по английскому языку для 5 класса.
- Внедрена система экспертной оценки качества: задания проверяются методистами и тестологами по формализованному протоколу (корректность, соответствие возрасту, методичность, креативность).
- Зафиксирована текущая метрика качества — 65%, признанная заказчиком приемлемой для промышленного использования.
- Начата исследовательская фаза по математике: идет подбор моделей и проектирование контура генерации задач с формулами, решениями и методическими пометками.
Результат
- Время на создание тестов сокращено на 70%.
- Экономия ФОТ: для создания того же объема контента требуется меньше специалистов.
- Улучшено качество материалов: исключаются однотипные задания и повторы.