Украинские e-learning-проекты. Кейс ПриватБанка (измерение эффективности e-learning)
Автор: Марина Литвинова
Кейс ПриватБанка
Кейс ПриватБанка
Оценка эффективности e-learning
Платформа: Прометей, основательно доработан
Год реализации проекта: 2011
Над данным проектом я работала примерно в 2011 году. Не смотря на давность, его идеи актуальны и сейчас, так как в отношении e-learning ПриватБанк на тот момент уже был первопроходцем.
Итак, оценка осуществлялась на основании схемы Кирпатрика по 4-м уровням. Что оценивалось на каждом из уровней хорошо видно на схеме:
И немного описания.
Как мы измеряли эффективность обучения, или наши 38 попугаев
И еще чуть глубже в детали:
⇒ Это кейс из цикла публикаций о том, как реализовано электронное обучение в различных украинских компаниях. Если вы тоже хотите поделиться опытом и опубликовать свой проект - напишите мне. Для обсуждения кейсов приглашаю в нашу закрытую группу на фейсбук. Материалы беру из открытых источников в сети Интернет, а также из моих релизов по итогам различных открытых мероприятий. Подобные публикации находятся в блоге под ярлыком "кейс", чтобы вы могли легко их все найти и отследить новые.
Платформа: Прометей, основательно доработан
Год реализации проекта: 2011
Над данным проектом я работала примерно в 2011 году. Не смотря на давность, его идеи актуальны и сейчас, так как в отношении e-learning ПриватБанк на тот момент уже был первопроходцем.
Итак, оценка осуществлялась на основании схемы Кирпатрика по 4-м уровням. Что оценивалось на каждом из уровней хорошо видно на схеме:
И немного описания.
Как мы измеряли эффективность обучения, или наши 38 попугаев
Всеми любимый советский мультфильм про 38 попугаев как нельзя лучше подходит под нашу историю.
Итак, появилась у нас мысль и мы стали ее думать: «Как измерить эффективность обучения»?
Немного про СДО в нашем банке.
Система обучения существует уже 10 лет, активно функционирует, наполняется и обновляется. Достаточно много курсов и тестов, книги и вебинары – вот ее наполнение. Плюс система обучающих рассылок по почте.
170 авторов курсов, более 40 000 постоянных слушателей и в три раза больше слушателей в целом.
Уже три года для каждой должности сформирована (и ежегодно обновляется) программа обучения,состоящая из курсов, книг и потенциально тренингов, вебинаров, перечня сайтов и доп. ресурсов.
Сотрудники постепенно сдают тесты из своей программы в течение года и выполняют норматив обучения, который отображается в кадровых документах
За первое полугодие 2011 года количество обращений пользователей к системе превысило полмиллиона.
Вроде бы все здорово. Но есть одно «но». Заключается оно в том, что мы не знаем насколько «длинный удав», точнее насколько хороша и эффективна наша система.
Мы стали строить предположения и рождать идеи того, чем же измерить систему.
Для начала мы решили сделать рейтинование курсов, тестов и их авторов, т.к. подумали, что это повысит качество учебных материалов и ответственность сотрудников по отношению к своему авторству.
Взяли за основу закон нормального распределения (10-20-40-20-10) и определили несколько параметров, по которым мы будем строить рейтинги:
- средний набранный балл по тесту
- среднее время, затраченное на сдачу теста и на 1 вопрос
- количество попыток сдачи теста за определенный период
- соотношение удачных и неудачных попыток сдачи теста
- количество заказов теста (для тестов, которые не входят в обязательные программы)
Решили проводить такое рейтингование один раз в год (для всех курсов и тестов, которые находятся в системе не менее полугода). По результатам 10% худших идут автору на доработку, 10% лучших курсов (и, конечно, авторов) поощряются.
Процесс на стадии согласования.
На данный момент в этот рейтинг не включен такой важный параметр, как оценка курсов и тестов пользователями после обучения. Данная оценка существует отдельно и пока не дает нам ощутимой пользы. В основном, сотрудники ставят высокие оценки качеству, среди которых % низких небольшой и не сильно влияет на общую оценку. Много действительно важных моментов оценки «прячутся» в комментариях, которые представлены как дополнение к основным параметрам. Оценка требует тщательного анализа и доработки для включения ее в рейтинг.
Но, это только качество учебных материалов. Только часть системы.
Как и удава, систему «нельзя мерить частями, потому что она целая».
Мы зашли с другой стороны и посмотрели, как можно привязать эффективность работы сотрудника к выполнению ими норматива обучения, т.е. дисциплинированного прохождения тестов из своей программы.
Т.к. не у всех сотрудников есть свои рейтинги эффективности, мы начали с тех, кто их имеет.
Проанализировав четыре группы таких профессий, пришли к выводу, что:
- в двух группах явно прослеживалась корреляция: чем выше группа по эффективности, тем лучше дисциплина обучения среди сотрудников (выше процент выполнения норматива)
- в других двух группах корреляции не было (процент выполнения норматива не находился в какой-либо зависимости от группы эффективности).
О чем это могло говорить?
Да о целой уйме факторов, которые были больше похожи на вопросы:
- правильно ли сформирована программа проф. обучения;
- правильно ли учат курсы (отвечают ли они цели обучения и вообще, сформулирована ли в них цель);
- правильно ли проверяют знания тесты;
- самостоятельно ли сотрудники сдаются тесты;
- может ли корреляция в первых двух группах быть стечением обстоятельств
(кстати, важный фактор – первые две группы относятся к одному бизнесу, вторые две – к двум другим, различным бизнесам);
- может ли эффективность работы в большей степени зависеть от других факторов, а не от обучения.
Так как в первых двух группах корреляция все же была, и она говорила о четкой взаимосвязи обучения и эффективности, мы решили искать проблемы в двух других группах. Кроме того, первые две группы относились к одному бизнесу, в котором тщательно подходят и к созданию курсов, и к формированию программ обучения, и к проверке выполнения норматива.
На первом этапе мы решили:
Мы (корпоративный университет), образно, находимся на берегу реки: даем лодку и весла (знания и навыки) и пускаем в плавание (в реальную практику). Дальше сотрудник плывет или сам, или с поддержкой наставника или с помощью руководителя. По-разному. НО уже без нас.
Мы остались на берегу давать лодки и весла другим.
Как они плывут? Туда ли плывут? Хорошо ли научились держать весла?
Как это понять? Только с помощью бизнеса, в котором работает сотрудник, можно оценить эффективность его работы и влияние обучения на его работу, и понять, нужно ли дополнительное обучения и с какой периодичностью.
В бизнесе есть потребность понять влияние обучения на эффективность работы и управлять эффективностью с помощью обучения.
Но должен ли процесс измерения эффективности обучения частично быть в бизнесе, а частично в корпоративном университете?
Да, многие вопросы пока остаются открытыми, но, тем не менее, мы поставили их и этим сделали важный шаг в развитии системы обучения и в определении рычагов влияния обучения на показатели эффективности работы.
Ведь корпоративное обучение – это не ради диплома или будущей работы, не ради имиджа и не совсем ради удовольствия (хоть мне, как руководителю проекта, очень хочется параметр удовольствия подтянуть на максимум).
Зато – это обучение ради высоких показателей в работе, ради бонусов сотрудников и ради роста самой компании. Взаимовыгодно.
Надо только понять, кто и в чем должен мерить эффективность?
Главное, чтобы «удав» был счастлив (то есть система эффективна), не зависимо от того, в чем мы будем его мерить: в «попугаях», «мартышках» или «слонёнках» :)
Итак, появилась у нас мысль и мы стали ее думать: «Как измерить эффективность обучения»?
Немного про СДО в нашем банке.
Система обучения существует уже 10 лет, активно функционирует, наполняется и обновляется. Достаточно много курсов и тестов, книги и вебинары – вот ее наполнение. Плюс система обучающих рассылок по почте.
170 авторов курсов, более 40 000 постоянных слушателей и в три раза больше слушателей в целом.
Уже три года для каждой должности сформирована (и ежегодно обновляется) программа обучения,состоящая из курсов, книг и потенциально тренингов, вебинаров, перечня сайтов и доп. ресурсов.
Сотрудники постепенно сдают тесты из своей программы в течение года и выполняют норматив обучения, который отображается в кадровых документах
За первое полугодие 2011 года количество обращений пользователей к системе превысило полмиллиона.
Вроде бы все здорово. Но есть одно «но». Заключается оно в том, что мы не знаем насколько «длинный удав», точнее насколько хороша и эффективна наша система.
Мы стали строить предположения и рождать идеи того, чем же измерить систему.
Для начала мы решили сделать рейтинование курсов, тестов и их авторов, т.к. подумали, что это повысит качество учебных материалов и ответственность сотрудников по отношению к своему авторству.
Взяли за основу закон нормального распределения (10-20-40-20-10) и определили несколько параметров, по которым мы будем строить рейтинги:
- средний набранный балл по тесту
- среднее время, затраченное на сдачу теста и на 1 вопрос
- количество попыток сдачи теста за определенный период
- соотношение удачных и неудачных попыток сдачи теста
- количество заказов теста (для тестов, которые не входят в обязательные программы)
Решили проводить такое рейтингование один раз в год (для всех курсов и тестов, которые находятся в системе не менее полугода). По результатам 10% худших идут автору на доработку, 10% лучших курсов (и, конечно, авторов) поощряются.
Процесс на стадии согласования.
На данный момент в этот рейтинг не включен такой важный параметр, как оценка курсов и тестов пользователями после обучения. Данная оценка существует отдельно и пока не дает нам ощутимой пользы. В основном, сотрудники ставят высокие оценки качеству, среди которых % низких небольшой и не сильно влияет на общую оценку. Много действительно важных моментов оценки «прячутся» в комментариях, которые представлены как дополнение к основным параметрам. Оценка требует тщательного анализа и доработки для включения ее в рейтинг.
Но, это только качество учебных материалов. Только часть системы.
Как и удава, систему «нельзя мерить частями, потому что она целая».
Мы зашли с другой стороны и посмотрели, как можно привязать эффективность работы сотрудника к выполнению ими норматива обучения, т.е. дисциплинированного прохождения тестов из своей программы.
Т.к. не у всех сотрудников есть свои рейтинги эффективности, мы начали с тех, кто их имеет.
Проанализировав четыре группы таких профессий, пришли к выводу, что:
- в двух группах явно прослеживалась корреляция: чем выше группа по эффективности, тем лучше дисциплина обучения среди сотрудников (выше процент выполнения норматива)
- в других двух группах корреляции не было (процент выполнения норматива не находился в какой-либо зависимости от группы эффективности).
О чем это могло говорить?
Да о целой уйме факторов, которые были больше похожи на вопросы:
- правильно ли сформирована программа проф. обучения;
- правильно ли учат курсы (отвечают ли они цели обучения и вообще, сформулирована ли в них цель);
- правильно ли проверяют знания тесты;
- самостоятельно ли сотрудники сдаются тесты;
- может ли корреляция в первых двух группах быть стечением обстоятельств
(кстати, важный фактор – первые две группы относятся к одному бизнесу, вторые две – к двум другим, различным бизнесам);
- может ли эффективность работы в большей степени зависеть от других факторов, а не от обучения.
Так как в первых двух группах корреляция все же была, и она говорила о четкой взаимосвязи обучения и эффективности, мы решили искать проблемы в двух других группах. Кроме того, первые две группы относились к одному бизнесу, в котором тщательно подходят и к созданию курсов, и к формированию программ обучения, и к проверке выполнения норматива.
На первом этапе мы решили:
- Улучшить качество курсов, которые входят в программы обучения, и ввести правило для всех новых курсов: четко сформулированная цель обучения и критерии успешного прохождения курса.
- Проанализировать курсы, входящие в программы обучения сотрудников, в группах которых была обнаружена корреляция, и сравнить их с другими группами (есть ли цель, какие критерии успешного прохождения курса, какие знания проверяет тест).
- Провести контрольное тестирование среди сотрудников двух последних групп, которые набрали максимальные проходные баллы при минимальных затратах времени (определить, самостоятельно ли они сдавали тесты)
Мы (корпоративный университет), образно, находимся на берегу реки: даем лодку и весла (знания и навыки) и пускаем в плавание (в реальную практику). Дальше сотрудник плывет или сам, или с поддержкой наставника или с помощью руководителя. По-разному. НО уже без нас.
Мы остались на берегу давать лодки и весла другим.
Как они плывут? Туда ли плывут? Хорошо ли научились держать весла?
Как это понять? Только с помощью бизнеса, в котором работает сотрудник, можно оценить эффективность его работы и влияние обучения на его работу, и понять, нужно ли дополнительное обучения и с какой периодичностью.
В бизнесе есть потребность понять влияние обучения на эффективность работы и управлять эффективностью с помощью обучения.
Но должен ли процесс измерения эффективности обучения частично быть в бизнесе, а частично в корпоративном университете?
Да, многие вопросы пока остаются открытыми, но, тем не менее, мы поставили их и этим сделали важный шаг в развитии системы обучения и в определении рычагов влияния обучения на показатели эффективности работы.
Ведь корпоративное обучение – это не ради диплома или будущей работы, не ради имиджа и не совсем ради удовольствия (хоть мне, как руководителю проекта, очень хочется параметр удовольствия подтянуть на максимум).
Зато – это обучение ради высоких показателей в работе, ради бонусов сотрудников и ради роста самой компании. Взаимовыгодно.
Надо только понять, кто и в чем должен мерить эффективность?
Главное, чтобы «удав» был счастлив (то есть система эффективна), не зависимо от того, в чем мы будем его мерить: в «попугаях», «мартышках» или «слонёнках» :)
И еще чуть глубже в детали:
⇒ Это кейс из цикла публикаций о том, как реализовано электронное обучение в различных украинских компаниях. Если вы тоже хотите поделиться опытом и опубликовать свой проект - напишите мне. Для обсуждения кейсов приглашаю в нашу закрытую группу на фейсбук. Материалы беру из открытых источников в сети Интернет, а также из моих релизов по итогам различных открытых мероприятий. Подобные публикации находятся в блоге под ярлыком "кейс", чтобы вы могли легко их все найти и отследить новые.
Комментарии
Отправить комментарий