Оценка эффективности очного и дистанционного обучения

Все те, кто профессионально занимается корпоративным электронным обучением, знают, что в нашем деле довольно сложно бывает доказать эффективность дистанционного формата. Не так чтобы на пальцах, а с цифрами, расчетами и достоверной статистикой. Если с экономической точки зрения все более или менее очевидно и, как правило, вопросов не возникает, то эффективность непосредственно обучения (научения) всегда оспаривается.

Так вот, коллеги из компании "Спортмастер" опубликовали материал со всеми цифрами и статистическими выкладками о большей эффективности электронного формата обучения. Наблюдения проводились почти 2 года, выборка 1350 человек и "весь спектр оценок в ходе аттестационных мероприятий".

В начале этого года на этом ресурсе я уже писал об основополагающих подходах и практических шагах по масштабному переводу очного обучения на дистанционный формат

http://websoft-elearning.blogspot.ru/2015/02/blog-post_21.html

Но все правильные слова, которые я произносил про этот перевод, ничего не будут стоить, если не провести сравнительный анализ эффективности очного и дистанционного обучения. Минул почти год с начала реализации данной программы, поэтому пришло время для подведения некоторых итогов, а точнее для проведения сравнительного анализа этих видов обучения. Благо, что все данные для этого есть. Длительный период наблюдений (2014-2015 годы), большая выборка обучаемых (свыше 1000 человек), весь спектр оценок в ходе аттестационных мероприятий за целых два года.

Классической формулы расчета эффективности как отношение результата к стоимости (Э=Р/С), ещё никто не отменял, поэтому и берем ее за основу.

Полтора года назад бизнес поставил задачу значительно сократить расходы на обучение, сохранив при этом требуемый результат – уровень профессиональной подготовки обученных сотрудников, и тем самым способствовать увеличению показателя эффективности обучения.  

Причем этот требуемый уровень задается не в виде красивых и пафосных слов, а виде конкретных уровней обученности (знания и умения), которые реально можно измерить. Для этого и существуют комплексные аттестационные комиссии, которые оценивают этот реальный уровень теоретических знаний и практических умений.  Аттестационная комиссия в составе заказчика (руководителя бизнес-подразделения), преподавателя Учебного центра, менеджера по персоналу оценивает уровень знаний и умений сотрудников, необходимых для выполнения функционала в конкретной должности. Банк тестовых заданий охватывает весь теоретический и практический материал модульного обучения по данной программе. В случае положительной аттестации сотрудник назначается на планируемую должность.

И вот, что мы имеем в результате сравнительного анализа с выборкой более чем из 1000 обучаемых. При переходе с очного обучения на дистанционный формат результат в виде качества подготовки персонала не только не снизился, а даже несколько вырос. К сожалению, из-за требований информационной безопасности я не могу привести абсолютные цифры, а вот относительными цифрами поделюсь. Средний балл итоговой оценки обучаемых вырос на 2,8%, а количество не сдавших аттестацию снизилось на 2,7%. При этом более показательно значение не среднего балла, а медианы, значение которой возросло на 3%. Считаем, что это вполне красноречивые цифры, позволяющие сделать обоснованный вывод: задача бизнеса по достижению результата в виде сохранения уровня профессиональной подготовки при переводе очного обучения на дистанционный формат выполняется достаточно успешно.

А теперь пояснение полученных результатов для любителей статистики. И, конечно же, для профессионала в этой области Эдуарда Бабушкина ))

Выборка – 1350 обученных сотрудников в 2-х группах (очная и дистанционная). В количественном отношении группы практически равны по составу (в дистанционной группе на 2,25% больше).

Оценка аттестуемого сотрудника – средняя оценка 3-х членов комиссии по итогам 10 теоретических и практических заданий.

Шкала оценки – от 2.0 до 5.0 (с точностью до сотых).

Описательные статистики:

Вот, что получилось в виде диаграммы боксплот:

А вот по оценкам плотность распределения получилась такая:

Значения по оси Х представляют собой интервальные значения аттестационных результатов (оценок) от 2.0 до 5.0 с шагом 0.1.

Значения по оси Y представляют собой количество полученных оценок в каждом интервале.

Следующая важная задача статистического исследования состояла в определении достоверности полученных результатов на основе установления значимых различий между двумя выборками. Как бы мне не хотелось подтащить данные распределения под нормальный закон, но, увы, это не удалось. Графический метод показал левостороннюю асимметрию (коэффициент асимметрии < 0, эксцесс > 3). Аналитический метод, основанный на проверке нормальности распределения по критерию согласия Пирсона (даже с учетом исключения выбросов на величину 3 сигма) также подтвердил несоответствие данного распределения НЗР (сумма крит.Пирсона превышает в разы критическое значение). Следовательно, не представлялось возможным применить столь удобный критерий Стьюдента.

Поэтому пришлось обратиться к непараметрическим методам.

Применение критерия Манна-Уитни оказалось нецелесообразным по двум причинам: во-первых, размер каждой выборки составляет более 60 значений (причем больше на целый порядок); во-вторых, количество повторяющихся значений в данных больших выборках зашкаливает (более 90% от всей выборки). При наличии такого большого количества совпадений критерий фактически оказывается непригодным для нашего исследования.

Применение критерия Крускала-Уоллиса оказалось нецелесообразным по причине того, что данный критерий предназначен для оценки различий между тремя и более выборками одновременно.

Выбор пал на критерий Колмогорова-Смирнова. Применение критерия возможно для сопоставления двух распределений: одного эмпирического распределения с другим эмпирическим распределением. Критерий позволяет найти точку, в которой сумма накопленных расхождений между двумя распределениями является наибольшей, и оценить достоверность этого расхождения. Если различия между двумя распределениями существенны, то в какой-то момент разность накопленных частот достигнет критического значения, что служит основанием признать различия статистически достоверными. В формулу критерия λ включается эта разность. Чем больше эмпирическое значение λ, тем более существенны различия.

При сопоставлении двух эмпирических распределений был произведен расчет критерия λ, который оказался равен 2.79.

Полученное эмпирическое значение λэмп (2.79) находится в зоне значимости различий. Тем самым это позволяет сделать вывод о достоверности полученных результатов.

Источник: Технологии e-learning: Практические результаты сравнительного анализа эффективности очного и дистанционного обучения (на основе корпоративной практики обучения)