В современной системе образования все большее значение приобретает дистанционное обучение. Во многих странах мира этот формат используется широко и представляет собой ведущую тенденцию. В Россию онлайн-обучение пришло недавно и до сих пор вызывает множество вопросов. Удобство онлайн-обучения сложно переоценить – оно позволяет получить знания в удобное время, в удобной форме и с минимальными затратами. Однако, когда речь идет об аттестации учащихся, выдаче сертификатов, свидетельств и дипломов по результатам обучения и доверии к этим результатам, то дистанционная форма, на первый взгляд, сильно уступает очному обучению. Возникают проблемы верификации личности и распознавания нечестного поведения испытуемого (студента) в ходе тестирования. Важным шагом к решению этой проблемы являются системы прокторинга.
В России до сих пор слово прокторинг мало кому знакомо. Нет четкого представления о функциях этого формата и о способах его организации. В классическом понимании прокторинг — это процедура дистанционного сопровождения онлайн-экзаменов и верификации личности испытуемого с целью повысить уровень доверия к результатам, когда за ходом сдачи экзамена следит удаленный наблюдатель (проктор).
Безусловно, наличие квалифицированного наблюдателя заметно улучшает ситуацию. Проктор может проверить личность студента, следить через веб-камеру за процедурой онлайн-тестирования. Однако, как я покажу далее, формат классического прокторинга имеет ряд ограничений. Последним словом в сфере онлайн-экзаменов является разработка систем частичной или полной автоматизации функций проктора. Автоматизация позволяет не только помочь живому наблюдателю и повысить эффективность его работы, но даже в некоторых случаях заменить проктора.
Я занимаюсь разработкой и внедрением автоматизированной системы дистанционного сопровождения онлайн-экзаменов в компании ProctorEdu. Система позволяет частично или полностью автоматизировать функции прокторинга и может быть интегрирована с другими системами, такими как платформы онлайн-обучения. За последний год удалось значительно продвинуться в этой сфере и накопить кое-какой опыт, которым и хочется поделиться.
Сперва рассмотрим подробнее классическую схему, когда за процедурой удаленной сдачи экзамена в режиме онлайн наблюдает проктор. Обычно проктор может одновременно сопровождать до девяти студентов. В обязанности проктора входит:
Такой вариант прокторинга обычно называют синхронным, т.к. проктор и студент находятся онлайн в один момент времени. Другой вариант – асинхронный прокторинг. В этом случае студент самостоятельно проходит верификацию личности и сам экзамен, но его поведение в ходе экзамена и все его действия на камере и на компьютере записываются. Затем проктор просматривает видеозаписи и оценивает степень доверия к полученным на экзамене результатам.
Оба этих варианта вполне рабочие, позволяют повысить уровень доверия к результатам экзаменов и защититься от подмены личности. Но у них есть и ряд недостатков:
Устранить эти недостатки, сократить расходы на сопровождение онлайн-экзаменов и повысить скорость обработки результатов позволяет автоматизация функций прокторинга. Частичная автоматизация призвана помочь проктору в обработке большого числа экзаменов, указывая моменты, вызывающие наибольшее подозрение или требующие внимания проктора. Она позволяет ускорить работу прокторов и, как следствие, сократить их количество. Полная автоматизация позволяет совсем исключить прокторов при сопровождении экзаменов, но на данном этапе развития технологий этот вариант все еще не дотягивает по качеству до уровня работы человека. Несмотря на то, что точность работы полностью автоматизированной системы может оказаться ниже, чем при участии проктора, в отдельных случаях этот вариант вполне оправдан, особенно когда при выборе соотношения цена/качество перевес идет в сторону необходимости сокращения стоимости и увеличения скорости работы.
Система прокторинга технически сложна в реализации, поэтому она не является частью большинства платформ онлайн-обучения. Разрабатываемые отдельно системы прокторинга интегрируется с такими платформами, добавляя в них недостающий функционал.
Чего же удалось добиться? Был разработан сценарий прохождения экзамена на платформах онлайн-обучения, который не требует непосредственного участия проктора, однако не исключает пассивного наблюдения и даже вмешательства в процесс (в текстовом, аудио- и видеоформате). Сначала этот сценарий был длинным и содержал не менее девяти этапов взаимодействия студента (слушателя курсов) с платформой онлайн-обучения и системой прокторинга. Только чтобы начать экзамен надо было выполнить вручную не менее четырех этапов в системе прокторинга: проверка связи, фотография лица, фотография документа, верификация личности проктором. Помимо этого, требовалось поочередно взаимодействовать как с системой онлайн-обучения, так и с системой прокторинга. Все это напоминало квест, который нужно проходить каждому студенту, и вызывало немало вопросов к организаторам.
Постепенно этот путь сокращался за счет автоматизации отдельных этапов и изменения способа интеграции с платформами онлайн-обучения. Сейчас сценарий прохождения экзамена для студента выглядит следующим образом: студент заходит на сайт системы онлайн-обучения, начинает экзамен, проходит экзамен в любой форме (тест, задание, виртуальная лаборатория и пр.), завершает экзамен и получает результат. Иначе говоря, для студента сценарий прохождения экзамена в системе онлайн-обучения не изменяется, а система прокторинга автоматически подключается в момент начала экзамена, наблюдает за студентом на протяжении всего экзамена и заканчивает свою работу в момент завершения экзамена. Это выглядит просто, вся сложность скрыта от студента.
Встраивание функций прокторинга в сценарий прохождения экзамена системы онлайн-обучения (LMS)
Более подробно про каждый этап:
Хочется еще раз отметить, что, в данном случае, процедура прокторинга почти никак не изменяет сценарий прохождения экзамена для студента, все функции работают в фоновом режиме без необходимости вмешательства со стороны студента. От студента потребуется лишь дать доступ к веб-камере и микрофону в браузере при первом взаимодействии с системой.
Теперь хочется более подробно рассказать, как работает подсистема обнаружения нечестного поведения во время экзамена.
Структура подсистемы автоматического обнаружения нечестного поведения
На протяжении всего экзамена автоматически собираются данные по динамическим показателям, включая отслеживание действий на компьютере, детекцию лиц и голоса, биометрию. Собранные данные анализируются и обрабатываются, после чего формируется автоматическая оценка качества прохождения экзамена от 0 до 100%. На основании сформированной оценки может быть автоматически выставлено заключение по сеансу с учетом заранее заданных критериев.
Основной акцент делается на том, что для прохождения экзамена не требуется какое-то специальное оборудование, помимо того, что и так обычно есть: веб-камера, микрофон, клавиатура, экран. Собираются данные по следующим событиям:
Автоматическая оценка качества прохождения экзамена рассчитывается по следующей формуле:
,
где N — число минут в экзамене, x1, x2, … xk — данные оцениваемых параметров в процентах, E — оценка качества прохождения экзамена в процентах. Функция f(x) описывает метод выбора наиболее значимых событий. Примеры функций f(x):
Таким образом оценка показывает усредненный процент наиболее значимых зафиксированных событий за весь экзамен, начиная с момента начала студентом экзамена и до момента завершения экзамена. Если процент событий за минуту превышает некоторое пороговое значение, то фиксируется нарушение.
А вот видео, демонстрирующее работу подсистемы отслеживания событий:
Каждый пройденный экзамен по процедуре прокторинга включает в себя автоматическую оценку от 0 до 100%, фотографию лица студента и интерактивный протокол, который содержит видеозапись с веб-камеры и экрана (опционально), поминутную детализацию зафиксированных событий и другие данные экзамена.
Сохраняемая информация не содержит персональных данных, во время экзамена не требуется показывать в камеру документы, а сохраняемые фотографии лиц не соответствуют ГОСТ Р ИСО/МЭК 19794-5-2006, поэтому не могут считаться биометрическими данными.
При выдаче сертификатов, свидетельств, дипломов осуществляется верификация личности только тех студентов, которые успешно дошли до конца программы обучения, тем самым сокращается общий объем работы. Для подтверждения личности студента учебное заведение может запросить необходимые данные у своего студента, а затем для каждого экзамена сравнить сохраненные системой прокторинга фотографии лица с фотографией в удостоверяющем личность документе. Процедуру сравнения фотографии лица на документах еще предстоит автоматизировать.
Резюмируя, хочется добавить, что вслед за дистанционным обучением развиваются технологии дистанционной сдачи экзаменов с подтверждением личности и подтверждением результатов таких экзаменов. Хочется, чтобы наша страна развивала образовательные технологии и могла составить конкуренцию зарубежным мировым лидерам. Работы предстоит еще много.
В России до сих пор слово прокторинг мало кому знакомо. Нет четкого представления о функциях этого формата и о способах его организации. В классическом понимании прокторинг — это процедура дистанционного сопровождения онлайн-экзаменов и верификации личности испытуемого с целью повысить уровень доверия к результатам, когда за ходом сдачи экзамена следит удаленный наблюдатель (проктор).
Безусловно, наличие квалифицированного наблюдателя заметно улучшает ситуацию. Проктор может проверить личность студента, следить через веб-камеру за процедурой онлайн-тестирования. Однако, как я покажу далее, формат классического прокторинга имеет ряд ограничений. Последним словом в сфере онлайн-экзаменов является разработка систем частичной или полной автоматизации функций проктора. Автоматизация позволяет не только помочь живому наблюдателю и повысить эффективность его работы, но даже в некоторых случаях заменить проктора.
Я занимаюсь разработкой и внедрением автоматизированной системы дистанционного сопровождения онлайн-экзаменов в компании ProctorEdu. Система позволяет частично или полностью автоматизировать функции прокторинга и может быть интегрирована с другими системами, такими как платформы онлайн-обучения. За последний год удалось значительно продвинуться в этой сфере и накопить кое-какой опыт, которым и хочется поделиться.
Сперва рассмотрим подробнее классическую схему, когда за процедурой удаленной сдачи экзамена в режиме онлайн наблюдает проктор. Обычно проктор может одновременно сопровождать до девяти студентов. В обязанности проктора входит:
- Подтверждение личности испытуемого – обычно это визуальная сверка лица человека с фотографией на удостоверяющем личность документе, который студент показывает в веб-камеру;
- Наблюдение за студентом на протяжении всего экзамена и отслеживание возможных нарушений правил прохождения экзамена, попыток списывания или другого нечестного поведения.
Такой вариант прокторинга обычно называют синхронным, т.к. проктор и студент находятся онлайн в один момент времени. Другой вариант – асинхронный прокторинг. В этом случае студент самостоятельно проходит верификацию личности и сам экзамен, но его поведение в ходе экзамена и все его действия на камере и на компьютере записываются. Затем проктор просматривает видеозаписи и оценивает степень доверия к полученным на экзамене результатам.
Оба этих варианта вполне рабочие, позволяют повысить уровень доверия к результатам экзаменов и защититься от подмены личности. Но у них есть и ряд недостатков:
- производительность (масштабируемость) напрямую зависит от числа прокторов, которые будут находиться онлайн или просматривать видеозаписи;
- задержка по времени при оценивании экзамена в случае асинхронного прокторига, нужно время на просмотр видеозаписей;
- стоимость часа работы проктора относительно высокая, чем больше экзаменов, тем больше прокторов нужно привлекать к работе;
- сложность организации работы большого числа прокторов;
- человеческий фактор – недобросовестность или необязательность проктора может сказаться на качестве.
Устранить эти недостатки, сократить расходы на сопровождение онлайн-экзаменов и повысить скорость обработки результатов позволяет автоматизация функций прокторинга. Частичная автоматизация призвана помочь проктору в обработке большого числа экзаменов, указывая моменты, вызывающие наибольшее подозрение или требующие внимания проктора. Она позволяет ускорить работу прокторов и, как следствие, сократить их количество. Полная автоматизация позволяет совсем исключить прокторов при сопровождении экзаменов, но на данном этапе развития технологий этот вариант все еще не дотягивает по качеству до уровня работы человека. Несмотря на то, что точность работы полностью автоматизированной системы может оказаться ниже, чем при участии проктора, в отдельных случаях этот вариант вполне оправдан, особенно когда при выборе соотношения цена/качество перевес идет в сторону необходимости сокращения стоимости и увеличения скорости работы.
Система прокторинга технически сложна в реализации, поэтому она не является частью большинства платформ онлайн-обучения. Разрабатываемые отдельно системы прокторинга интегрируется с такими платформами, добавляя в них недостающий функционал.
Чего же удалось добиться? Был разработан сценарий прохождения экзамена на платформах онлайн-обучения, который не требует непосредственного участия проктора, однако не исключает пассивного наблюдения и даже вмешательства в процесс (в текстовом, аудио- и видеоформате). Сначала этот сценарий был длинным и содержал не менее девяти этапов взаимодействия студента (слушателя курсов) с платформой онлайн-обучения и системой прокторинга. Только чтобы начать экзамен надо было выполнить вручную не менее четырех этапов в системе прокторинга: проверка связи, фотография лица, фотография документа, верификация личности проктором. Помимо этого, требовалось поочередно взаимодействовать как с системой онлайн-обучения, так и с системой прокторинга. Все это напоминало квест, который нужно проходить каждому студенту, и вызывало немало вопросов к организаторам.
Постепенно этот путь сокращался за счет автоматизации отдельных этапов и изменения способа интеграции с платформами онлайн-обучения. Сейчас сценарий прохождения экзамена для студента выглядит следующим образом: студент заходит на сайт системы онлайн-обучения, начинает экзамен, проходит экзамен в любой форме (тест, задание, виртуальная лаборатория и пр.), завершает экзамен и получает результат. Иначе говоря, для студента сценарий прохождения экзамена в системе онлайн-обучения не изменяется, а система прокторинга автоматически подключается в момент начала экзамена, наблюдает за студентом на протяжении всего экзамена и заканчивает свою работу в момент завершения экзамена. Это выглядит просто, вся сложность скрыта от студента.
Встраивание функций прокторинга в сценарий прохождения экзамена системы онлайн-обучения (LMS)
Более подробно про каждый этап:
- Экзамен, который студент открывает в LMS, автоматически регистрируется в системе прокторинга и связывается с учетной записью этого студента в LMS. Поскольку студент уже авторизован в LMS, то авторизация в системе прокторинга происходит автоматически по токену незаметно для студента.
- Перед началом экзамена компьютер и сеть пользователя автоматически проверяются на соответствие минимальным системным требованиям. Процедура занимает несколько секунд, если проблем не обнаружено, то этап проходит незаметно для студента. В первый раз у студента запрашивается разрешение на доступ к веб-камере и микрофону.
- После проверки связи запускается фоновое наблюдение за студентом, осуществляется непрерывный сбор и анализ данных. В случае обнаружения отклонений в поведении студента от нормы, может выдаваться соответствующее уведомление, чтобы студент мог исправиться.
- В первую минуту экзамена происходит обучение подсистемы непрерывной верификации личности по лицу, используя методы распознавания лиц. После этого система автоматически следит за лицом студента, чтобы отслеживать факт подмены личности за компьютером во время экзамена. В дополнение к этому осуществляется верификация личности по клавиатурному почерку. Алгоритм работает таким образом, что обучается на наборе первых 100 символов, а затем дообучается на новых данных. Этот способ верификации может использоваться в заданиях, где в качестве ответа требуется ввод текста, например, в заданиях по программированию. Ввод текста может осуществляться на любом языке, алгоритм не учитывает язык ввода.
- После обучения подсистемы верификации личности по лицу, которая проходит в первую минуту экзамена, сохраняется фотография лица студента и привязывается к текущему экзамену. Алгоритм сам выбирает наилучшую фотографию из видеопотока, что позволяет получать всегда наиболее качественную фотографию лица без непосредственного участия студента.
- После завершения экзамена результаты становятся доступны сразу после обработки в течении нескольких минут.
Хочется еще раз отметить, что, в данном случае, процедура прокторинга почти никак не изменяет сценарий прохождения экзамена для студента, все функции работают в фоновом режиме без необходимости вмешательства со стороны студента. От студента потребуется лишь дать доступ к веб-камере и микрофону в браузере при первом взаимодействии с системой.
Теперь хочется более подробно рассказать, как работает подсистема обнаружения нечестного поведения во время экзамена.
Структура подсистемы автоматического обнаружения нечестного поведения
На протяжении всего экзамена автоматически собираются данные по динамическим показателям, включая отслеживание действий на компьютере, детекцию лиц и голоса, биометрию. Собранные данные анализируются и обрабатываются, после чего формируется автоматическая оценка качества прохождения экзамена от 0 до 100%. На основании сформированной оценки может быть автоматически выставлено заключение по сеансу с учетом заранее заданных критериев.
Основной акцент делается на том, что для прохождения экзамена не требуется какое-то специальное оборудование, помимо того, что и так обычно есть: веб-камера, микрофон, клавиатура, экран. Собираются данные по следующим событиям:
- переключен фокус на стороннее приложение или вкладку (b1);
- страница экзамена не развернута на весь экран (b2);
- нет лица перед камерой (с1);
- посторонние лица перед камерой (с2);
- неопознанное лицо перед камерой (c3);
- отключен микрофон или низкая громкость (m1);
- разговор или шум на фоне (m2);
- клавиатурный почерк не опознан (k1);
- студента нет в сеансе (n1).
Автоматическая оценка качества прохождения экзамена рассчитывается по следующей формуле:
,где N — число минут в экзамене, x1, x2, … xk — данные оцениваемых параметров в процентах, E — оценка качества прохождения экзамена в процентах. Функция f(x) описывает метод выбора наиболее значимых событий. Примеры функций f(x):
- максимальный процент по событиям:
; - средний взвешенный процент по событиям:
.
;
.Таким образом оценка показывает усредненный процент наиболее значимых зафиксированных событий за весь экзамен, начиная с момента начала студентом экзамена и до момента завершения экзамена. Если процент событий за минуту превышает некоторое пороговое значение, то фиксируется нарушение.
А вот видео, демонстрирующее работу подсистемы отслеживания событий:
Каждый пройденный экзамен по процедуре прокторинга включает в себя автоматическую оценку от 0 до 100%, фотографию лица студента и интерактивный протокол, который содержит видеозапись с веб-камеры и экрана (опционально), поминутную детализацию зафиксированных событий и другие данные экзамена.
Сохраняемая информация не содержит персональных данных, во время экзамена не требуется показывать в камеру документы, а сохраняемые фотографии лиц не соответствуют ГОСТ Р ИСО/МЭК 19794-5-2006, поэтому не могут считаться биометрическими данными.
При выдаче сертификатов, свидетельств, дипломов осуществляется верификация личности только тех студентов, которые успешно дошли до конца программы обучения, тем самым сокращается общий объем работы. Для подтверждения личности студента учебное заведение может запросить необходимые данные у своего студента, а затем для каждого экзамена сравнить сохраненные системой прокторинга фотографии лица с фотографией в удостоверяющем личность документе. Процедуру сравнения фотографии лица на документах еще предстоит автоматизировать.
Резюмируя, хочется добавить, что вслед за дистанционным обучением развиваются технологии дистанционной сдачи экзаменов с подтверждением личности и подтверждением результатов таких экзаменов. Хочется, чтобы наша страна развивала образовательные технологии и могла составить конкуренцию зарубежным мировым лидерам. Работы предстоит еще много.