Может ли прокторинг отследить что экран транслируется
Что такое система прокторинга и как её обойти
Пандемия показала, что система отечественного образования срочно нуждается в модернизации, а также готовности перейти на онлайн-формат. При этом одни вузы более готовы к ней, другие – менее.
О новостях из жизни разных вузах вы можете читать на нашем телеграм-канале, который постоянно пополняется новостями. А в группе время от времени раздают бонусы и скидки студентам.
Одним из новейших решений стала система прокторинга. О том, что это такое, как оно работает и когда применяется – расскажем далее.
Что такое прокторинг и почему с ним лучше
Личный контакт с преподавателем (особенно на экзамене) многих пугает, как и ожидание перед дверью, тишина и зоркое внимание экзаменатора за каждым движением. Стоило преподавателю просто заподозрить обман. Он мог выставить студента для пересдачи. Это вносило оттенок субъективности.
С онлайн-прокторингом все стало объективнее и проще.
Прокторинг – система контроля на онлайн-экзамене/тестировании. Контроль осуществляет проктор – администратор, который наблюдает за процессом через веб-камеру.
Онлайн-прокторинг позволяет подтвердить личность учащегося, исключить использование шпаргалок и помочь преподавателю объективно оценить знания.
Система появилась в Америке еще в 2008 году
Сегодня технологии прокторинга сильно развиты. Есть 3 вида отслеживания онлайн-тестирования:
Вуз может использовать синхронный прокторинг с помощью программы «Экзамус» (или другой, синхронный с участием проктора) и асинхронный прокторинг (система ведет запись всего процесса с фиксацией нарушений без прерывания экзамена, а запись потом проверяют специальные люди).
Как проходит экзамен во время прокторинга
Экзамен в системе прокторинга можно пройти в любом месте, где есть надежный интернет и веб-камера.
Учащемуся нужно заранее установить на свой компьютер специализированное ПО, которая будет записывать экран.
Процедура выглядит следующим образом:
Что запрещено делать во время прокторинга
Есть четкий порядок действий, которые можно совершать во время экзамена в системе прокторинга. Например, можно пользоваться рукописным конспектом, звонить проктору, если возникли технические проблемы (пропал интернет, отключили свет и т.д.).
А вот чего делать нельзя:
Если проктор обнаружит хотя бы одно нарушение, он зафиксирует все и передаст замечания преподавателю. Если студент совершает сразу несколько грубых нарушений или не реагирует на замечания проктора, экзамен можно прервать или даже аннулировать.
Где можно использовать прокторинг
Эта система, ставшая популярной в сфере образования из-за пандемии, может быть полезной и в следующих сферах:
Советы по подготовке к экзамену в системе прокторинга
Если вы раньше никогда не проходили экзамен с прокторингом, вот несколько советов, которые помогут пройти испытание без лишней нервотрепки и проблем:
Как обойти прокторинг на экзамене
Лучше не искать способы, как обмануть прокторинг. Если у проктора возникнут подозрения, он может досрочно завершить экзамен.
Но некоторых это не пугает. Студенты умудряются подключаться по микронаушнику задолго до начала экзамена. Таким образом можно надиктовать своему помощнику на том конце провода вопрос и прослушать ответ.
Особенно продвинутые качают программы демонстрации экрана. И к моменту начала экзамена помощник студента уже видит по экрану все то же, что видит сам студент. И по тому же микронаушнику получает правильный ответ.
Разработчики не рассказывают о том, какие технологии используют в системе онлайн-прокторинга. Это не только коммерческая тайна, но и способ не дать студентам разобраться в них, чтобы потом искать методы обхода.
С первого взгляда может показаться, что система прокторинга в электронном обучении слишком строга. На самом деле сдать в ней экзамен гораздо проще, чем у преподавателя. Здесь напрочь отсутствует субъективное отношение, человеческий фактор в виде плохого настроения/самочувствия преподавателя. Можно надеяться только на свои знания.
Впрочем, в любом случае у вас всегда будет надежная поддержка в виде сервиса студенческой помощи.
Наталья – контент-маркетолог и блогер, но все это не мешает ей оставаться адекватным человеком. Верит во все цвета радуги и не верит в теорию всемирного заговора. Увлекается «нейрохиромантией» и тайно мечтает воссоздать дома Александрийскую библиотеку.
Студенты научились обманывать современные технологии прокторинга (1 фото)
Студенты используют кабели HDMI и скрытые телефоны, чтобы обмануть экзамены, проводимые с помощью программного обеспечения для контроля, такого как Proctorio.
Так как пандемия COVID-19 продолжает свирепствовать по всему миру и быстрого конца дистанционному обучению не видно, многие студенты сдают экзамены под наблюдением программного обеспечения для контроля, такого как Proctorio. Оно контролирует студентов с помощью алгоритмических систем, которые, среди прочего, отслеживают движения глаз, нажатия на клавиатуру и аудиовходы.
Университеты иногда выкладывают тысячи долларов за экзамен с Proctorio, что, по крайней мере, помогает создать впечатление сохранения академической честности во время дистанционного обучения. Но у некоторых студентов использование Proctorio и других онлайн-сервисов по контролю вызывает агрессию и беспокойство, подвергая их и их окружение необоснованному наблюдению, от которого трудно отказаться без отрицательного воздействия на учебу.
Тем не менее, несмотря на то, что популярные онлайн-платформы для прокторинга, такие как Proctorio, заявляют, что используют «самые современные технологии» и «каждый раз обеспечивают полную учебную целостность каждой оценки», студенты всё равно жульничают на экзаменах.
Издание Motherboard поговорило с 10 студентами университетов из разных стран, которые утверждали, что жульничали на экзаменах, на которых применялось Proctorio.
Мотивы и методы студентов были разными, но есть один общий знаменатель: никого из них не поймали
Относительная легкость, с которой студенты обманывали, и тот факт, что каждый студент мог указать на нескольких сверстников, которые сделали то же самое (по оценкам одного американского студента, 90% его группы жульничали), поднимают вопрос о том, насколько на самом деле эффективно программное обеспечение для онлайн-контроля, такое как Proctorio — и стоит ли оно огромной цены или вторжения в частную жизнь.
«Очевидно, что с Proctorio вам нужно показать себя и свою комнату с помощью веб-камеры компьютера, — сказала Motherboard одна голландская студентка, которая помогла другу жульничать на экзамене с несколькими вариантами ответов. — Мой друг положил телефон на подставку на клавиатуре, чтобы его не было видно во время осмотра комнаты и стола».
«Затем он был со мной на связи по FaceTime, — продолжила она. — Телефон был под наклоном, так что он мог видеть меня, а я могла видеть экзамен. Затем я просто показывала карточку с буквами a, b, c или d».
Другой французский студент использовал 10-метровый кабель HDMI, который шел от его ноутбука к экрану телевизора в другой комнате, который повторял изображение на экране ноутбука. Затем его друг просматривал ответы на экзамен и отправлял их через WhatsApp на телефон, который также находился на клавиатуре и не попадал в поле зрения веб-камеры.
«Сработало идеально и я получил хорошую оценку», — сказал он.
Другие студенты использовали менее сложные методы, например, один итальянский студент, который написал шпаргалки карандашом на своем ноутбуке, и бразильский студент, разложивший листы шпаргалок на полу.
«На одном экзамене я просто распечатал свои шпаргалки крупным шрифтом и приклеил их к стене перед собой, чтобы их не было видно, — смеясь, сказал один немецкий студент, успешно сдавший несколько экзаменов. — Я просто осматривал комнату, как будто думал об ответе, а затем смотрел на них».
На экзамене по статистике, допускавшем использование калькуляторов, тот же самый студент прикрепил небольшой листок бумаги за калькулятор, чтобы он был скрыт от глаз во время осмотра стола.
Есть и другие, более технические варианты жульничанья. Тестируемый может передавать аудио или видео через виртуальное устройство, которое можно просто переименовать, чтобы избежать попадания в черный список Proctorio. Этот же трюк с переименованием можно использовать и для запуска Proctorio на виртуальной машине.
Важно отметить, что в случае с Proctorio существует ряд настроек, которые инструкторы могут включать или отключать во время экзаменов, в том числе, будет ли программное обеспечение проверять наличие расширенных экранов и требуется ли сканирование стола. Кроме того, инструкторы могут также устанавливать «значения чувствительности» для ряда действий при просмотре экзамена, включая уровни звука, манипуляции с видео и движения глаз.
Но вопрос о том, действительно ли более высокие значения чувствительности приводят к лучшему выявления мошенничества или просто создают поток ложных срабатываний, остается открытым.
Максимилиан Зайдерер — студент магистратуры, изучающий информатику в Мюнхенском техническом университете на юге Германии. Скептически относясь к эффективности Proctorio и считая программное обеспечение «жутким», он решил подать запрос на доступ субъекта в соответствии с европейским Общим регламентом по защите данных (GDPR), чтобы просмотреть запись своего экзамена — что легко может сделать любой студент, проживающий в Европейском Союзе. Позже сотрудник университета провел Зайдерера через интерфейс Proctorio и его запись экзамена. Он также получил отчет в формате PDF, содержащий кадры и временные метки, в которых Proctorio отмечал «ненормальное» поведение.
«Я хотел посмотреть, как работает Proctorio с точки зрения инструктора, и мне также было любопытно узнать, запечатлел ли он момент, когда я положил снюс [увлажненный табак], — сказал Зайдерер Motherboard. — Я увидел, что это было отмечено, в основном нарушением уровня звука. Когда сотрудник увеличивал чувствительность, было буквально море красных флажков, которые, конечно же, были ложными срабатываниями. Я не могу представить, чтобы кто-то всерьез использовал этот интерфейс».
«На протяжении всего процесса у меня создалось впечатление, что все чувствуют, что должны что-то делать, чтобы гарантировать честность экзаменов, но на самом деле они не верят в это, — продолжил он. — Я разочарован тем, что мой университет платит за такое змеиное масло [ерунду]».
Некоторые студенты, которые говорили с Motherboard, сказали, что факт принуждения к использованию такого программного обеспечения на самом деле увеличил вероятность их жульничанья в качестве акта протеста. Другие сказали, что пандемия COVID-19 заставила их чувствовать себя изолированными и немотивированными к учёбе, но при этом испытывали давление для прохождения тестирования во избежание задержек.
«Корона не лучшим образом ударила по мне и я сбился с пути, — сказал тот же студент, который использовал трюк с кабелем HDMI. — У меня не было мотивации работать, а жизнь была такой испорченной и странной. И, конечно же, был тот факт, что это было своего рода мой посыл Proctorio подальше. Не скажу, что это была основная причина, но определенно её часть».
И хотя Proctorio и другие прокторинговые компании часто представляют свое программное обеспечение как необходимое зло в контексте пандемии, преподаватели утверждают, что есть и другие, более эффективные способы предотвращения академического мошенничества. К примеру, путем корректировки структуры курса, чтобы итоговые оценки основывались на других формах оценивания, таких как среднее значение нескольких промежуточных заданий или open-book exam («экзамен с открытой книгой»), во время которого позволяется использование внешних источников информации. Программное обеспечение для онлайн-прокторинга, безусловно, является простым способом, но это не означает, что этот способ правильный.
Что касается студентов, которые увидели, как легко обмануть экзамены с помощью программного обеспечения для онлайн-прокторинга, то они зачастую не слишком высоко оценивают университеты, которые его используют.
Прокторинг на стероидах, или как контролировать онлайн-экзамены
Недавно ProctorEdu и КРОК запустили систему для контроля онлайн-тестирования на экономическом факультете МГУ. Она помогает наблюдать за студентами, которые сдают экзамен.
Эта система «подсвечивает» нарушения, подсказывает, на кого и на что обратить внимание. В результате один преподаватель может контролировать разом несколько десятков студентов, сидящих у себя дома.
Такой подход к онлайн-обучению, прокторинг, первыми внедрили Coursera и Udemy. Разработчики ProctorEdu задумали собственную систему прокторинга в 2016 году именно для учебных заведений, но вскоре поняли, что она способна решать другие, более серьезные задачи.
В конце концов, многие хотя бы раз в жизни списывали в школе или вузе, и мир до сих пор не рухнул, но в некоторых ситуациях жульничество на экзаменах приводит к серьезным последствиям.
А ведь есть ответственная и опасная работа, где от знания должностных инструкций и техники безопасности зависят жизни людей.
Примеров много: от управления поездом до вахты на буровой платформе в открытом море. Это не говоря об экстремальных ситуациях, когда раздумывать просто некогда и нужны готовые, заученные решения.
Как правило, во всех этих сферах сотрудников регулярно обучают, тестируют и аттестуют, но часто это воспринимается, как формальность. К тому же, при популярных сейчас онлайн-экзаменах контролировать соблюдение правил довольно сложно.
Конечно, можно приставить к каждому участнику по проктору, следящему за соблюдением регламента из объектива веб-камеры, но чтобы всерьез протестировать персонал крупной компании за разумные сроки, потребуется целый взвод наблюдателей.
Разработчики ProctorEdu решают эту проблему при помощи нейронных сетей и нескольких десятков других алгоритмов, которые распознают нарушения по набору настраиваемых параметров.
Как это работает
Во время экзамена ProctorEdu ведет запись с камеры, микрофона и экрана компьютера.
Система отслеживает, кто находится в кадре: сравнивает человека с фотографией, сделанной перед началом тестирования, или со сканом паспорта, загруженного перед экзаменом.
Она проверяет, куда смотрит участник, нет ли в кадре других людей, и не говорит ли кто-то поблизости. Кроме того, ProctorEdu следит за тем, чтобы браузер был развернут на весь экран, детектирует переключение на другие окна и подключение дополнительных мониторов, периодически проверяет состояние сетевого подключения. Система собирает статистику по часто используемым диграфам и с ее помощью отслеживает манеру набора текста на клавиатуре.
Обычно, когда алгоритм фиксирует нарушения, например, теряет человека из виду, система сначала выводит на экран предупреждение. Если участник не реагирует, ProctorEdu приостанавливает тестирование, до тех пор, пока он не исправится. При этом делается отметка о нарушении регламента, к которой можно вернуться позже при просмотре видеозаписи экзамена.
На основе нарушений по формуле рассчитывается рейтинг достоверности результатов экзамена.
E ∈ [0, 100] ‒ оценка доверия (если E
Оценка доверия базируется на всех метриках, которые отслеживает система (если они включены в настройках конкретного экзамена) и весовых коэффициентах, которые подобраны опытным путем. Оценка показывает суммарный средний процент нарушений за весь сеанс.
Протокол сеанса в PDF-формате
ProctorEdu может работать в полностью автоматическом режиме, передавать рейтинг в систему тестирования, которая аннулирует результаты с низким рейтингом достоверности. Но для большей объективности обычно приглашают живого проктора. Он может просматривать записи участников с низким рейтингом доверия уже после экзамена, а может участвовать в нем с самого начала.
В таком сценарии проктор может эффективно контролировать до 30 участников. Ему практически не нужно вмешиваться в ход экзамена. Система сообщает о нарушениях в реальном времени и подсказывает, на кого из подопечных обратить внимание.
Проктор может развернуть видео на весь экран и приглядеться к происходящему, объяснить участнику, что тот делает не так, предупредить о нарушении, приостановить или досрочно завершить экзамен.
Такая технологическая поддержка облегчает работу проктора, ускоряет проведение онлайн-экзаменов и аттестаций и позволяет сохранить высокую достоверность результатов.
Ограничения браузера и детекция лиц
Запись камеры и экрана, распознавание лиц, логирование клавиатуры… Это звучит не секьюрно, поэтому разработчики ProctorEdu сознательно отказались от идеи устанавливать свое ПО на компьютеры участников экзамена.
ProctorEdu работает через браузер при помощи супервизор SDK — JavaScript-библиотеки, в которой реализованы алгоритмы машинного обучения.
SDK не требует установки расширений и плагинов. ProctorEdu интегрируется с сервисом онлайн-тестирования при помощи стандарта IMS LTI или нескольких API-команд. Система запускается на странице тестирования и работает параллельно с ним.
Это удобно для пользователей, и браузер с его политикой безопасности дает независимую гарантию того, что данные собираются только во время экзамена.
Конечно, с таким подходом связаны определенные сложности. Разработчики сами наложили на себя ограничения, с которыми теперь вынуждены жить. Например, у системы нет доступа к оборудованию, процессам, окнам и другим ресурсам компьютера. Поэтому тестирование проходит в той же вкладке, где работает прокторинг. Это позволяет отслеживать переключение фокуса на другие вкладки и окна. Есть и нюансы, связанные с архитектурой и нейросетями.
Распознавание лиц в ProctorEdu реализовано при помощи сверточных нейросетей с использованием OpenCV и Dlib. Они регулярно переобучаются на свежесобранных данных. Для детекции лиц используется отдельная модель.
Разработчики с самого начала планировали запустить эти алгоритмы в браузере. Обычно такие задачи решают при помощи компиляции C++ в WebAssembly (Wasm). Считается, что это хорошая практика.
Чисто теоретически Wasm работает быстрее, чем JavaScript сценарий, но на практике выяснилось, что он медленнее, потребляет больше памяти и процессора, весит больше. Только загрузчик такого кода получается от 10 МБ.
Пришлось разрабатывать на JavaScript в несколько итераций. Первые версии были слабенькими и часто ошибались, но со временем команда ProctorEdu добилась стабильной работы и вывела это решение в продакшн.
Получилось быстро и компактно, но через какое-то время Сколтех пожаловался, что система не видит некоторых студентов. Оказалось, что курсы этого института проходит много чернокожих ребят, которые подключаются прямо из Африки, и алгоритм действительно не всегда их замечает.
За время обучения нейронка видела достаточно людей разных рас и возрастов, никто не ожидал возникновения такой проблемы. В конце концов выяснилось, что сетка здесь ни при чем, а дело в засветке. Африка просто слишком солнечная.
Если за спиной студента окно, или он сидит на ярком солнце в белой с иголочки рубашке, камера выставляет экспозицию по самому светлому участку изображения. Черты лица затемняются, сливаются, и алгоритму не с чем работать. Пришлось добавить рекомендации по освещению в инструкцию для участников экзамена.
Сейчас разработчики планируют перенести в браузер и алгоритм распознавания лиц. Пока что модель великовата (20—30 Мбайт с учетом сжатия), это в то время как все SDK весит около 1 мегабайта. Но здесь стоит постараться и найти решение.
Когда все изображения будут распознаваться в браузере, расходы на хостинг сократятся на добрых 30%. К тому же, на сервер будут передаваться только дескрипторы, по которым нельзя восстановить оригинальное изображение, а фото и документы так и останутся на компьютерах пользователей.
Серверная часть ProctorEdu
Кстати, об архитектуре системы.
Основной компонент ProctorEdu — сервер приложений. Он работает на Node.js и занимается обработкой веб-запросов и веб-сокетных соединений. Сервер приложений связан с базой MongoDB. Там хранятся все данные, не являющиеся бинарными объектами. Для файлов, изображений, записей экзаменов предусмотрено отдельное S3-совместимое объектное хранилище.
Архитектура ProctorEdu включает отдельный сервис под API распознавания лиц и документов, и TURN-сервер для координации WebRTC-подключений между компьютерами участников.
Раньше для видеосвязи использовался медиасервер, через который проходили видеопотоки всех клиентов. Но разработчики быстро поняли, как тяжело приходится онлайн-кинотеатрам: то соединения отваливаются, то данные не передаются, то память переполняется — вечно какие-то сложно диагностируемые проблемы. Когда они перешли на p2p архитектуру, проблемы решились сами собой.
Вся система поддерживает горизонтальное масштабирование. Ее компоненты упакованы в контейнеры. Их можно разбросать по разным физическим серверам и собрать кластерную конфигурацию в режиме мастер-мастер. Тогда нагрузка будет распределяться равномерно.
Обычно ProctorEdu разворачивают на базе одного из российских хостингов, поддерживающих хранение персональных данных, но систему можно запустить и на локальном сервере, как в проекте с МГУ и КРОК.
Требования к железу невысокие: компьютер с восьмиядерным процессором и 8 ГБ оперативной памяти потянет порядка 500 одновременных сессий. Однажды ProctorEdu обслуживала больше 5 тыс. одновременных участников экзамена и понадобилось всего 6 серверов для обработки клиентских запросов.
Можно ли обмануть систему?
Можно, но не так, как это обычно пытаются сделать.
В торговых сетях, где используют ProctorEdu, часто бывает так, что один сотрудник пытается пройти тесты за весь магазин. Порой пользователи подменяют видео с камеры на какую-нибудь видеотрансляцию. Так, однажды разработчики наблюдали, как тесты по технике безопасности на предприятии проходила известная порноактриса.
Был случай, когда один из участников подготовился особенно серьезно: напечатал чужое фото на листе А4, вырезал глаза, привязал резинку и использовал как маску.
Конечно, это все легко детектируется.
Раньше можно было поставить смартфон перед монитором так, что его не было видно с фронтальной камеры. Казалось, что участник постоянно смотрит только на монитор. Теперь ProctorEdu обеспечивает и боковой обзор. К системе подключается вторая камера или тот же смартфон.
Еще можно попробовать списывать при помощи удаленного рабочего стола или виртуальной машины. Отследить их с вкладки браузера практически невозможно. Чтобы закрыть эту возможность, в систему добавили интеграцию с Safe Exam Browser.
Это браузер с открытым исходным кодом, который блокирует компьютер на время экзамена. Он не позволяет использовать удаленный рабочий стол, посторонние программы, а также распознает виртуальные машины.
Конечно, и это не панацея. Если постараться, Safe Exam Browser можно обмануть. Еще можно раздобыть скрытые наушники или аппаратный сплиттер для мониторов. Любой алгоритм можно обойти, вопрос лишь в том, сколько усилий для этого потребуется. ProctorEdu делает так, чтобы было проще выучить, чем смухлевать. И наши клиенты подтверждают, что система успешно справляется с этой задачей.