Научная электронная библиотека

Монографии, изданные в издательстве Российской Академии Естествознания

ПОСТРОЕНИЕ ИНФОРМАЦИОННЫХ СИСТЕМ НЕПРЕРЫВНОГО ОБРАЗОВАНИЯ НА ОСНОВЕ ИНТЕРНЕТ-ТЕХНОЛОГИЙ

Дьяченко А. В., Манжула В. Г., Попов А. Э., Семенихин И. Н., Толстобров А. П.,

1.5 Организационные решения по реализации необходимых требований и условий к процедуре контроля знаний и тестирования

Одним из важнейших вопросов построения распределенных образова­тельных систем является задача объективной оценки результатов обучения. Следует отметить, что данная проблема многогранна и единого мнения по ее решению нет. В частности, весьма распространено мнение, что тестируемый будет использовать любую незаконную возможность для получения более высокого результата. Это далеко не всегда так, особенно в случае дополни­тельного образования, когда наличие формального документа менее важно для слушателя, чем полученные знания. Более того, слушатель, самостоя­тельно оплачивающий свое обучение, заинтересован как раз в объективной оценке своих промежуточных результатов. В то же время, можно привести множество примеров обратной мотивации обучаемого. Наиболее универ­сальным представляется подход, обеспечивающий выполнение для всех ис­пытуемых принципа равенства требований и условий процедуры проведения тестирования. В этом случае слушатель принимает на себя ответственность за объективность оценки его знаний и сознательно принимает решение о возможности искажения результатов.

Для случая высшего образования в нынешних условиях, когда значение формального диплома для студента гораздо выше значения его реальных знаний, необходимо разработать ряд мер, позволяющих обеспечить объек­тивность оценки. Следует заметить, что чисто технические или программные меры сами по себе не в состоянии гарантировать этого. Необходимыми усло­виями является также использование комплекса организационных мероприя­тий, направленных на исключение всякого рода факторов, дающих возмож­ность испытуемым использовать при выполнении теста какие-либо иные ис­точники информации и средства, помимо собственных знаний. Обычно ре­шение этой задачи включает в себя контроль над действиями испытуемых и пресечение возможных с их стороны попыток, нарушающих установленную процедуру тестирования, реализуемые проводящим тестирование преподава­телем или иным уполномоченным на это ответственным лицом.

Если речь идет об использовании тестовых технологий для контроля уровня подготовки учащихся при традиционных очных формах обучения, непосредственно в самом вузе, то эта задача организационно решается доста­точно просто также как и при использовании традиционных способов прове­дения контрольных и экзаменационных мероприятий.

Значительно сложнее с этим обстоит дело при дистанционных техноло­гиях обучения, когда преподаватели и обучаемый контингент взаимодейст­вуют в пространстве образовательного процесса с помощью образовательно­го портала через Интернет, находясь в географически удаленных друг от дру­га точках. Привычное решение, когда обязанность обеспечения корректной процедуры контроля знаний возлагается на ведущего обучение преподавателя, здесь уже не может работать. Преподаватели и учебный персонал вуза не в состоянии лично осуществлять при проведении тестирования адекватный контроль действий испытуемых по соблюдению процедуры тестирования, что принципиально делает невозможным использование получаемых при тестировании баллов в качестве объективной оценки знаний испытуемых.

Решение этой проблемы является актуальной и очень не простой зада­чей, и представляется интересным рассмотрение имеющегося мирового опы­та ее решения, например, опыта обеспечения профессиональной сертифика­ции специалистов, осуществляемой ведущими вендорами IT-сферы по при­менению своих продуктов. Ведущие мировые IT-компании, Oracle, Microsoft, IBM, Cisco, Sun и многие другие, уделяют очень большое внимание обуче­нию, переподготовке и сертификации специалистов по предлагаемым ими на рынке продуктам и технологиям. Этими компаниями разработано огромное число авторизованных учебных курсов, посвященных вопросам использова­ния своих продуктов и технологий, и тестов, обеспечивающих возможность проверки соответствия подготовки лиц, прошедших обучение по этим кур­сам, требуемому уровню. При этом, однако, сами эти компании практической реализацией процедур проверки уровня подготовки соискателей профессио­нальных сертификатов не занимаются. Тем не менее, получаемые сертифика­ты пользуются в мире всеобщим признанием, объективным подтверждением действительного уровня профессиональной подготовки.

Экзаменационные процедуры с использованием тестовых технологий реализуются уже другой системой - сетью так называемых Авторизованных Центров Тестирования, представляющих специализированные компании, суть бизнеса которых состоит именно в обеспечении реализации процедуры тестирования, обеспечивающей легитимность ее результатов. Крупнейшие мировые IT-вендоры, как правило, доверяют проведение экзаменов по своим тестам одной из двух известных компаний такого рода - Prometric и Pearson VUE, реализующих процедуры тестирования через обширную сеть своих Центров, распределенных по всему миру, в том числе и в нашей стране. Эти Центры фактически решают задачу независимой дистанционной, отделенной от владельца теста проверки уровня подготовленности испытуемых. Надеж­ность реализуемой ими экзаменационной процедуры обеспечивает авторитет и мировое признание выдаваемых по результатам экзаменов профессиональ­ных сертификатов. Эта надежность обеспечивается комплексом весьма жестких требований, предъявляемых компаниями Prometric (http://www.prometric.com/) и Pearson VUE (http://www.vue.com/) к своим Цен­трам тестирования, и системой контроля их деятельности.

Приведем выдержки из требований Prometric к своим Центрам тести­рования.

Prometric осуществляет бизнес в области разработки и администриро­вания компьютеризированных заданий для различных академических и про­фессиональных, корпоративных и ИТ клиентов. Для этого, Prometric осуще­ствляет управление сетью компьютеризированных центров тестирования во всем мире, предназначенных для проведения таких тестов.

Авторизованный центр тестирования (ATPC) Prometric, это то место, где предоставляется услуга проведения тестов под маркой «Авторизованный Prometric Центр Тестирования». Этот центр выполняет свои функции соглас­но контракту. Услугами центра является планирование, проведение и управ­ление всеми тестами, предлагаемыми и предоставляемыми кандидатам через АТРС, а также оценка и другие процедуры, выполняемые по требованию Prometric.

Администратор центра тестирования это персона, которая специально обучена для управления тестами и работе на программным обеспечением Prometric, удовлетворяющая требованиям Prometric, предъявляемым к адми­нистраторам центра тестирования. Prometric осуществляет программу подго­товки, сертификации и переобучения работников АРТС, которые будут нести ответственность за функционирование АРТС, удовлетворяя стандартам, предъявляемым к данным услугам со стороны Prometric или тестирующего клиента. Эти персоны сертифицируются в Prometric, как сертифицированные АРТС администраторы и несут главную ответственность за работу центра, а также обучение других работников центра. Администратор должен прохо­дить пересертификацию каждый год.

АРТС обязан обеспечить условия, удобные для кандидатов (включая инвалидов) и обеспечивающие безопасность тестирования, как это определе­но в Руководстве Prometric. Комната, в которой проводится тестирование («Лаборатория») должна удовлетворять следующим требованиям:

• Это должна быть замыкаемая не проходная комната.
• Лаборатория должна иметь окно наблюдения и/или камеры посто­янного наблюдения через монитор за всеми кандидатами.
• Комната администратора должна находиться отдельно от Лаборато­рии. Администратор не должен располагаться в Лаборатории.
• Рабочие станции должны размещаться таким образом, чтобы канди­даты не могли видеть экраны друг друга, для этого должны устано­вить перегородки.
• В Лаборатории не должно быть никаких полок и шкафчиков, дос­тупных кандидатам.
• Кроме того, необходимо придерживаться следующих важных про­цедур обеспечения безопасности.
• АРТС должен содержать в штате, по крайней мере, одного сертифи­цированного администратора. Если центр проводит тест для болеечем 10-ти кандидатов одновременно, то должны присутствовать ми­нимум два администратора.
• АРТС должен обеспечить конфиденциальность содержания тестов изащищать материалы от копирования.
• Файловый сервер должен находиться в защищенном месте, вне Ла­боратории и доступен только сотрудникам управления центром.
• АРТС должен обеспечить сохранность персональных вещей канди­датов, которые не разрешается вносить в Лабораторию, (кошельки, дипломаты, мобильники, пейджеры, электронные записные книжки и т.п.).
• АРТС обязуется принимать любые дополнительные меры безопас­ности по инструкции Prometric или тестирующих клиентов.
• АРТС обязуется известить Prometric о любых брешах, обнаружен­ных в системе безопасности.
• АРТС обязуется не давать никаких гарантий прохождения теста исертификации кандидатов.
• Prometric предъявляет следующие требования к администраторуАРТС:
• Должен быть старше 18 лет.
• Не должен допускать к экзаменам или администрировать экзамендля своих родственников и членов семьи.
• Должен соблюдать процедуру, установленную Prometric для всехкандидатов, включая работников АРТС.
• Не должен иметь на данный момент какой-либо ИТ сертификат, недолжен обучаться в классах ИТ сертификации в течении последних2 лет. Кроме того, не должен подавать на ИТ сертификацию, покаработает администратором АРТС.
• Не должен помогать кандидатам, разглашая вопросы тестов, вклю­чая, например, такие методы как: копирование, фотографирование,печать экрана, цифровая передача, рукописная передача, аудио ивидео запись, любые электронные средства и технологии, или про­сто пересказывая словами.
• Не должен предоставлять возможность тестирования любому кан­дидату не прошедшему стандартный процесс регистрации вPrometric.

Prometric имеет право на проведение технического и финансового ау­дита APTC. Prometric и каждый тестовый клиент (компания по тестам кото­рой проводятся экзамены в APTC) резервируют право послать наблюдателя в APTC с надлежащей идентификацией путем фотографирования наблюдений (мониторинга) сеансов обучения персонала APTC, администрирования про­цедуры тестирования, периодов пред- и пост- тестирования, проверять меры безопасности APTC. Prometric также резервирует право послать к APTC не­зависимого наблюдателя, действующего видом Кандидата, для того чтобы наблюдать администрирование тестированием, пред- и постпериодов тести­рования, и проверять меры безопасности, в любое время в течение срока со­глашения Prometric с APTC.

Prometric может расторгнуть соглашение с Оператором APTC в случае любых действий, вызывающих неустранимое бросание тени на репутацию Prometric, репутацию любого клиента-лицензиара Prometric, или тестируемо­го кандидата, включая, создание или публикацию замечаний или инструкций, отличных от Prometric, и других APTC-центров, которые являются критиче­скими или унижающими любой элемент отношений между Оператором и Prometric, а также в случаях любого фактического или потенциального на­рушения секретности или проведения тестирования, определенное Prometric по собственному усмотрению, которое может приводить к любой потере це­лостности программ тестовых клиентов, тестовым данным, результатам тес­тирования, или любой части Системы Тестирования Prometric, или других конфиденциальных или частных вопросов.

Приведенные выше требования Prometric к своим центрам тестирова­ния, в большой степени совпадающие с требованиями компании Pearson VUE и других компаний, занимающихся аналогичным бизнесом, большой практический опыт функционирования такого рода центров, наконец, отече­ственный опыт развертывания Пунктов приема Единого государственного экзамена (ЕГЭ), показывают принципиальную возможность обеспечения объективной оценки уровня подготовки лиц, обучаемых дистанционно, вне стен реализующего процесс обучения образовательного учреждения, и при отсутствии очного, аудиторного общения обучаемых с ведущими учебный процесс преподавателями.

Суть этого решения состоит в том, что ведущему дистанционный учеб­ный процесс образовательному учреждению необходимо иметь в населенном пункте проживания удаленного контингента его студентов некий центр, с ко­торым устанавливается степень доверительности, позволяющая использовать результаты дистанционного тестирования в качестве базы для объективного оценивания обучаемых. Юридическое оформление гарантий необходимой степени такой доверительности осуществляется путем оформления соглаше­ния между образовательным учреждением и Оператором, осуществляющим тестирование, которое определяет требования к техническому обеспечению и регламентам процедуры тестирования, а также к системе контроля коррект­ности их исполнения. Очевидно, что организация такого рода центра требует определенных материальных затрат со стороны вуза, ведущего дистанцион­ный образовательный процесс. Тем не менее, учитывая иной, в отличие от приведенного выше примера центров Prometric, масштаб деятельности, за­траты могут быть снижены за счет реализации приведенного в примере ком­плекса условий не в полной мере, а в допустимом разумном объеме, опреде­ляемом реальной ситуацией. То, что к персоналу центра не предъявляется никаких требований, касающихся владения предметом учебных дисциплин, по которым может производиться тестирование, также упрощает организа­цию тестового центра и подбор его персонала. В современных условиях та­кой центр может быть развернут, к примеру, даже на базе типового имеюще­го доступ в Интернет школьного компьютерного класса, при соответствую­щем, естественно, его техническом дооснащении, например, средствами ви­деонаблюдения, и дооборудовании рабочих мест. Во всяком случае, органи­зация и содержание такого центра является существенно более простой зада­чей, чем организация филиала или представительства вуза, ведущих учебный процесс вне головного вуза, и является, на наш взгляд, вполне реальной зада­чей, позволяющей обеспечить важную составляющую распределенной сис­темы непрерывного образования - объективный дистанционный контроль уровня усвоения изучаемого материала, проходящими обучение лицами.