Научная электронная библиотека

Монографии, изданные в издательстве Российской Академии Естествознания

Международные и национальные рейтинги высших учебных заведений мира. Технические науки.

Левинзон С. В., Царькова Н. В.,

3.3. Сравнительный анализ достоверности используемых рейтингов

Любой сравнительный  анализ рейтингов ВУЗов является процессом  сложным и противоречивым. Наличие многих объектов анализа с многофакторными признаками увеличивает риск "перекосов" в ту или иную сторону. Предпочтение одних факторов и забвение других может привести к результатам, резко изменяющим  истинную картину происходящего. Важно не отходить от основного принципа: сравниваются одинаковые ( или приблизительно одинаковые) признаки, параметры и количественные соотношения.

Образно, хотя и эмоционально, высказался по этому поводу A. Запесоцкий, ректор Санкт-Петербургского гуманитарного университета профсоюзов, академик РАО, член-корреспондент РАН. "В каждой сложившейся профессиональной сфере есть ниши шарлатанства со своими методами, своими технологиями. У мастеров игорного промысла - наперстки, в высшем образовании, по-моему, - рейтинги. Ранжирование вузов по специально отобранным параметрам - это когда число книг в библиотеке складывают с числом пирожков в столовой, множат на число профессоров и делят на число студентов. Если результат не удовлетворяет заказчика, все это можно умножить на количество любовниц у профессуры. Или разделить, когда место в рейтинге снова не подходит. В особо сложных случаях центр тяжести в подсчетах переносится на нобелевских лауреатов, работавших в  ВУЗе до 1917 года и т. д." [3.8].

В каждом конкретном случае выбираются конкретные глобальные рейтинги с конкретными показателями. Например, В [3.9] рассматривается проблема глобальных рейтингов университетов и дана их классификация для сравнения. Предложена процедура оценки и сравнения уровня надежности существующих глобальных рейтингов. Рассмотрены шесть глобальных университетских рейтингов, которые оценены на предмет надежности. Если рассматривать популярные за рубежом  методологии одномерного ранжирования, то можно лишний раз убедиться, что подходы к  сравнительной оценке рейтингов у них разные.

Методологии Times и Guardian используют официальные статистические и социологические данные Агентства статистики высшего образования и данные Национального опроса студентов. Методология ранжирования Forbes опирается на индикаторы, веса направлений и индикаторов которых  указываются в процентах. Методология Forbes уделяет большое внимание такой категории, как успех студентов после выпуска, которая не представлена в рейтингах Times и Guardian. В таблице представлены развёрнутые данные весов индикаторов по версии Forbes[3.10]

Таблица 3.2. Индикаторы и их процентное соотношение по версии Forbes

В [3.10] производится сравнительный анализ преимуществ и недостатков методологий ранжирования по группам, начиная при этом с определения, что представляет собой термин  "ведущий университет". Рассматриваются мировые рейтинги одномерного (ARWU, THE, US News, QS, Leiden), многомерного (CHE и U-Multirank) ранжирования и специализированных рейтингов (Economist, Financial Times, Business Week). В зависимости от понимания ведущего университета методологии для  одномерного ранжирования глобальных университетов вводят различные индикаторы оценки деятельности университетов.  Оценка соответствия качества методологий соответствует международным критериям IREG4 "Правила аудита рейтингов (IREG Ranking Audit Rules)"

Следует отметить, что методологии Guardian и Times имеют достаточно высокую репутацию среди академического сообщества, создатели рейтингов активно взаимодействуют как с самими университетами, так и с государственными организациями, занимающимися оценкой деятельности  ВУЗов. Методология Forbes в большей степени критикуется академическим сообществом за использование общепринятых индикаторов и неофициальных источников данных [3.11].   

Среди национальных методологий одномерного ранжирования представлены методологии Великобритании (Times, Guardian) и США (Forbes).

Соответствие проанализированных методологий национальных рейтингов критериям IREG представлено на рис3.1.

Рис.3.1. Сравнительный анализ методологий по различным методам ранжирования ВУЗов

Среди положительных сторон методологий национальных рейтингов важно отметить  такие, как использование официальных статистических данных и данных опросов, проводимых под эгидой государственных органов; включение в методологию дополнительной информации о вузах,  программахобучения, стоимости обучения;

подробное описание методологии и разъяснения по индикаторам оценки деятельности вузов; сбалансированное использование качественных и количественных индикаторов, индикаторов ресурсов и индикаторов результатов

К недостаткам методологий национальных рейтингов можно отнести: недостаточный учет разнообразия вузов; использование данных неофициальных опросов; научно необоснованное приписывание весов индикаторам и их непостоянство в течение времени. Последнее обстоятельство является наиболее болезненным, ибо может  принципиально изменить картину ранжирования.

Национальные и региональные методологии многомерного ранжирования   CHE и U-Multirank в своем подходе к оценке ВУЗов основываются на единых принципах, которые можно описать термином "многомерное ранжирование". Многомерное ранжирование производится с помощью сравнения учебных заведений только относительно определенных выделенных критериев. При этом оценки, полученные по всем критериям, не суммируются для получения общего балла.

Кроме того, разработчики таких методологий ранжирования стараются не разделять критерии по значимости, т.е. им не приписываются веса. Сравнение производится либо по определенным предметам или предметным областям в соответствии с выделенными критериями, либо между университетами, в соответствии с выделенными сферами деятельности. Разработчики многомерных ранжирований, таким образом, избегают сравнения сложных систем учреждений высшего образования с другими такими же сложными системами.

Сравнение многомерных ранжирований: CHE и U-Multirank приведено на рис. 3.2.

Рис. 3.2 .  Сравнительный  анализ многомерных ранжирований.

Структура групп индикаторов представляет собой шесть групп: А «Профайл вуза»;B «Научно-исследовательская деятельность»; C «Обучение и преподавание»; D «Международная деятельность»; E «Трансфер знаний»;F«Взаимодействие с регионом». Каждая группа имеет соответствующую внутреннюю структуру и различное смысловое наполнение. Затем осуществляются следующие этапы:

1. Кодировка индикаторов. Каждому из 73 исходных индикаторов присваивается индивидуальный код исходя из изначально определенных шести направлений работы ВУЗа: (A1–A19); (B1–B15); (C1–C18); (D1–D12); (E1–E5); (F1–F4).

2. Разделение 73 исходных индикаторов на составляющие элементы, субиндикаторы.

3. Определение общих субиндикаторов.

Затем составляется математико-статистическая модель  обработки данных введенных в базу. Базовым элементом каждого инструмента является субиндикатор, который при помощи операций нормирования1, агрегирования 2, ранжирования 3 и взвешивания 4 трансформируется в нормированный, агрегированный и взвешенный субиндикаторы, на основании которых производится формирование различных инструментов.

Условные обозначения:

1 Нормирование  - приведение к единому диапазону, при котором возможно сравнение различных видов данных.

2 Агрегирование - объединение нескольких субиндикаторов для получения комплексного индикатора.

3 Ранжирование - распределение данных крайних показателей от одного значения в группе к другому, распределение отдельных  показателей  в порядке возрастания или убывания исследуемого признака.

4 Взвешивание - присвоение значениям субиндикаторов веса, что позволяет определять  важность основных индикаторов в общей совокупности.

Конкурентная борьба рейтингов, имеет и чисто научное измерение.  В [3.12] произведена попытка определения, какой из  популярных рейтингов более объективный и точный, а также насколько эти рейтинги связаны между собой. Однако прежде чем пытаться проверить глобальные рейтинги в смысле их достоверности, выясняется то, насколько они согласованы между собой для массива из 5 мировых рейтингов (см.табл.3.3). В анализе использовался массив данных топ25 университетов. Ранги (места) университетов оценивались попарно между всеми рейтингами с помощью обычного коэффициента корреляции.  Жирными цифрами обозначены значимые коэффициенты корреляции с коэффициентом значимости в 1%.

Из табл.  3.3 видно, что самостоятельным и не связанным с другими рейтингами является тайваньский PRSP. Почти автономным является Web, имеющий слабую согласованность только с ARWU. Аналогично выглядит рейтинг QS, имеющий явную согласованность с THE, с которым он связан исторически и методологически (ранее они составляли единый рейтинг QS-THES). Именно эти три рейтинга – PRSP, Web и QS можно считать маргинальными в том смысле, что их результаты плохо коррелируют с другими  мировыми рейтингами. Остальные два рейтинга – THE и ARWU – имеют высокий статус согласованности. Самыми высокими коэффициентами корреляции отличается рейтинг THE,  замыкает рейтинг  ARWU.

Таблица 3.3.  Взаимная корреляция  мировых рейтингов  университетов

Рассмотрим подробнее один из вариантов сравнительной оценки, приведенный в [3.13]. Исследование осуществлялось методом опроса студентов в ведущих исследовательских университетах России, Китая и США, т.е. в конечном итоге, представлен частный  случай сравнения. Параметры  выборки: Россия - 17065 студентов, 11 вузов, онлайн - опрос, 2015.  Китай- 19737 студентов, 3 вуза, онлайн - опрос, 2014.  США -130117 студентов, 20 вузов, онлайн - опрос, 2014.

Показатели конкретных университетов не раскрывались  ни для российских, ни для зарубежных ВУЗов. Показатели: 1. Среднее значение показателя по ВУЗам; 2. Максимальное значение показателя среди всех ВУЗов; 3. Минимальное значение показателя среди всех ВУЗов.

Особенности анализа заключались в следующем:

- Все показатели рассчитывались по ВУЗу в целом (а не по отдельным группам студентов).

 - Не учитывались различия в соотношении опрошенных на разных направлениях подготовки. - Данные не взвешивались, структура выборки по каждому ВУЗу может не соответствовать генеральной совокупности. - Обобщенные показатели не зависят от объема выборки в каждом ВУЗе.

Рассматривались  следующие виды леятельности:

1. Распределение времени

2. Учебная деятельность

 3. Взаимодействие с преподавателями и обратная связь

4. Удовлетворенность обучением.

 5. Нечестное поведение: плагиат, списывание, покупка работ на заказ.

 В качестве  иллюстрации результатов работы  проводятся соответствующие таблицы и рисунки  по всем перечисленным выше пунктам. По двум из них( 2-му и 5-му) результаты представлены на рис.3.3 - 3.5 .

 Рис.3.3. Результаты  анализа по пункту "Учебная деятельность".

Рис.3.4.  Результаты  анализа по пункту "Образовательная среда".

Рис.3.5 . Результаты  анализа по пункту "Нечестное поведение".

Вызывает сожаление, что период на рубеже 1980-1990-х годов ознаменовался заметным спадом числа владеющих русским языком. За два десятилетия сократилось более чем на 50 миллионов человек (см. рис.3. 6). [3.14].

Рис.3.6 .Численность владеющих русским языком в мире, млн. человек.

На 35 миллионов человек снизилось и число обучающихся на русском или изучающих его как учебный предмет, в качестве иностранного языка во многих странах мира, в том числе в бывших национальных республиках СССР ( см. рис.7 ).

 Рис 3.7.      Динамика спада изучения русского языка.

Количество российских центров науки и культуры за границей (РЦНК) в 2011 превысило 50, что вдвое меньше чем до 1990 года, а численность обучавшихся на зарубежных курсах русского языка непосредственно при РЦНК составила 2010/2011 учебному году около 13 тысяч человек, что более чем в 40 раз меньше, чем в предыдущие годы.  В настоящее  время картина выглядит ещё хуже. Подобные тенденции усложняют создание  национальных рейтингов университетов России и не способствуют распространению их на другие страны.

Из рассмотрения результатов видно, какой это сложный процесс, как получения, так и изучения полученных сведений. Таким образом, вопрос совершенствования процесса  сравнения различных рейтингов остаётся открытым.