Рейтинги університетів: Як правильно читати

У світі глобалізованої вищої освіти міжнародні університетські рейтинги рік у рік стають дедалі актуальнішими — для абітурієнтів, аби зорієнтуватися, куди ж вступити в іншій країні, і для самих університетів, аби мати змогу приваблювати високими позиціями (чи бодай самим фактом включення до рейтингу) іноземних студентів, грантові кошти й інвестиції, кращих викладачів і дослідників. 

Власне, аналогічна ситуація і з рейтингами всередині країн, у тому числі і в Україні. Університетам потрібно приваблювати студентів і викладачів, а тим — орієнтуватися, вибираючи університети. Тож щороку ми спостерігаємо у ЗМІ сплеск уваги до місця українських вишів у міжнародних рейтингах і до змін у рейтингах українських. 

Цілком очевидно, що, укладаючи рейтинг, необхідно використовувати надійні джерела даних, які можна перевірити й підтвердити, враховувати специфіку університетів різних типів, а також особливості системи вищої освіти в кожній країні. Менш очевидна (принаймні в Україні), однак не менш важлива вимога — разом із рейтингом оприлюднювати чітку й доступну методологію його укладання, аби було зрозуміло, які індикатори враховувалися, яку вони мали вагу, з яких джерел надходила інформація тощо.

Жоден рейтинг безпосередньо не показує якість освіти в навчальному закладі. Натомість укладачі оцінюють низку показників, які, на їхню думку, більш чи менш прямо свідчать про якість освіти (або ж інші параметри університетської діяльності). Зазвичай ці критерії охоплюють оцінку роботодавців, оцінку представників академічної спільноти, показники наукової діяльності, кількість іноземних студентів та викладачів, співвідношення кількості студентів до кількості викладачів. Проте в процесі трактуванні кожного з цих показників можуть виникнути застереження, які слід тримати в голові, коли ми аналізуємо результати рейтингів — і міжнародних, і українських.

Розглянемо для прикладу кілька найвідоміших міжнародних рейтингів, потрапити або просунутися в які прагнуть українські виші, — Шанхайський рейтинг (The Academic Ranking of World Universities), рейтинг QS (The QS World University Rankings), Times Higher Education. 

Академічний рейтинг світових університетів, більше відомий як Шанхайський рейтинг, розроблений у 2003 р. на замовлення китайського уряду для оцінювання ефективності державних програм зі стимулювання наукової діяльності в китайських університетах. Тому більшість індикаторів стосується результатів наукової діяльності університету. Укладачі обирають 500 із-поміж 1200 університетів світу за такими критеріями:

• кількість випускників університету, які є лауреатами Нобелівської премії чи Медалі Філдса (10%);
• кількість викладачів університету, які є лауреатами Нобелівської премії чи Медалі Філдса (20%);
• кількість найбільш цитованих дослідників серед викладачів. Thomson Reuters щороку визначає авторів 1% найбільш цитованих праць у 22 наукових галузях (20%);
• кількість статей, опублікованих викладачами університету в журналах Science та Nature за останні 5 років (20%);
• кількість статей, опублікованих викладачами університету за попередній рік, які пройшли через індекс цитувань із природничих чи соціальних наук того ж Thomson Reuters (20%);
• зважені показники всіх попередніх критеріїв, поділені на кількість штатних працівників університету (10%).

З цих критеріїв видно, що Шанхайський рейтинг практично на 90% складається з оцінки наукової діяльності (крім першого критерію). Причому це досить специфічна оцінка — адже на рівень цитованості чи шанси опублікуватися у престижному науковому журналі, крім власне якості наукових робіт, впливає чимало соціальних та економічних чинників. Крім того, з поля зору укладачів рейтингу повністю випадають гуманітарні науки. І тим паче складно судити з цього рейтингу про якість викладання в університеті.

Світовий рейтинг університетів QS укладає британська компанія Quacquarelli Symonds, яка дає консультації щодо навчання за кордоном. Основа рейтингу — опитування роботодавців та викладачів з усього світу (цього року укладачі опитали понад 76 тис. представників академічної спільноти та понад 42 тис. роботодавців). 

Нинішнього року QS оцінював понад 2000 інституцій, із яких визначив 800 найкращих за такими параметрами:

• опитування академічної спільноти (40%), в якому кожен із респондентів має визначити 10 вітчизняних і 30 закордонних університетів, що їх вважає найкращими в галузі, в якій працює респондент. Причому бал кожного вишу складається на 85% із голосів, відданих йому від закордонних респондентів, та на 15% — від вітчизняних;
• опитування роботодавців (10%), які мають визначити стільки ж університетів, випускники яких здаються їм найкращими. При цьому оцінки іноземних роботодавців так само мають більшу вагу, ніж вітчизняних, — але у співвідношенні 70 % на 30%;
• співвідношення кількості студентів до кількості викладачів (20%); 
• рівень цитування за Scopus, що припадає на одного викладача (20%);
• частка іноземних студентів та викладачів (5%+5%).

Критерії рейтингу QS — різноманітніші, ніж Шанхайського, проте й до його методології є чимало запитань: наприклад, значна частка опитуваних представників академічної спільноти (17,4%) мешкає у США, а отже, американські університети отримують вищий "вітчизняний" бал. Нерівномірний розподіл голосів стосується також і галузей, і опитування роботодавців.

У показнику "кількість студентів до кількості викладачів" дані надають самі університети, тож перевірити їх достовірність практично неможливо. Крім того, до категорії викладачів потрапляють як ті, хто безпосередньо займається викладанням, так і наукові працівники.

Питання про кількість іноземних студентів і викладачів також певною мірою проблематичне — адже до категорії "іноземних студентів" потрапляють і ті, хто навчається семестр за обміном, і ті, хто слухає повну програму й отримує диплом, а "іноземними викладачами" можуть бути і професори, які читають один гостьовий курс, і штатні працівники.

Рейтинг Times Higher Education має на меті ранжування дослідницьких університетів, тобто в нього не входять заклади освіти, основною функцією яких є навчання, а не наука, а також вузькоспеціалізовані виші на кшталт музичних чи медичних. Умовою включення у рейтинг є публікація викладачами університету не менше 1000 наукових статей упродовж останніх п'яти років у журналах, що є в базі Scopus.

Укладачі рейтингу вимірюють 13 показників, які розділені на 5 груп:

• викладання (навчальне середовище) важить 30% і включає результати опитування в академічній спільноті щодо якості викладання в університеті (15%), відношення кількості студентів до кількості викладачів (4,5%), відношення кількості бакалаврів до кількості PhD (2,25%), відношення кількості присвоєних докторських ступенів до кількості викладачів (6%), доходи університету (зважені на кількість викладачів) (2,25%);
• дослідження (обсяг, дохід та репутація) також важать 30%. Академічна репутація визначається відповідно до результатів вищезгаданого опитування академічної спільноти (18%), дохід від досліджень зважується на кількість викладачів і галузі знань (6%), обсяг вимірюється в кількості публікацій у наукових журналах, проіндексованих у базі даних Elsevier (6%);
• цитування (дослідницький вплив) важить 30%. Нинішнього року постачальник бібліометричних даних видавництво Elsevier опрацювало понад 51 млн посилань на 11,3 млн статей, опублікованих за 5 років;
• міжнародний огляд (викладачі, студенти, дослідження) оцінюється в 7,5% і включає в однакових пропорціях бали за співвідношення кількості іноземних студентів до кількості вітчизняних, іноземних і вітчизняних викладачів та міжнародну наукову співпрацю;
• промисловий дохід (трансфер знань) важить 2,5% і вимірюється в обсязі доходу університету від досліджень, які замовляють підприємства.

Цей рейтинг найбільш різносторонній і поєднує репутаційну, наукометричну, кадрову, міжнародну складові у досить зважених пропорціях.

Коли переходиш до українських рейтингів, на перший погляд, може здатися, що вони використовують ті самі критерії, що й міжнародні, — репутаційні, наукометричні, кадрові. 

Однак, аналізуючи їхню методологію, розумієш, що українські рейтинги зазвичай зосереджуються на якомусь одному виді критеріїв оцінювання — на думці роботодавців або на кількісних показниках роботи університету.

Як приклад першого підходу можна згадати рейтинги журналів "Кореспондент", "Деньги" та "Фокус". Рейтинг "Кореспондента" базується виключно на опитуванні роботодавців: представників відділів кадрів 29 українських та міжнародних компаній попросили обрати від одного до п'яти найкращих вишів у шести професійних категоріях (юриспруденція, економіка і фінанси, маркетинг, піар і реклама, ІТ та гуманітарні спеціальності). За кожне згадування університет отримував один бал, а загальне місце у рейтингу виводили простим додаванням балів. Досить невибаглива методологія, втім, вона зрозуміла і доступна, до того ж, журнал опублікував перелік компаній, думку яких він вивчив.

Редакція журналу "Деньги" також пропонувала кадровикам різних компаній оцінити випускників різних вишів, розбивши їх на кілька категорій (економічні, юридичні, технічні, гуманітарні, будівельні та аграрні спеціальності). Перелік вишів, запропонованих для оцінки, роботодавці могли доповнити вишами, які, на їхню думку, якісно готують студентів. Крім того, самі університети, котрі хотіли бачити себе в рейтингу, могли подати заявку на включення в нього. Кожному із закладів освіти роботодавці могли поставити оцінку 0,2, 5 чи 10 (або проміжний бал), що означало "не візьму на роботу", "візьму, якщо немає альтернативи, але із зарплатнею, нижчою від ринкової", "візьму на заплату, середню на ринку" та "готовий взяти із зарплатою, навіть вищою за ринкову". Як далі рахуються бали кожного вишу, методологія рейтингу, викладена окремим блоком при публікації, не уточнює, але, поглянувши на власне рейтинг, можна зрозуміти, що укладачі просто порахували середнє арифметичне отриманих кожним університетом оцінок. Переліку компаній, котрі оцінювали виші у 2015 р., журнал не оприлюднює, однак у публікації рейтингу за 2014 р. можна знайти такий перелік (втім, не зовсім зрозуміло, чи вичерпний).

Рейтинг "Фокуса" теж спирається на думку роботодавців, а саме 22 найбільших компаній, — їм запропонували оцінити знання, практичні навички та вміння навчатися випускників найкращих вишів країни (50% від підсумкового бала). До цього укладачі рейтингу додали дані рейтингу "Вебометрикс" (який показує представленість університетів в Інтернеті) та індекс Гірша (який вимірює цитованість наукових праць, написаних викладачами) — по 25% оцінки. "Фокус" також уточнив, до яких саме роботодавців він звертався по оцінку, і описав методологію — втім, не уточнивши, як саме для рейтингу перераховувалися бали "Вебометрикс" та індекс Гірша, зрозуміло тільки, що за основу бралися показники КНУ ім. Шевченка, який має максимальний серед українських вишів бал в обох цих вимірюваннях.

Ще більш софістикований у плані методології рейтинг "Компас", що складався до 2013 р. компанією СКМ. Він готувався на основі опитувань роботодавців, випускників та експертів (останнє використовувалося, аби визначити вагові коефіцієнти для кожного з критеріїв рейтингу). Порівняно з іншими репутаційними рейтингами, "Компас" — вочевидь, завдяки залученню Київського міжнародного інституту соціології — має значно більш пророблену методологію, перш за все що стосується відбору респондентів, а також щодо оцінювання ваги критеріїв.

Слід зазначити, що рейтинги, які спираються на опитування роботодавців, хоча й намагаються охопити найбільші компанії у різних сферах економіки, хибують на брак системності, — жодна з них (крім "Компасу") не оприлюднює критеріїв, за якими обирала респондентів, тож можна припустити, що це опитування не є репрезентативним і не дає бодай більш-менш достовірної картини по всьому ринку праці.

Тепер поглянемо на інший тип рейтингів — ті, котрі ґрунтуються на кількісних показниках. 

Один із найвідоміших в Україні університетських рейтингів "Топ-200 Україна", що його укладає Центр міжнародних проектів "Євроосвіта", включає агрегований показник (інтегральний індекс), який формується на підставі індикаторів прямого вимірювання (80%), експертної оцінки якості підготовки випускників ВНЗ представниками роботодавців та академічного співтовариства (15 %), а також міжнародні наукометричні і веб-метричні дані (5 %). Інтегральний індекс представлений трьома складовими: якість науково-педагогічного потенціалу (42%), якість навчання (26%), міжнародне визнання (12%). Якість науково-педагогічно потенціалу, своєю чергою, вимірюється кількістю академіків та членкорів НАН і галузевих академій наук, докторів, кандидатів наук, лауреатів державних премій серед викладачів вишу, а також кількістю патентів, отриманих університетом. Якість навчання оцінюється через кількість переможців міжнародних та всеукраїнських студентських олімпіад, співвідношення бакалаврів та магістрів і масштаб ВНЗ (загальну кількість студентів, поділену на середню кількість студентів у ВНЗ по країні). Міжнародне визнання визначається насамперед через кількість іноземних студентів, а також через членство у міжнародних асоціаціях університетів.

Як саме проводилася експертна оцінка, у методології не зазначено. Крім того, останній опис методології представлений щодо опитування 2009 р., тож залишається припустити, що за останні 6 років вона не змінювалася.

Як бачимо, значну частину рейтингового бала становить показник якості науково-педагогічного потенціалу. При цьому 36 із 42 % цього показника припадає на критерії членства в академіях наук. Зважаючи на, щиро кажучи, мафусаїлівський вік українських академіків, численні нарікання на низьку якість досліджень і бюрократичний принцип просування кар'єрними щаблями в НАН, цей показник видається не особливо показовим у контексті якості викладання. Це саме стосується складової якості навчання — 11 із 26 % припадає на критерій "масштаб ВНЗ", хоча не дуже зрозуміло, як кількість студентів корелює з якістю навчання. Кількість міжнародних студентів, яка формує половину бала за міжнародне визнання, могла б видатися об'єктивним показником, як у більшості міжнародних рейтингів, проте не слід забувати, що переважна більшість іноземних студентів в Україні — вихідці з країн СНД, Африки, Азії та Близького Сходу або країн глобального Півдня, які їдуть в Україну не так з огляду на якісну освіту, як із огляду на низькі ціни та можливість просто "купити" диплом, фактично не навчаючись.

На основі рейтингу ТОП-200 сайт Osvita.ua склав свій рейтинг, додавши до нього результати рейтингу Scopus та "Вебометрикс". Разом із цим додалися й методологічні хиби, — скажімо, Scopus враховує лише показник цитувань (індекс Гірша), не зважений на кількість викладачів в університеті, тож великі університети мають очевидну перевагу. Також немає зважування відповідно до спеціальності, тобто не враховано специфіку публікацій у різних наукових галузях (яка зазвичай враховується в міжнародних рейтингах). Рейтинг "Вебометрикс", який вимірює вплив і присутність офіційного сайту ВНЗ в Інтернеті, також має певні методологічні застереження: університети можуть "накручувати" показники через створення субдоменів для кожного факультету і кафедри або ж простішими методами.

Підсумовуючи, можна сказати, що вивчення методологій університетських рейтингів показує нам не так кращі чи гірші українські виші, як системні проблеми української вищої освіти загалом. Низькі позиції або відсутність у провідних міжнародних рейтингах є свідченням браку наукової діяльності в українських університетах, проблем з інтеграцією в міжнародне наукове й освітнє середовища (часто — просто через мовний бар'єр), також це свідчить про "відплив мізків" через низькі зарплати і безперспективність. 

Українські ж рейтинги, радше, свідчать про неможливість оцінити рівень освіти, виходячи з кількісних показників, — адже в українській вищій освіті через системну корупцію, відсутність механізмів забезпечення якості освіти та наукової діяльності всі ці показники — і наукові ступені та вчені звання, і магістерські дипломи, і міжнародна співпраця — надто часто є профанацією.

Тож українським студентам корисніше буде витратити час і самостійно вивчити сайти тих університетів, серед яких вони вибирають, та відгуки студентів у соцмережах, ніж покладатися на університетські рейтинги. 

Ірина Когут, аналітичний центр CEDOS, для "Дзеркало тижня".

Вперше опубліковано в газеті "Дзеркало Тижня" , 9.10.2015