Державна атестація наукових установ та університетів: ще більше неперевірених та непотрібних цифр

Міносвіти пропонує для громадського обговорення проєкт наказу «Про державну атестацію наукових установ та закладів вищої освіти в частині провадження ними наукової (науково-технічної) діяльності». Пакет проєкту містить 11 заплутаних файлів, але якщо коротко – чиновники продовжують працювати за принципом “чим більше показників, тим краще”. Щоб гномикам в університетах було чим зайнятися. На сторінках блогу я не розглядатиму усі показники та додатки з цього велетенського проєкту, а швиденько проаналізую лише частину кількісних показників оцінювання (з додатка 2), що мають стосунок до наукометрії.

Міністерських оцінювачів цікавить кількість монографій та кількість розділів монографій, які індексуються у Scopus та/або WoS, які опубліковані за кордоном та в Україні. Надзвичайно цікаво, що згідно з додатком 5 питомий показник кількості монографій, які індексуються у Scopus та/або WoS отримав коефіцієнт 3, а розділи монографій – 2,5! Натомість статті Q1-Q2 лише 2. Звідки така міністерська любов до монографій?

Опублікувати слаборецензований скопусівський збірник матеріалів конференції як книгу за редакцією (edited book) не надто складно. Навіть міністр має таку публікацію! На жаль на думку експертів МОН такі низькоцитовані науково-непробивні матеріали кращі ніж статті у журналах Q1-Q2. Мабуть, незабаром кількість chapters в українців дуже стрімко зросте.  

Фахівці МОН пропонують підраховувати кількість наукових статей, які індексуються у Scopus та/або WoS в наукових журналах з квартилями Q1-Q2 та окремо Q3-Q4. Знову ж таки – згідно з яким показником? Якщо автори проєкту просто так ліплять у текст Q1-Q2,то це 100% доказ = вони не уявляють, що це таке. 

Також, просять вказати “кількість наукових статей, які опубліковані у фахових наукових виданнях України категорії Б”. Як це порахувати, а потім перевірити? – А ніяк! Навіть якщо в гарячці опитати кожного працівника (привіт КНУ, КПІ, ХПІ…), а потім все разом додати, то кільканадцять разів врахуються одні й ті ж публікації, що мають багато співавторів.  

Монівців цікавить кількість наукових статей, що опубліковані у відкритому доступі. А в Україні є якась програма компенсації APC? Чи наша країна немає більше на що гроші витрачати? Головне – про що свідчить цей показник? Як його збираються інтерпретувати? Чого хочуть досягти? Згідно з таким показником, університет в шоколаді, якщо видає відкритий журнал, де дружно публікуються всі працівники та аспіранти університету. Але чи це об'єктивна оцінка наукових здобутків? 

Подібна дивна пропозиція рахувати кількість опублікованих препринтів, які мають DOI. Закинув університет 100500 депозитів в репозитарій і про що це говорить? Про які наукові досягнення? 

Найбезглуздіша (?) пропозиція – вказувати кількість опублікованих наборів FAIR-даних, які мають DOI. Визначити чи набір даних FAIR, чи ні – це дуже складно. Перевіряємо кожен набір вручну? Також, зважте, що дані, які відповідають принципам FAIR – це необов'язково відкриті дані. Знову ж таки – якщо університет виставив мільйони нікому непотрібних наборів даних, то яка в цьому цінність? Де тут логіка?! 

Кумедний момент – якщо в університеті працює колайдерівський дослідник, то дані зібрані ЦЕРНом також потрібно рахувати та подавати в МОН. А ЦЕРН далеко не єдина організація, що продукує багато даних і з якою активно співпрацюють наші науковці. Було б справедливо якби автору цієї дурниці доручили хоча б раз спробувати самостійно підрахувати, чи перевірити ці дані. 

Більшість запропонованих МОНом показників неможливо точно обрахувати та перевірити. Проректори просто замучать десятки розумних людей в університетах, зокрема бібліотекарів, які могли б витрати цей час на справді корисні для країни речі. 

Навіть у самому МОНі здогадуються, що це непосильна задача, тому у проєкті наказу грізно попередили, що надання неправдивих даних карається нулем, якщо установа не надасть офіційного підтвердження відповідних даних. Однак, хто може надавати таке офіційне підтвердження? 

У проєкті наказу спробували скопіювати з іноземних положень про оцінку впливу (impact) наукових результатів, але в українських реаліях вплив на розвиток передової науки пропонують оцінювати без врахування цитованості публікацій! 

Звичайно вплив не тотожний цитуванням, проте нерозривно з ними пов'язаний. Натомість у додатку 4 цього проєкту де-факто запропоновано, щоб ChatGPT написав есе – Чому наш університет такий потужний в науці. 

Просто нумо викладати онлайн якомога більше! Нехай це ніхто не цитує, не читає, не використовує... байдуже? А може нарешті вже час підтримувати українських вчених яких цитують та визнають у світі? 

Базова проблема цього проєкту – цілковито некоректно намагаються поєднати оцінювання результатів наукової діяльності та моніторинг використання практик відкритої науки. До того ж прогресивний світ відмовляється від такого кількісного сокирного моніторингу open science. 

Головна біда – всі ці та інші циферки можуть й не мати особливого значення під час оцінювання. Монівські дівчатка та хлопчики цифри доплюсують і передадуть папери для оцінювання експертам, а “до складу експертних груп залучаються провідні вчені”. Хто такі “провідні вчені”? – мабуть, МОН нам потім скаже і покаже. 

Зауваження та пропозиції до проєкту наказу приймаються до 17 травня 2024 року.