Принципи оцінювальної бібліометрії в контексті DORA та CoARA

Файний звіт підготували іспанські наукометристи про сьогодення та майбутнє оцінювальної бібліометрії в контексті сучасних реформ у сфері наукової оцінки, зокрема таких ініціатив як DORA та CoARA. Автори запропонували п’ять принципів, яких варто дотримуватися під час використання бібліометричних показників у процесах оцінювання наукових результатів. Нічого принципово нового у цих “іспанських принципах” немає, навіть в Україні давно про це знають. Однак об’єктивна бібліометрична оцінка висвітлює те, що дехто в Україні волів би приховати заради власної вигоди, тож багатьом зручніше удавати, що вони не розуміють цих принципів. 

Принцип 1: Підтримка ухвалення рішень 

Бібліометричні показники повинні допомагати менеджерам науки та політикам ухвалювати обґрунтовані рішення щодо фінансування, стратегічного розвитку та оцінки дослідницьких програм. 

Подібно як лікар використовує аналізи поряд із клінічним оглядом, так і оцінювання наукової діяльності має комбінувати бібліометричний аналіз з експертною оцінкою.  

Принцип 2: Співпраця з експертами 

Бібліометрія повинна використовуватися разом з експертною оцінкою, а не замість неї. Проте суб'єктивні фактори, такі як упередження рецензентів чи конфлікти інтересів, можуть впливати на експертні оцінки, а бібліометрія допомагає це компенсувати. 

Принцип 3: Врахування контексту 

Оцінювання має враховувати відмінності між дисциплінами, типами досліджень та етапами академічної кар'єри. 

Принцип 4: Багатовимірність метрик 

Бібліометрія не може зводитися лише до єдиного показника (наприклад, h-індексу). Оцінювання має бути багатовимірним і включати: цитування, соціальний вплив, колаборації, відкритий доступ та альтметрики.  

Тобто, наприклад, досить просто зіставити дані про цитування з інформацією про наукові колаборації, щоб виявити, як окремі "дослідники" отримують десятки тисяч цитувань виключно від колег зі своєї кафедри чи університету. Натомість вітчизняні наукові управлінці вирішили взагалі виключити цитування з національного оцінювання, фактично відкинувши Україну на століття назад у розвитку наукової політики.

Принцип 5: Відкритість та верифікація даних 

Бібліометричні показники мають бути відкритими, прозорими та перевірюваними, тому ми більше не можемо довіряти комерційним базам даних, таким як Web of Science та Scopus.

 

Автори застерігають, що неправильне використання бібліометрії призводить до: 

• "Магічного мислення" – віри в те, що бібліометричні показники можуть точно виміряти наукову якість. 
• Рейтингового фетишизму – зосередженість на позиціях у рейтингах замість реального аналізу ефективності досліджень. 
• Спотворення публікаційної поведінки – "гонитва за імпакт-фактором" замість проведення важливих досліджень. 

Власне всі ці негативні моменти ми нині спостерігаємо в Україні, на жаль, часто навіть у якійсь особливо викривленій збоченій формі.