Чому провисло цитування наших університетів у рейтингу Таймс

З’явився Times Higher Education World University Rankings 2020 і місця наших 6 університетів мало кому сподобались. Поки українські медіа, ректори, члени вчених рад… поширювали рейтингові фантазії напористих народних депутаток, які навіть не заглядали у методологію згаданих рейтингів, фахівці, яких у нас вперто ніхто не слухає, почали докопуватись, швидше самі для себе, чому ж їхні установи так влетіли Львівській політехніці за показником Citations? Якщо у Львівської політехніки цей показник = 49.5, то в Харківської політехніки = 5.4! Відчуйте різницю. 


У методології рейтингу сказано, що цитування не звалюються в одну купу, а нормалізують, щоб врахувати відмінності між різними науковими галузями. Не знаходжу докладної інформації про те, як саме експерти THE проводять нормалізацію, але це дуже схоже на Field-Weighted Citation Impact (FWCI). 

Метрика FWCI показує, як часто інші науковці згадували конкретну роботу у своїх публікаціях у порівнянні з аналогічними роботами, що були опубліковані у тому ж році і у тій ж науковій галузі. Якщо показник FWCI більше за 1 – робота цитується краще, ніж очікувалось, якщо менше за 1 – робота виявилась недостатньою впливовою. 

Аналогічно FWCI можна розрахувати для установ та країн, тому давайте перейдемо SciVal і подивимось, що відбувається з українськими університетами. Бачимо, що відповідно до показника FWCI роботи працівників Львівської політехніки 2016-2018 рр. справді цитувались трішки вище середнього світового рівня. Натомість, наприклад, величезна кількість публікацій КНУ Шевченка отримала набагато менше цитувань, ніж очікувалось. 


Якщо для порівняння провести подібне FWCI-ранжування польських наукових установ, то побачимо, що вони розташуються значно рівніше, без різких стрибків та провисань.


Популярні світові рейтинги університетів, як правило, намагаються об’єднати і оцінити те, що не варто об’єднувати, тому мене більше непокоїть доля українських університетів у бібліометричному Лейденському рейтингу. 

Однак, не можу не відзначити, що гонитва МОНу, НАНу, МОЗу… за кількістю публікацій може принести додаткові неприємні призи і через ріст кількості малоцитованих публікацій наші університети котитимуться додолу у рейтингах. 

Нам потрібно визначитись нарешті, що ж ми хочемо. Публікацію в Скопус? Місце у рейтингу? Чи ми все-таки будуємо ефективну систему оцінювання наукової діяльності, завдяки якій фінансування та підтримку отримають ті, хто на неї заслуговує?

29 коментарів:

  1. Наразі ситуація з вітчизняними авторами така: перщі - переважна більшість не хоче і не може публікуватися у ВоС і Скопус; другі невеличка частка (когось змусили, хтось прагне друкуватися) не дуже можуть, але хочуть і роблять це. Серед останніх є і зовсім небагато таких, хто не тільки прозвітував про наявну статтю, а ще й опікується нею

    ВідповістиВидалити
    Відповіді
    1. Тобто недостатня впливовість наших робіт пов'язана з браком самореклами?! Опублікували, прозвітували і забули? Але ж насамперед самі журнали й зацікавлені у рекламі опублікованого контенту?..

      Видалити
    2. Журнали багато у чому обмежені у плані реклами. У тому числі етичними принципами

      Видалити
    3. Автори також повинні дотримуватися етичних принципів, хоча є й такі, що намагаються закидувати колег посиланнями на свої публікації)

      Видалити
  2. Відповіді
    1. Для чуда)) потрібно було б ще порівняти FWCI усіх наших установ, розділити їх за підпорядкуванням, коректно розкласти профіль НАН за установами ітд... але поки цього нема в SciVal і схоже у нас в країні мало хто зацікавлений у появі цих даних.

      Видалити
    2. Скажите, пожалуйста, а хотя бы не всех, а конкретно Kharkiv National University of Radio Electronics вы не могли бы сообщить? Очень интересно. Но по-видимому у нас нет доступа к SciVal( Пыталась с разных инст. аккаунтов...

      Видалити
    3. Kharkov National University of Radio Electronics (2016-2018 рр.) - Scholarly Output 677; Citation Count 1494; Field-Weighted Citation Impact 1,19.

      Видалити
    4. Большое спасибо!!!

      Видалити
  3. Анонім23.09.19, 15:14

    Гарний маетріал. "Однак, не можу не відзначити, що гонитва МОНу, НАНу, МОЗу… за кількістю публікацій може принести додаткові неприємні призи і через ріст кількості малоцитованих публікацій наші університети котитимуться додолу у рейтингах". В може є залежність також між тим, де публікується вчений (у якому журналі), та рівнем цитування його статті? Можливо проблема низького цитування наших статей у тому, що наші автори публікують свої здебільшого у наших же виданнях, які самі є низькоцитованими. Чи багато у нас журналів з першого, або другого квартилю Скопуса або з добрим імпактом від ВОС? Та ні. Зовсім малувато. Тому, щоб добре цитували статтю, потрібно її публукувати у добре цитованому журналі. У нас, в Україні, таких можливо і немає. Вчений має досліджувати та писати наукові публікації. Він точно рекламою свої статті займатися не буде. Це не його справа. Нехай журнали самі себе просувають та рекламують. У них на це ї фонди. До речі, тут видавництво Масачусетського інституту технологій видало на гора структуру своїх публікаційних витрат (APC). Так от, у них там маркетинг у займає 10 % у структурі їх APC (600 доларів) у розрахунку на одну статтю. От така справа. Тому, хто має займатися макретингом статей - робіть висновки самі. А покладатися на маркетинг від авторів не потрібно. Вони не робити не будуть, бо вже споатили саме за це гроші журналу у вигляді плати за публікацію.
    https://www.mitpressjournals.org/journals/qss/openaccess

    ВідповістиВидалити
    Відповіді
    1. Так у нас нагороджують, насамперед, за кількість публікацій от і маємо. Хоча, без подолання "порогу публікацій" у рейтинг взагалі не потрапити. Справедливо про публікації у журналах Q1-Q2, але й з нормалізацією потрібно окремо попрацювати.

      Видалити
    2. Анонім23.09.19, 21:33

      Нагороджуть чим? Подачками з барского плеча керівництву вишів, або якийсь грант ухопити від Міністерства, де про якість публікацій не сном не духом. Якщо систему оцінювання науковців та вишів переглянути від кількості до якості, то у нас багато "заслужених" піде на дно, а з ними на дно піде і багато чого дефектного, наприклад система присудження наукових звань та ступенів, захисту дисертацій, велика кількість вчених спецрад мають втратити свої повноваження...то буде реальна наукова революція...була б революція, але її не буде. Тому, сподіваємося хоча б на еволюцію, інакше за років так 10 усі наші науковці мігрують до інших країн, а виші перетворяться на ПТУ.

      Видалити
    3. Та навіть так. Хто планує й надалі будувати свою наукову кар'єру в Україні і хапатися за такі гранти - він, що сам собі ворог?! Якщо пряник дають за кількість, а на той ж таки квартиль ні керівництво зво, ні інституту... не зважають. Словом, підозрюю, що й на такі нагороди вчені знайдуться і на пту всі не перетворяться.

      Видалити
    4. Анонім23.09.19, 22:15

      Ні, такий вчений сам собі не ворог. Він - ворог науки. І саме ось таким вченим, хто і надалі буде у тому "грошову кублі" від науки, дорога до зарубіжних вишів буде закрита. Там, до "любителів" кількості публікацій відносяться дуже підозріло. Тому, все логічно. Як кажуть, кожному своє.

      Видалити
    5. Це надто ідеалістично, там також є свої любителі кількості публікацій.

      Видалити
    6. Анонім24.09.19, 20:20

      Звісно, що є. Але серед університетів-роботодавців там все менше і менше таких. Так, китайці зараз провокують багатьох вчених контрактами дистанційного типу з метою отримати 3-4 публікацій у топ-журналах ВОСу на рік. Подальше цитування публікацій ролі не має. Але, у Європі на такі контракти дивляться не добре. А у нас? З огляду на зневагу до вчених від керівництва вишів та тотальне зубожіння, проблеми морального вибору тут не було б.

      Видалити
  4. Анонім23.09.19, 15:27

    Интересная инфо о структуре затрат на публикацию статьи. Большие зарубежные издательства такую структуру затрат публичной не делают. Понятно почему - тогда станет понятно, что журнальная норма прибыли намного больше общекорпоративной (т.е. 30 % рентабельности превратится в процентов 80). После такого заявления в научных кругах начнется революция и издателей подымут на вилы. А Массачусетс молодцы. Дали фору Елзиверам и Вайли еще какую! Поэтому, что бы цитировали статью хорошо, публикуйтесь в высокоцитируемых журналах. У нас, в Украине, таких маловато на всю нашу отечественную научную рать. И тогда, и маркетингом заниматься автору не нужно будет (хотя это точно не его дело). Пусть автор пишет достойные статьи, а маркетинг это вопрос коммерческий, и пусть им занимается издательство и вкладывает в это деньги. Вот, у Массачесетса прекрасный пример.

    ВідповістиВидалити
    Відповіді
    1. Це тепер така вимога Плану S - відмовились від встановлення розміру максимальної APC, проте видавці повинні пояснити і розписати на що саме вони витрачають кошти з APC.

      Видалити
    2. Анонім23.09.19, 21:24

      Вибачте, але те що Ви називаєте вимогою плану С щодо "кепу" (лімітування розміру АРС) великі, і не тільки, видавці просто брутально ігнорують. А ну назвіть, хто з великих видавців вже понавстановлював Кепи для своїх АРС? Ніхто. Вони що дурні, щоб робити собі "фінансове обрізання"? Та їх власні акціонери за це просто пошматують. Чи то може пан Сметс, який втік на добру посаду до одного з вишів Голандії у березні цього року спромігся встановити розмір максимального АРС? Чи його колеги- апологети плану С змогли це зробити? Якщо так, то назвіть цей регламентований максимальний роpмір АРС? НЕМАЄ ТАКОГО. Тому видавці все ще нічого не пояснють. А МІТпрес, то просто якась дивина. Добра дивина, від якої у гібридизованих, пусто-бандлових гагантів-видавців, як то Елзівер, Вайлі, Спрінгера Нейча стався ступор, бо тепер усі знають, як потрібно розписати оту структуру АРС, яку ой як не хочуть робити публічною оті гаганти. Тому, яка то вимога плану С, якщо там нічого конкретного у тій вимозі намає. Одна пуста болтовня. Нажаль.

      Видалити
    3. Так ж і пишу, що видавцям вдалось відбитися від встановлення ліміту на максимальну плату за публікацію, а розписувати витрати до 2021 ніхто й не поспішатиме(

      Видалити
    4. Анонім23.09.19, 22:09

      Відбилися не видавці, а наукові товариства, журнали яких видають як правило саме великі видавці, бо маючи права на як правило гібридні журнали, розкривати структуру АРС вони і не хочуть (бо витрати у них йдуть на утримання власне самих товариств, що не є прийнятно). Тому, Елзіверу та Вайлі потрібно було лише "пошепотати" на вухо науковим товариствам і вони відразу накинулися на План С, хоча сама ідею регулятивно обмежити розмір АРС це просто нереальна ідея. А ось розкривати стуруктуру АРС, то добра ідея, цільком реальна, але великі видавці трупами поляжуть, але не розкриють дійсної рентабельності ОА та гібридних журналів, бо рентабельність казіно по факту буде меншою, за рентабельність видання ОА та гібридів великих комерційних видавців, і від них, відразу відвернуться вчені.

      Видалити
    5. Чого тільки Фейсбук не робив скандального за великі гроші з даними користувачів, а компанія далі процвітає. Можливо, подібно і від послуг великих видавців вченим буде складно відмовитись.

      Видалити
    6. Анонім23.09.19, 23:37

      Не коректне порівняння Фейсбук та великих ком. видавців. Головна претензія вчених до ком. видавців у тому, що вони, як пилесосом викачують через наукові публікації та підписку державні гроші (бюджетні), формують норму прибутку у 35 відсотків, та створивши окремий ринок у вигляді трансформаційних угод, спотворили ринок видавничих послуг. Фейсбук що, заліз до кишені бюджетної? Понапридумував чогось на кшталт трансформаційних угод з формування відкритого доступу для інопланетян за кошти бюджету? Фейсбук то зовсім інша історія, якою уже бавляться навіть діти. А от монстри типу Елзівера, ото вже інша справа. Справа для дорослих.

      Видалити
  5. Анонім23.09.19, 18:54

    А мені сподобалося у матеріалі оце "Публікацію в Скопус? Місце у рейтингу? Чи ми все-таки будуємо ефективну систему оцінювання наукової діяльності, завдяки якій фінансування та підтримку отримають ті, хто на неї заслуговує?". У нас адміністрація вишів, та й більшість викладачів не усвідомоюють ще, що публікації у Скопусі добре працюють на рейтинг вишу лише у випадку, коли ці публікації є добре цитованими. І лише у такому випадку, можна виміряти імпакт вченого, а імпакт вченого буде працювати на імпакт національної науки у світі. Просто "публікації у Скопусі чи ВОСі" ні на ще не впливають. Тому, серед Ваших питань дійсно релевантним є лише одне - останнє. Так, для Елзівера Скопус то інструмент конкурентної боротьби. Боротьби проти Кларівейтівського ВОСу. Боротьби за контроль над ринком наукових публікацій. Керівництво Елзіверу не раз про це заявляло відкрито. Тому, перше питання, воно актуальне для людей "печерного" віку, бо у час відкритої науки монополізм відійде на другий план, друге питання актуальне для "весільних генералів"-керівників вишів, які у гонитві за рейтингами втратять науковий потенціал (вчени підуть з вишів), а от третє - дуже перспективне питання для вчених світу саме зараз. Тому, відповідь потрібно шукати саме на нього.

    ВідповістиВидалити
    Відповіді
    1. Тут про імпакт можна довго сперечатися... Я мав на увазі, що наукометрія нам всім потрібна насамперед для ефективного управління науковою діяльністю в країні. Була б вибудувана хороша система і все решта доклалося. А так ми хапаємось за все - і рейтингам сподобатись, і "горизонти2020" виграти, і прозвітуватись... і отримуємо "за двома зайцями".

      Видалити
  6. Анонім23.09.19, 22:01

    Та що там сперечатися? Чи ми може ДОРУ згадаємо? Хапаємося ми лише за те, де відразу починають "капати" гроші...рейтинги університетські то для "ловлі" туземних студентів...точніше, грошей туземних студентів. Горизонти2020, то здебільшого ширма для іноземців з Європи, що у нас все ще є наука, як система.....звіти, то для пресування викладачів адмістрацією вишів, щоб мовчали. Які тут зайці? Тут державне бюро розслідувань має працювати.

    ВідповістиВидалити
  7. Наші думки з колегами стосовно цитування в Scopus та WoS.
    "Слід також, по-третє, зважати на те, що, набуває по-ширення практика публікації українськими науковцями соціально-гуманітарного напряму статей у низькоцито-ваних виданнях, які індексуються у вищевказаних науко-метричних базах. І, хоча формально такі публікації і сві-дчить про "інтеграцію" української науки до європейської та світової, проте реально такі праці додають мало цін-ності до престижу наробок вітчизняних вчених. Якщо взяти, наприклад, українську економічну науку, то мусимо констатувати, що вітчизняна влада вкрай слабо використовує її теоретичні та практичні досягнення. І причина цього полягає зовсім не у відсутності високих ін-дексів Гірша публікацій в виданнях, що індексуються в Web of Science та Scopus. Допоки влада України буде ке-руватися інтересами олігархічних кланів, доти вона не ма-тиме потреби в результатах досліджень вітчизняних вче-них-економістів. Що ж стосується українських бізнесменів, то вони зацікавлені у впровадженні на своїх підприємст-вах тих розробок, які здатні підвищити прибутковість біз-несу, і цінність яких не залежить від того, де саме друку-ються роботи, в яких вони розкриваються." A. Старостіна, д-р екон. наук, проф. ORCID ID 0000-0002-5898-7966, В. Осецький, д-р екон. наук., проф. ORCID ID 0000-0002-8144-5313, B. Кравченко, канд. екон. наук, доц. ORCIDID 0000-0002-0625-6088 Київський національний університет імені Тараса Шевченка, Київ ОЦІНКА РЕЗУЛЬТАТІВ НАУКОВОЇ ДІЯЛЬНОСТІ В КЛАСИЧНИХ УНІВЕРСИТЕТАХ ПІДПРИЄМНИЦЬКОГО ТИПУ В УМОВАХ ЄВРОІНТЕГРАЦІЇ http://bulletin-econom.univ.kiev.ua/ua/archives/8669

    ВідповістиВидалити
    Відповіді
    1. Переглянув цю публікацію і жодних доказів того, що набуває поширення практика публікації українськими науковцями соціально-гуманітарного напряму статей у низькоцитованих виданнях вона не містить. Автори це просто стверджують, тому наряд цей рукопис надсилали на рецензування. Що це взагалі за дивина така "низькоцитовані видання соціально-гуманітарного напряму"? От наприклад журнал Fascism (ISSN: 2211-6249) - згідно з даними Scopus 7 разів цитувався у 2018 році? Це хороший журнал, чи одних тих що, як Ви пишете, "додають мало цінності до престижу"?

      Видалити
  8. Анонім24.09.19, 20:31

    "вітчизняна влада вкрай слабо використовує її теоретичні та практичні досягнення". А Ви впевнені, що є що використувати? І чому це має робити саме влада, а не бізнес? А щодо бізнесменів, а вони що, будуть читати наукові журнали, де відсотків 95 статей не мають жодного емпірічного змісту та релевантності? Вони, бізнесмени, що хірурги, і можуть використати наукову статтю без адаптації для проведення хірургічної операції? У нас, що бізнесмени знають де публікують більш якісні статті, чи бізнесмени можуть читати англійською наукові тексти? Проблема у тому, що писати наукові статті ми здебільшого не навчилися, релевантність їх низька (ніяка), рецензенту краще таку статтю не показувати (бо він назве "це" виробничим звітом), а значит краще її реджекнути і поставити на цьому крапку. А от щоб навчитися писати добрі, емпірічні наукові сттаті, також потрібно вчитися, а щоб вчитися цьому, потрібна відповідна мотивація, у тому числі і фінансова. Ось тут ставимо крапку, бо в Україні такої мотивації все ще немає.

    ВідповістиВидалити