Індонезійська SINTA: весела, як додавання хіршів

У 2017 році уряд Індонезії запровадив своєрідну метрику Science and Technology Index (SINTA) для вимірювання продуктивності вчених та установ і прийняття рішень щодо фінансування досліджень. SINTA враховує кількість документів, що індексуються в Scopus, кількість цитувань цих документів у Scopus і (увага!) Google Scholar та h-індекс дослідників. Коли у липні Міністерство досліджень, технологій та вищої освіти Індонезії роздало нагороди авторам з найвищими показниками SINTA, то серед переможців опинились й ті, хто зловживав системою. Згодом, Міністерство визнало, що 15 авторів-переможців використовували неетичні практики і припинило фінансувати таких дослідників. 

Кумедно, що індонезійське міністерство незабаром планує удосконалити SINTA, щоб врахувати «якість рукописів, а не просто їх кількість». Також, покращена формула повинна якось вилучати з розрахунків самоцитування та «кумівські» цитування. 

Злі язики говорять, що табачніковське положення про наукові видання було списане з індонезійського положення, тому давайте краще роздивимось індонезійський досвід. 



Зрозуміло, що 1) через шпарину Google Scholar у SINTA пролізли всілякі маніпулятори. Також, 2) адміністратори продовжували враховувати публікації та цитування з виключених журналів Scopus. І, нарешті, 3) до чого тут h-індекс? Однак, найбільше зло SINTA – індонезійські чиновники намагаються отримати з кількісних показників те, чого вони просто теоретично не можуть дати. 

Велика кількість цитувань публікації показує, що вона цікава та корисна для багатьох науковців, проте, якщо публікація не цитується, ми не можемо автоматично стверджувати, що вона цілковито непотрібна дослідникам – ми можемо лише припустити, що ця публікація поки була не надто корисною (та й то, лише у випадку, коли знаємо напевно, що вона була достатньо часто читаною). 

Словом, зрозуміло, що неможливо покращити кількісну формулу так, щоб вона раптом перетворилася на мірило якості, але нам бракує послідовних національних наукометричних досліджень, тож потрібно слідкувати, щоб відлуння індонезійського маразму не пробралося у наші держметрики.

14 коментарів:

  1. Анонім08.01.19, 22:41

    Індонезія...цікавий досвід країни, яка у своїх міністерських вимогах ігнорує ВОС, віддаючі перевагу Скопусу. У більшості подібних країн, де богом для вченого є Скопус, міністерські вимоги до публікацій розпочинаються з того, що чітко вказується, журнали з якого квартилю Скопусу зараховують публікацію. Як правило, 4 квартиль не зараховується, а у деяких навіть 3 квартиль це вже не тема для зарахування публікації. Індонезія поки що рідке виключення (зараховують із Скопуса усе підряд) тому нам на них точно рівнятися не потрібно. Якість наукової публікації, це впершу чергу, якість процесу редагування у журналі. Добрий журнал це добра якість редагування. Тому, добрий вчений це той, який опублікувався саме у такому журналі. Якщо брати СКОПУС, то можна стверджувати, що як правило, такі добрі журнали це журнали з квартилю 1, ну можливо деякі з квартилю 2. Тому, індонезійська система оцінки імпакт-фактору вченого є поганою. Брати просто цитування і їх рахувати це вже минула історія. Історія майбутнього це навіть не тільки журнали, де ти друкуєш наукові статті. Це історія про те, хто твої статті цитує. Брат, сват, кум, товариш...це все відома тема. А от чи можна примусити нобелевського лауреата тебе цитувати? Таке одне цитування буде коштувати більше, ніж тисячі накречений цитувань кумів та товаришів. Саме цю ідею пропагують останнім часом, як перспективну ідею, деякі видавничі компанії та розробники програмного забезпечення, особливо у рамках однієї відомої видавничої асоціації. Нажаль, ані до Індонезії, ані до України ця ідея поки що не дійшла. Видно, щось перешкоджає цьому у нас.

    ВідповістиВидалити
    Відповіді
    1. В ЄС ніби залишилось лише 2 країни, які досі міряються не за Scopus, а квартилі річ дуже умовна. Звідки такі упередження щодо 3-4 квартилів? Бачив приклади, коли особливо преміювали за 1 та 2 квартиль, але заперечень проти 3 та 4 досі не бачив.

      Видалити
  2. Анонім09.01.19, 18:18

    Лише 2 країни у Європі, які міряються не за СКОПУС? ...це найкраща оманлива фантазія від Елзівера. Як же Елзівер любить зневажати національні спроби зробити власні рейтинги журналів. У більшості країн ЄС, які звісно усі є самодостатніми країнами, міряються на СКОПУСом, а виключно національними рейтингами журналів. Це у нас чухають у потилицю та вказують на "старших братів" - СКОПУС та ВОС. Закритим скандинавам до Скопусу справи немає. Французам - ті і чути нічого не хочуть про СКОПУС. Німцям, там своє...і так далі. Про Британію я вже взагалі мовчу - Скопус вони завжди зневажали як рейтинг журналів для заліку статей своїх вчених. А за Океаном...США...у них на Скопус алергія. Австралія - аналогічно. Взагалі проблема у тому, що якщо наука у країні це не демо-версія, а дійсно актуальний вид діяльності, то країна розробляє свій рейтинг наукових журналів, залучаючи до цього процесу провідних вчених світу. Включають до списку (рейтингу) видань не тільки свої та плюс СКОПУС та ВОС як у нас (мутант ще той), а і вітчизняні і зарубіжні журнали, і ніяких тобі ще + усе із СКОПУСУ та ВОСу. Таких експертів у світі багато. Вони, експерти, не танцюють під дудку міністерства освіти, а ріжуть список журналів до прийнятного найбільш жорстким критеріям. А у нас... хто розробляв з досвідчених зарубіжних експертів наші вимоги до списку фахових видань...хто? Ніхто. Чому ані британці, ані австралійці та інші не бояться сказати, що їм бракує у цьому досвіду, та залучають відових та обєктивних, а ми ні? Бо у колах відомих та обєктивних не моляться а ні на СКОПУС, а ні на ВОС, та окрім цього, не нереносять на дух кумівства. Інакще залишилося б у такому списку фахових видань у нас не більше декількох десятків вітчизняних журналів. А як же інші півтори тисячі із минулого фахового списку....а якже різні схеми їз науковими публікаціями під наукові та вчені звання та ступені? Тоді б рухнула б уся ота грандіозна схема. Тому, не самодостатні ми поки що. Усе що не робимо у цій темі, робимо виключно під "схеми". Тому, у Європі на Скопус не молиться ніхто. Дехто звертають увагу. Але не більше.

    ВідповістиВидалити
    Відповіді
    1. Ті ж Snowball Metrics використовують і в Британії, і в Австралії, рейтинги Times Higher Education (THE), QS... будують на даних Scopus. Нема мови про те, що в цих країнах Scopus єдине джерело даних для прийняття управлінських рішень у сфері науки та освіти, але й для України - це поки просто додатковий статистичний показник, який мало на що впливає.

      Видалити
  3. Анонім10.01.19, 22:52

    Snowball Metrics це проект, який підхватили лише окремі виші у країнах, що ви зазначили. Це не більше 5-7 відсотків університетів у цих країнах. Крім того, цьому проекту вже скоро буде 10 років, і він активно не розростається. У цих країнах міністерство освіти та науки проводить систематично (як правило раз на 5 або 3 роки) офіційну, обовязкову для вишів оцінку діяльності викладачів, і застосовує для цього свої національні списки журналів. При цьому, жодного посилання на ВОС або Скопус. Усе інше - то просто університетські проекти і не більше. Рейтинги Таймс та QS, та національні журнальні рейтинги це абсолютно різні речі. У цих явищ різне призначення. Щодо України...і ВОС і СКОПУС дуже впливають на рівень управлінської істерії у наших вишах. Це факт. ВОС та СКОПУС вже давно стали приводом для керівництва вишів та інструментом тиску на викладачів. Тому, на цей час і ВОС і СКОПУС дуже погано впливають на мікроклімат в колективах університетів, та на мотивацію науковців писати високоякісні статті. Головний принцип зараз "Якість не важлива, важлива кількість". Отакий він, той "просто додатковий статистичний показник".

    ВідповістиВидалити
    Відповіді
    1. Так і кажу, що потрібно використовувати різні джерела даних, а не вчепитися, наприклад, лише в один Scopus. Але бачити дані Scopus також потрібно. Керівники наших університетів істерять з восами-скопусами, але це з серії застав дурня богу молитися... Що їм насправді дають ці дані? Що досі їм приносила ця щорічна велика статистика? Пригадую, колись в інтерв’ю радили писати цифри «від фонаря». Думаю, така порада недалека від правди, бо для більшості наших зво ці цифри ніяк не вплинули на практику координації наукових робіт в установі.

      Видалити
  4. Анонім12.01.19, 20:44

    Тут не можна не погодитися. Аналітика у СКОПУСа могла б бути корисною і у нас, але...А якщо мислити стратегічно та практично одночасно, то хто заважає нашому Міністерству освіти та науки замовити у подібної організаціі, як за посиланням ниже, національний рейтинг журналів, або разом з ним і рейтинг науковців? https://www.stm-assoc.org/industry-news/clarivate-analytics-and-redib-launch-ibero-american-journal-rankings-revealing-the-most-impactful-journals-in-ibero-america/

    ВідповістиВидалити
    Відповіді
    1. Ну заплатить Україна мільйон за подібну аналітику (яку може зробити й своїми силами), дізнаються чиновники, що в астрономії, фізиці, машинобудуванні і в деяких галузях хімії ми ще не все профукали - як потім скористатися цими даними? Як впливає на процес прийняття рішень у галузі науки та статистика і аналітика, якою вже володіють наші міністерства?

      Видалити
  5. Анонім14.01.19, 02:34

    Своїми силами...Ви маєте на увазі ситуацію стандартну для нас - тобто дерибан бюджетних коштів? Своїми силами ми можемо лише дерибанити поки що. А якщо по іншому питання поставити: "Ну дізнаємося, у яких галузях ми майже все профукали". Питання то у тому і стоїть, що краще ж мільйон роздерибанити самостійно, ніж платить його якійсь зарубіжній компанії. А головне - а навіщо такий незалежний рейтинг Україні? Як же потім бути с любими друзями, які публічно мають визнати, що вже майже все профукали в окремих галузях науки. Тоді міністерство ще й буде вимушене звітувати на увесь світ та пояснювати, що то за наука така, на яку виділяються мільйони буджетних грошей. Тому, ні, у нас все поки що тишком нишком. Імітуємо, поки що.

    ВідповістиВидалити
    Відповіді
    1. Бачив приклади цих аналітичних звітів - у нас подібні, наприклад, УРАН пропонує... тому оминати своїх фахівців, а натомість платити іноземцям, щоб зростали їхні спеціалісти - це якось не комільфо.

      Видалити
  6. Анонім14.01.19, 21:30

    УРАН пропонує у нас аналогічні звіти? http://uran.net.ua/~ukr/ps-prices-u.htm
    У чому цінність такого звіту? Достовірність показників. УРАН пише про 3 незалежних експертів...а Визнаєте, скільки експертів формує національний індекс журналів у країнах Європи...у середньому декілька десятків, з різних країн світу. Тому, УРАН це поки ні про ще не свідчить. Тому, жодних порівнянь з тим, що є ТАМ. А щодо "оминати своїх фахівців"...а у нас є такі? Назвіть їх імена та вдалі, всесвітньовизнані проекти. А щодо "не комільфо та іноземних фахівців"...якщо так, то значить австралійці найняли двох британських вчених, щоб ті сформували їх найціональний індекс журналів, то не комільфо....а британці, які включили до свого комітету з національного індексу журналів велику групу іноземців, то теж не комільфо? Якщо зараз, у цей час, ми бажаємо найкращий продукт (журнальний індекс), то ми маємо наймати найкращих у світі, інакше то є самообман.

    ВідповістиВидалити
    Відповіді
    1. Якщо мова саме про оцінку журналів, то більшість наших журналів публікує статті українською = що там британці, чи австралійці зможуть оцінювати? Поглянуть на англомовну версію веб-сайту, повноту метаданих, скажуть Моголи! моголи! і хапнуть пару тисяч фунтів за таку послугу.

      Видалити
  7. Анонім15.01.19, 22:44

    Якщо ані британцям, а ні австралійцям, а ні комусь там ще не зможуть нас оцінити, то це значить лише одне - те, що ми друкуємо, ТАМ точно нікому не потрібно. Тому, продовжуємо, товаріщі, і далі йти курсом партії - Дайош те, що ТАМ нікому не потрібно! А про монголів, то правда. Поводимо ми себе саме так.

    ВідповістиВидалити
    Відповіді
    1. Не можна бути аж таким категоричним, що абсолютно все, що друкуємо, нікому не потрібно, навіть нам самим. От, наприклад, шведські гуманітарії не паряться метриками, але навряд хтось розпочне стверджувати, що все що пишуть шведські гуманітарії нікому не потрібне.

      Видалити