Актуальні питання оцінювання суспільного впливу наукових досліджень
DOI:
https://doi.org/10.15407/sofs2024.02.052Ключові слова:
суспільний вплив наукових досліджень, участь у дослідженнях, оцінювання наукових досліджень, альтернативні метрики, Altmetric, Altmetric Attention Score, Dimensions, SciVal, Lens, дослідження у галузі масмедіа та комунікаційАнотація
Протягом останнього десятиліття об’єктивне оцінювання наукових досліджень набуває дедалі більшої актуальності з огляду на виклики відкритої науки, сприяння підвищенню продуктивності наукових досліджень, прозорості та неупередженості оцінки дослідників. Але визначення якості і суспільного впливу наукових досліджень ускладнюється через їх відмінності залежно від галузі досліджень чи країни. Численні ініціативи потребують нових підходів до вимірювання суспільного впливу наукових досліджень, які забезпечуватимуть баланс між кількісними та якісними показниками і використання нормалізованих за галуззю та альтернативних метрик, особливо з урахуванням викликів відкритої науки. У статті надано огляд сучасних методів визначення суспільного впливу наукових досліджень у різних країнах світу (на прикладі Великої Британії, Іспанії, США, Канади, Австралії) та альтернативних метрик й інструментарію для вимірювання такого впливу (Dimensions, Th e Lens, SciVal), зокрема для досліджень у галузі масмедіа та комунікацій. Використано загальні (абстрагування, аналіз і синтез, аналіз джерел тощо) і спеціальні методи (контент-аналіз, аналіз медіа-дискурсу), а також окремі показники альтметрики. Визначено топ-10 статей із найвищим показником Altmetric Attention Score (AAS) і найвищим показником цитування за даними Dimensions. Виявлено, що найвищі показники AAS належать статтям про COVID-19, що вказує на підвищену суспільну увагу до теми світової пандемії. Для вимірювання суспільного інтересу в альтметричних показниках впливу обрано тематику російсько-української війни та відповідні дослідження (публікації 2022—2023 рр.) у галузі масмедіа та комунікацій (за базою Dimensions). З-серед 514 статей визначено 10 із найвищим показником AAS і наведено кількість цитувань для них. Виявлено, що вплив досліджень у галузі масмедіа та комунікацій навіть на актуальну тему війни у XXI столітті в центрі Європи набагато менший ніж медичних досліджень, а також має суттєво нижчу оцінку показника цитування. Зазначено, що недоліки альтметрики пов’язані з не цілком прозорою методологію та прихованим алгоритмом підрахунку: альтметрика є показником онлайн-уваги до статті (не завжди позитивної), а не якості відповідного дослідження, вона не придатна для порівняння статей з різних галузей наук.
Посилання
Ярошенко Т.О., Жарінова А.Г. Наукове цитування: історичний і теоретичний ландшафт. Наука та наукознавство. 2023. № 3 (121). С. 41—67. https://doi.org/10.15407/sofs2023.03.041
Ярошенко Т., Сербін, О., Ярошенко О. Відкрита наука: роль університетів та бібліотек у сучасних змінах наукової комунікації. Цифрова платформа: інформаційні технології в соціокультурній сфері. 2022. № 5 (2). С. 277—292. https://doi.org/10.31866/2617-796X.5.2.2022.270132
Garfield E. Citation Indexing: Its Theory and Application in Science, Technology, and Humanities. New York, NY: Wiley, 1979. xiii, 274 p.
Elkana Y. Toward a Metric of Science: The Advent of Science Indicators. New York, NY: Wiley, 1978. xiv, 354 p.
Curry S., Gadd E., Wilsdon J. Harnessing the Metric Tide: indicators, infrastructures & priorities for UK responsible research assessment. Report of The Metric Tide Revisited panel, December 2022. [S. l.]: Research on Research Institute, 2022. 1 online resource. https://doi.org/10.6084/m9.fi gshare.21701624
Добров Г. М. Наука о науке. Введение в общее науковедение. Киев: Наук. думка, 1989. 301 с.
Малицкий Б.А. Кто и как должен оценивать научные результаты ученого. Наука та наукознавство. 2017. № 3. С. 34—53. https://doi.org/10.15407/sofs2017.03.034
Маліцький Б.А. Прикладне наукознавство. Київ: Фенікс, 2007. 464 с.
Малицький Б.А., Попович О.С., Соловйов В.П., Єгоров І.В., Булкін І.О. Раціональне фінансування науки як передумова розбудови знаннєвого суспільства в Україні. Київ: Фенікс, 2004. 32 с.
Попович О.С., Рижко Л.В. Сучасні виклики науці і шляхи їх подолання. Наука та наукознавство. 2022. № 1 (115). С. 88—104. https://doi.org/10.15407/sofs2021.01.088
Рибачук В.П. Методологічні проблеми оцінювання продуктивності наукової діяльності. Наука та наукознавство. 2013. № 2. С. 46—52.
Індикатори науки та інновацій: міжнародні стандарти та практика їх використання в Україні / За наук. ред. І.Ю. Єгорова. Київ: ДУ «Інститут економіки та прогнозування НАН України», 2016. 156 с.
Gasanov, S., Kotlyarevsky, Y., Melnikov, O., Kniaziev, S., Shtangret, A., Semenyuk, E. Methodological approaches to labor norming in scholarly research and development. Science and Innovation. 2019. No. 15 (1). P. 5—24. https://doi.org/10.15407/scine15.01.005
Горовий В.М. Критерії якості наукових досліджень у контексті забезпечення національних інтересів. Вісник НАН України. 2015. № 6. С. 74—80.
Павлюк К.В., Камінська О.С. Зарубіжний досвід оцінки якості наукової діяльності. Наукові праці НДФІ. 2019. № 3. С. 25—40. https://doi.org/10.33763/npndfi2019.03.025
Пилипенко Г.М., Федорова Н.Є. Наука як фактор соціально-економічного розвитку суспільства. Дніпро: НТУ «ДП», 2020. 213 с.
Ярошенко Т., Ярошенко О. Високоцитовані документи науковців України в базах даних цитувань: кореляція бібліометричних індикаторів. Український журнал з бібліотекознавства та інформаційних наук. 2020. № 5. С. 108—126. https://doi.org/10.31866/2616-7654.5.2020.205734
Reed M. The research impact handbook. 2nd ed. Huntly, Aberdeenshire: Fast Track Impact, 2018. 380 р.
Reed M., Cairney P. Using research to influence policy: a handbook for researchers. Leeds: University of Leeds, 2021.
Vutsova A., Yalamov T., Arabadzhieva M. In search of excellent research assessment. Baden-Baden: Nomos, 2023. 176 p. https://doi.org/10.5771/9783748937203
Alstete J.W., Beutell N.J., Meyer J.P. Evaluating scholarship and research impact: history, practices, and policy development. Bingley, UK: Emerald Group Publishing Limited, 2018. https://doi.org/10.1108/9781787563872
Roemer R.C., Borchardt R. Meaningful Metrics: A 21st Century Librarian’s Guide to Bibliometrics, Altmetrics, and Research Impact. Chicago: Association of College and Research Libraries, A division of the American Library Association, 2015. vii, 241 p.
Bornmann L. What is societal impact of research and how can it be assessed? A literature survey. Journal of the American Society for Information Science and Technology. 2013. No. 64 (2). P. 217—233. https://doi.org/10.1002/asi.22803
Servaes J. On impact factors and research assessment. Telematics and Informatics. 2014. Vol. 31. No. 1. Р. 1—2. https://doi.org/10.1016/j.tele.2013.09.005
Samuel G.N., Derrick G.E. Societal impact evaluation: Exploring evaluator perceptions of the characterization of impact under the REF2014. Research Evaluation. 2015. Vol. 24. Issue 3. P. 229—241. https://doi.org/10.1093/reseval/rvv007
Peruginelli J., Pölönen J. The legal foundation of responsible research assessment: An overview on European Union and Italy. Research Evaluation. 2023. Vol. 32. Issue 4. P. 670—682. https://doi.org/10.1093/reseval/rvad035
MacFadden B. Broader Impact of Science on Society, United Kingdom: Cambridge University Press, 2019. 304 p. https://doi.org/10.1017/9781108377577
Molas-Gallart J. Research Governance and the Role of Evaluation. A Comparative Study. American Journal of Evaluation. 2012. Vol. 33. P. 583—598. https://doi.org/10.1177/1098214012450938
Hammarfelt B., Haddow G. Conflicting Measures and Values: How Humanities Scholars in Australia and Sweden Use and React to Bibliometric Indicators. Journal of the Association for Information Science and Technology. 2018. Vol. 69. P. 924—935. https://doi.org/10.1002/asi.24043
Wouters P., Thelwall, M., Kousha, K., Waltman, L., de Rijcke, S., Rushforth, A., et al. The Citation: From Culture to Infrastructure. B. Cronin, C.R. Sugimoto (Eds.). Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact. Cambridge, MA: MIT Press, 2014. P. 47—66. https://doi.org/10.7551/mitpress/9445.003.0006
Hinze S., Butler L., Donner P., McAllister I. Different Processes. Similar Results? A Comparison of Performance Assessment in Three Countries. Springer Handbook of Science and Technology Indicators. Cham: Springer, 2019. P. 465—484. https://doi.org/10.1007/978-3-030-02511-3_18
Kostoff R.N. Handbook of research impact assessment. 7th ed. Arlington: NTIS, 1997. 537 p.
Pontika N., Klebel T., Correia A., Metzler H., Knoth P., Ross-Hellauer T. Indicators of research quality, quantity, openness, and responsibility in institutional review, promotion, and tenure policies across seven countries. Quantitative Science Studies. 2022, No. 3 (4). P. 888—911. https://doi.org/10.1162/qss_a_00224
Локтєв В.М. Чи має фундаментальна наука незалежний статус в Україні? Вісник НАН України. 2021. № 6. С. 52—58. https://doi.org/10.15407/visn2021.06.052
Samuel G.N., Derrick G.E. Societal impact evaluation: Exploring evaluator perceptions of the characterization of impact under the REF2014. Research Evaluation. 2015. Vol. 24. Issue 3. P. 229—241. https://doi.org/10.1093/reseval/rvv007
Jiménez-Contreras E., de Moya Anegón F., Delgado-López-Cózar E. The Evolution of Research Activity in Spain: The Impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy. 2003. Vol. 32. P. 123—142. https://doi.org/10.1016/S0048-7333(02)00008-2
Feenstra R., López-Cózar E. The footprint of a metrics-based research evaluation system on Spain’s philosophical scholarship: An analysis of researchers’ perceptions. Research Evaluation. Vol. 32. Issue 1. P. 32—46. https://doi.org/10.1093/reseval/rvac020
Orfila M. Spain wants to change how it evaluates scientists — and end the “dictatorship of papers”: Officials aim to use wider range of research outputs to assess researchers at public universities. Science. 29 November 2023. https://doi.org/10.1126/science.zehwqlq
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2024 Наука та наукознавство
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.
