Наукометричне та експертне оцінювання: дискусійні питання
DOI:
https://doi.org/10.15407/sofs2022.02.065Ключові слова:
експертне оцінювання, індекс цитування, індекс Хірша, імпакт-фактор, експертна оцінка, рецензування, експертиза, розширене експертне оцінювання, «бета-рідер».Анотація
Стаття присвячена актуальним питанням оцінювання результатів наукової діяльності. Проаналізовано можливості та проблеми використання наукометричних та експертних методів оцінювання в сучасній науковій сфері. Використано матеріали Сан-Франциської декларації щодо оцінювання досліджень та Лейденського маніфесту щодо наукометрїі як документів, актуальних для вчених і громадськості. Підкреслено, що один із основних висновків, зроблених у зазначених документах, стосується недоречності переоцінки значення кількісних показників і необхідності врахування багатоаспектності завдань науки. Проаналізовано переваги та недоліки наукометричного оцінювання. Показано можливості та обмеження використання індексів цитування, індексу Хірша, імпакт-фактора та інших індексів для оцінювання продуктивності діяльності вчених, ефективності роботи наукових установ і престижності наукових журналів. Розглянуто сутність поняття «експертна оцінка» та основні методи її отримання: метод Дельфі, метод мозкового штурму, метод синектики. Висвітлено проблемні аспекти їх використання. Розглянуто моделі експертного оцінювання: одинарне «сліпе» рецензування, подвійне «сліпе» рецензування та відкрите рецензування. Показано, що можливості інтернет-середовища стали детермінантами переходу від моделі закритого допублікаційного рецензування до моделі відкритого постпублікаційного онлайнового рецензування. На підставі концепції постнормальної науки С. Фунтовича та Дж. Равеца розкрито сутність понять «розширена експертна спільнота» та «розширене експертне оцінювання»; показано, що вони відображають участь громадськості в оцінюванні науки та технологій. Підкреслено, що при розширеному експертному оцінюванні потрібно уникати ідеологічної, політичної та релігійної ангажованості. Проаналізовано формування нового феномену «бета-рідера» при оцінюванні наукових текстів. Розглянуто декілька онлайн-платформ «бета-рідерів». Зроблено висновок, що наукометричні та експертні оцінки мають використовуватись як взаємодоповнюючі аналітичні засоби.
Посилання
Horovy, V. (2015) Criteria for the quality of scientific achievements in the context of the security of national interests. Visn. Nac. Akad. Nauk Ukr., 6, 74–80 [in Ukrainian].
Kirichenko, I.V., & Shelyubskaya, N.V. (2019). The system for assessing the quality of scientific research in European countries. University Management: Practice and Analysis, 23(4), 9–20. https://doi.org/10.15826/umpa.2019.04.025 [in Russian].
Kostenko, L., & Simonenko, T. (2016). Scientometrics: from numerology to the Leiden Manifesto. Scientific Periodicles of Vernadsky National Library of Ukraine, 43, 285–295 [in Ukrainian]. https://doi.org/10.15407/np.43.285
Malitsky, B., Ribachuk, V., Koretsky, A., & Popovich A. (2013). Scientometrics: new functions and problems of adequacy. Nauka innov., 1 (119), 11–17 [in Russian].
Didenko, Yu.V., & Radchenko, A.I. (2017). Publication activity as a way of scientific communication and pursuit of ratings. Visn. Nac. Akad. Nauk Ukr., 9, 82–98. https://doi.org/10.15407/visn2017.09.082 [in Ukrainian].
Rybachuk, V.P. (2013). Bibliometric portrait of academician Vladimir Ivanovich Vernadsky: fame in the world. Libraries of National Academies of Sciences: Problems of Functioning, Development trends, 11, 22–33 [in Russian].
Kavunenko, L.P., Khorevin, V.I., Kostrytsya, O.P., & Levchenko, O.G. (2010). Scientometric monitoring of scientific periodicals in the socio-humanitarian sphere of Ukraine. Science of Ukraine in the Global Information Space, 3, 71–79 [in Ukrainian].
Malitsky, B.A. (2017). Who and how should evaluate the scientific results of a scientist. Science and Science of Science, 3, 34–53. https://doi.org/10.15407/sofs2017.03.034 [in Russian].
Moskaleva, O.V. (2013). The use of scientometric indicators for the evaluation of scientific activity. Science Policy Research, 13, 85–109 [in Russian].
Vyalkov, A.I., & Glukhova E.A. (2013). Evaluation of the quality of scientific research activities of a medical organization using scientometric indicators. Healthcare of the Russian Federation, 3, 3–6 [in Russian].
Kostenko, L.I., Simonenko, T.V., Grachev, O.A., & Rybachuk, V.P. (2017). Bibliometrics of domestic science: opportunities and limitations of the application of the Google Scholar web system. Science and Science of Science, 3, 87–96 [in Russian]. https://doi.org/10.15407/sofs2017.03.087
Aleksinska, M. (2016). Beware the index! Why international ratings cannot properly assess the Ukrainian labor market. Economic policy. URL: https://voxukraine.org/osterigaitesreityngiv-ua/ (last accessed: 01.21.2022) [in Ukrainian].
Balatsky, E.V., Ekimova, N.A., & Tretyakova O.V. (2021). Methods for assessing the quality of scientific economic journals. Journal of Institutional Studies, 2, 27–52 [in Russian]. https://doi.org/10.17835/2076-6297.2021.13.2.027-052
Obolkina, S.V., & Popova, N.G. (2019). Expertise vs peer review: conceptual foundations of competencies. Sociology of Science and Technology, 4, 38–50 https://doi.org/10.24411/2079-0910-2019-14003 [in Ukrainian].
Maslennikov, E.V. (2017). The possibility of using expert knowledge as a source of concepts for the development of organizations. Bulletin of the Moscow University, 2, 229–249 [in Russian]. https://doi.org/10.24290/1029-3736-2017-23-2-229-249
Zhuravleva, V.A. (2012) Expert assessment method: historical explication and modern model. Bulletin of Peoples’ Friendship University of Russia. Series: Sociology, 2, 28–38 [in Russian].
Pavliuk, K.V. (2019). Problems of evaluation of scientific activity. RFI Scientific Papers, 4, 5–19. https://doi.org/10.33763/npndfi2019.04.005 [in Ukrainian].
Zhenchenko, M.I. (2016). New model of reviewing scientific publications in the digital environment. State and Regions. Series: Social Communications, 1, 169–172 [in Ukrainian].
Gerasimenko, A.G., Mazaraki, N.A., & Duginets, G.V. (2019). Reviewing as a tool for promoting social and economic achievements. Economic Space, 141, 25–35. https://doi.org/10.30838/P.ES.2224.100119.25.343 [in Ukrainian].
Funtowicz, S.O., & Ravetz, J.R. (1991). A new scientific methodology for global environmental issues. Ecological economics: The science and management of sustainability. New York: Columbia Univ. Press.
Bucchi, M., & Trench, B. (2018). Handbook of Public Communication of Science and Technology. Trans. from English. Moscow: Alpina non-fiction [in Russian].
Jenkins, H. (1958). Convergence Culture: Where Old and New Media Collide. NYU Press.
Hellekson, K., & Busse, K. (2006). Fan Fiction and Fan Communities in the Age of the Internet: New Essays. McFarland.
Grigoriev, V.E. (2018). Sociology of science. Moscow: Prospekt [in Russian].
Bornmann, L. & Daniel, H.-D. (2005). Does the h-index for ranking of scientists really work? Scientometrics, 65(3), 391–392. https://doi.org/10.1007/s11192-005-0281-4
Shostak, A.V., Lukach, V.S., Boris, M.M., & Kupchuk, I.M. (2012). Hirsch index and impact factor as a tool for scientometrics at the previous university. Collection of Scientific Works of the Vinnitsa National Agrarian University, 11(65), 375–380 [in Ukrainian]
Chaikovskiy, Yu., Silkina, Yu., & Pototska, O. (2013). Scientometric bases and their quantitative indicators (Part I. Comparative characteristics of scientometric bases). Visn. Nac. Akad. Nauk Ukr., 8, 90–94 [in Ukrainian].
Popovich, O. (2020). Scientometric ignorance (the mania of bureaucracies in implementing digital assessment of R&D). Granite of Science. URL: https://un-sci.com/ru/2020/02/06/naukometrichne-neviglastvo-shhodo-maniї-byurokratij-zaprovaditi-czifrove-oczinyuvannya-nauki/ (last accessed: 21.01.2022) [in Ukrainian].
Currie, R.R., & Pandher, G.S. (2020). Finance journal rankings: Active scholar assessment revisited. Journal of Banking & Finance, 111, 1–14. https://doi.org/10.1016/j.jbankfin.2019.105717
Jacalyn Kelly, Tara Sadeghieh, & Khosrow Adeli (2014). Review in Scientific Publications: Benefits, Critiques, & A Survival Guide. The Journal of Internaitonal Federation of Clinical Chemistry and Laboratory Medicine, 25(3), 227–243. URL: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4975196/ (last accessed: 01/21/2022).
Funtowicz, S., & Ravetz, J. (1993). Science for the post-normal age. Futures, 25(7), 739–755. https://doi.org/10.1016/0016-3287(93)90022-L
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2022 Наука та наукознавство
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
