Ana Carolina Spatti
Doutoranda no Departamento de Política Científica e Tecnológica
Instituto de Geociências - Unicamp Atualmente, podemos avaliar o impacto da produção científica de duas formas: a que eu vou chamar aqui de tradicional, baseada em indicadores de citação (a bibliometria), e a emergente, que é a altmetria. Como ponto de partida das discussões que aqui proponho, coloco uma definição introdutória para altmetria (altmetrics): consiste no estudo e no uso de métricas alternativas de impacto acadêmico baseadas no registro de atividades realizadas em ambientes online (Priem et al., 2010). Dessa definição, percebemos que um conceito subjacente à altmetria é impacto acadêmico-cientifico. Então, o primeiro passo para compreender o que é a altmetria é entender por que precisamos medir os resultados científicos.
Para que os/as pesquisadores/as acumulem capital científico[i], sua produção é orientada a ser publicada em canais considerados de prestígio da ciência, como livros e periódicos, porque, segundo o atual sistema de avaliação científica, esses canais são capazes de transferir reconhecimento aos seus autores (Nascimento, 2016). Portanto, precisamos medir o impacto de uma publicação pois, desses resultados, depende a manutenção do capital científico do/a pesquisador/a (Bourdieu; 2004). Em outras palavras, medimos o impacto dos resultados da produção científica para alimentar esse Sistema de Reputação da Ciência (Whitley, 2000).
Fonte: google imagens, agosto 2020
Logo, entendemos os pressupostos tradicionais para medir a produção científica. Agora, por que medir diferente? O que propõem as métricas alternativas? Em que medida elas se diferenciam do que já é feito?
Os indicadores tradicionais mais comumente utilizados são o fator de impacto, voltado aos periódicos, e o índice H, no caso dos/as pesquisadores/as. Tais indicadores têm sido alvo de críticas. As principais referem-se ao fato de que é possível inflar o número de citações recebidas sem que isso implique no aumento da qualidade dos artigos, por meio da autocitação (quando o/a autor/a cita seus trabalhos anteriores) ou citações recíprocas (quando pesquisadores fazem um acordo para citar-se mutuamente). Essa manipulação não ocorre só no âmbito dos pesquisadores, mas também por parte de editores de periódicos, quando estes solicitam aos autores que citem trabalhos publicados na própria revista, aumentando assim seu fator de impacto sem que isso necessariamente reflita na melhoria da qualidade do periódico.
Outra crítica refere-se ao tempo médio necessário para gerar essas métricas, que é considerado longo, de modo que a repercussão imediata da publicação se torna um fenômeno invisível. Além disso, há vieses em relação ao uso de variáveis no cálculo do fator de impacto, como o tipo de artigo citante (artigos de revisão costumam ser mais citados que artigos originais), a área do conhecimento e o idioma do artigo citado (artigos em inglês tendem a ser mais citados) (Nascimento, 2016).
Nesse sentido, as métricas tradicionais, a despeito de serem bem estabelecidas e consideravelmente aceitas na comunidade científica, possuem várias limitações no contexto atual (Borrego, 2014; Vanti; Sanz-Casado, 2016; Baheti; Bhargava, 2017; Maricato; Lima, 2017), marcado pelo crescimento das Tecnologias de Informação e Comunicação (TICs) e pela popularização de redes sociais (Williams, 2017).
Fonte: google imagens, agosto 2020
Portanto, frente a esses questionamentos e com o objetivo de atualizar o conceito de influência científica, surgem as métricas alternativas, como uma nova forma de medir o envolvimento e a interação das pessoas a partir de um trabalho acadêmico (Piwowar, 2013; Williams, 2017). No termo altmetria (que representa a junção de alternativo + métrica), o conceito “alternativo” está ligado a diferentes aspectos que o caracterizam. Primeiramente, é alternativo do ponto de vista das fontes de dados usadas para produzir essas novas métricas: ambientes e ferramentas da web. Alternativos também são os objetos de estudo, que buscam gerar indicadores não somente para os artigos de periódicos, como também para uma série de produtos de pesquisa, que incluem literatura cinzenta, programas e códigos de computador, postagens em blogs, vídeos, entrevistas, apresentações de slides, pôsteres, entre outros. A ideia subjacente é que, por exemplo, menções em blogs, número de tweets ou de pessoas que mantêm um artigo em seu gerenciador de referência podem ser uma medida válida de repercussão e uso de publicações científicas (Torres, 2013). Logo, as métricas alternativas permitem a medição do impacto da pesquisa para além das citações em periódicos acadêmicos (Hammarfelt, 2014; Taylor, 2013), facilitando a análise de diferentes tipos de materiais e fontes (Torres, 2013; Hammarfelt, 2014; Vanti; Sanz-Casado, 2016; Williams, 2017).
Outro ponto importante a ser destacado é a velocidade de resposta das métricas alternativas. Diferentemente da análise de citações, que requer um longo período de tempo para acumular um volume significativo de dados, a altmetria tem a vantagem de dispor de indicadores quase imediatos de difusão dos artigos (Borrego, 2014; Williams, 2017). Nesse sentido, a altmetria traz indicadores que ajudam a estimar a influência que a produção científica alcança dentro e fora da academia, visto que inclui em sua avaliação novos atores sociais, fontes de dados e ferramentas (Mohammadi; Thelwall, 2014; Vanti; Sanza-Csado, 2016 ), auxiliando na compreensão da relação entre ciência e sociedade (Maricato; Lima, 2017).
Fazendo referência ao título dessa publicação, podemos dizer que a altmetria vai “tomar o horário nobre” e substituir as métricas tradicionais na avaliação científica?
Fonte: google imagens, agosto 2020
Minha aposta (e também minha indicação) é não. A altmetria deve ser vista, assim como propõem vários autores (ver Baheti & Bhargava, 2017; Barros, 2015; Borrego, 2014; Galloway et al., 2013; Maricato & Lima, 2017; McFedries, 2012; Melero, 2015; Torres, 2013; Vanti & Sanz-Casado, 2016; Williams, 2017), como complementares às métricas tradicionais. Explico por quais razões. Apesar de suas potencialidades, não podemos esquecer que a altmetria tem desafios a enfrentar. Dentre eles, podemos citar a efemeridade das fontes de dados; hoje, usamos Instagram e Facebook, mas, até pouco tempo, predominava o Orkut e outras redes sociais. Como padronizar indicadores de diferentes fontes? Como comparar polegares (facebook likes) e corações (twitter likes) (Gouvea, 2016)? Além disso, muito se discute sobre como a altmetria, notadamente por meio das redes sociais, permitiu “difundir” os achados científicos para fora da academia, mas uma questão subjacente é como “comunicá-los” para a sociedade. E se, de fato, podemos falar de “impacto social” (Bornmann, Haunschild e Adams (2019). Ademais, temos que considerar que as ferramentas comerciais de altmetria são, atualmente, estrangeiras, cujos gestores têm seus próprios interesses e inclinações. Outro ponto, bastante discutido entre os estudiosos da ciência, é que critérios de avaliação criam comportamentos (Velho, 2008). O que significa que, caso a altmetria venha a “tomar o horário nobre”, passaremos a avaliar a ciência em termos de curtidas, downloads, views e compartilhamentos. A adoção de métricas baseadas estritamente na web social pode impulsionar comportamentos na comunidade científica ainda pouco conhecidos.
Portanto, defendo que, isoladamente, as métricas alternativas não correspondem ao impacto científico; são, na realidade, uma proxy, que ajudam a representar parte da dinâmica de produção e difusão do conhecimento. Por isso, a “grande audiência” deve partir da associação entre bibliometria e altmetria, que, conjuntamente, podem gerar novos insights sobre as pesquisas, suas tendências e sobre a relação entre ciência e sociedade. Logo, a palavra de ordem deve ser agregação, e não substituição.
Referências
Baheti, A. D., & Bhargava, P. (2017). Altmetrics: A Measure of Social Attention toward Scientific Research. Current Problems in Diagnostic Radiology, 46(6), 391–392. https://doi.org/10.1067/j.cpradiol.2017.06.005
Barros, M. (2015). Altmetrics: métricas alternativas de impacto científico com base em redes sociais. Perspectivas Em Ciência Da Informação, 20(2), 19–37. https://doi.org/http://dx.doi.org/10.1590/1981-5344/1782
Bornmann, Lutz; Haunschild, Robin; Adams, Jonathan (2019). “Do altmetrics assess societal impact in a comparable way to case studies? An empirical test of the convergent validity of altmetrics based on data from the UK research excellence framework (REF)”. Journal of informetrics, v. 13, n. 1, pp. 325-340. https://doi.org/10.1016/j.joi.2019.01.008
Borrego, Á. (2014). Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. Profesional de La Informacion, 23(4), 352–358. https://doi.org/10.3145/epi.2014.jul.02
Bourdieu, Pierre (2004). Os usos sociais das ciências: por uma sociologia clínica do campo científico. São Paulo: UNESP.
Gouveia, Fábio Castro. (2016). A altmetria e a interface entre a ciência e a sociedade. Trabalho, Educação e Saúde, 14(3), 643-645. https://dx.doi.org/10.1590/1981-7746-sip00126
Galloway, L. M., Pease, J. L., & Rauh, A. E. (2013). Introduction to altmetrics for science, technology, engineering, and mathematics (STEM) librarians. Science and Technology Libraries, 32(4), 335–345. https://doi.org/10.1080/0194262X.2013.829762
Hammarfelt, B. (2014). Using altmetrics for assessing research impact in the humanities. Scientometrics, 101(2), 1419–1430. https://doi.org/10.1007/s11192-014-1261-3
Maricato, J. de M., & Lima, E. L. M. (2017). IMPACTOS DA ALTMETRIA: aspectos observados com análises de perfis no Facebook e Twitter. Inf. & Soc., 27(1), 137–145. Retrieved from https://www.researchgate.net/profile/Joao_De_Melo_Maricato/publication/324485273_IMPACTOS_DA_ALTMETRIA_aspectos_observados_com_analises_de_perfis_no_Facebook_e_Twitter/links/5acfada50f7e9b18965ccf4d/IMPACTOS-DA-ALTMETRIA-aspectos-observados-com-analises-d
McFedries, P. (2012). Measuring the impact of altmetrics. IEEE Spectrum, 49(8), 28. https://doi.org/10.1109/MSPEC.2012.6247557
Melero, R. (2015). Altmetrics – a complement to conventional metrics. Biochemia Medica, 25(2), 152–160. https://doi.org/10.11613/BM.2015.016
Mohammadi, E., & Thelwall, M. (2014). Mendeley readership altmetrics for the social sciences and humanities: Research evaluation and knowledge flows. Journal of the Association for Information Science and Technology, 65(8), 1627–1638. https://doi.org/10.1002/asi.23071
Nascimento, A. G. do. (2016). Métricas alternativas para a avaliação da produção científica: um guia básico para o uso de altmetria para bibliotecários. Universidade Federal do Estado do Rio de Janeiro.
Piwowar, H. (2013). Value all research products. Nature, 493, 159.
Priem J, Taraborelli D, Groth P, & Neylon C. (2010). Altmetrics: a manifesto. 26 October 2010. http://altmetrics.org/manifesto
Taylor, M. (2013). The Challenges of Measuring Social Impact Using Altmetrics. Research Trends-Impact-Using-Altmetrics/>, 33. Retrieved from https://www.researchtrends.com/issue-33-june-2013/the-challenges-of-measuring-social-impact-using-altmetrics/
Torres, D. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar, XXI(41), 53–60. https://doi.org/10.3916/C41-2013-05
Vanti, N., & Sanz-Casado, E. (2016). Altmetria: A métrica social a serviço de uma ciência mais democrática. Transinformacao, 28(3), 349–358. https://doi.org/10.1590/2318-08892016000300009
VELHO, L. (2008). A publicação científica e a avaliação nas ciências agrárias: pontos para discussão. Boletim Informativo da Sociedade Brasileira de Ciências do Solo, Viçosa, p. 22-24. Set/Out.
Whitley, Richard (2000). The intellectual and social organization of the sciences. London: Oxford.
Williams, A. E. (2017). Altmetrics: An overview and evaluation. Online Information Review, 41(3), 311–317. https://doi.org/10.1108/OIR-10-2016-0294
[i] Capital científico é um tipo de capital/poder simbólico em que um conjunto de cientistas – os “pares” – atribuem reconhecimento a alguém por sua produção científica.
Comentarios