Livros acadêmicos: a importância da cultura epistêmica para o desenvolvimento de técnicas de avaliaç

VI Seminário Internacional A Arte da Bibliografia - UDESC / UFSC - Florianópolis - 2019

Livros acadêmicos: a importância da cultura epistêmica para o desenvolvimento de técnicas de avaliação

Por: Nanci Oddone e Claudio França

Resumo

O sistema científico compõe-se de conjuntos hierárquicos que, por meio de mecanismos de avaliação, valoram as formas de expressão e disseminação da pesquisa, atribuindo reconhecimento e crédito científico aos autores. Embora essa prática integre o modus operandi da construção do conhecimento, as comunidades científicas possuem características que as diferem no que tange aos processos de apropriação, geração e comunicação de conhecimento, constituindo, assim, a cultura epistêmica própria de cada domínio científico. (SANTOS; CABALLERO-RIVERO; SANCHÉZ-TARRAGÓ, 2018).

Essas singularidades são perceptíveis não apenas nos métodos, teorias, abordagens de investigação, uso de equipamentos, mas, igualmente, na forma em que são comunicadas as descobertas, incidindo sobre o canal preferencial para publicação, na extensão dos documentos e na frequência da publicação, aspectos que influenciam as práticas de avaliação da produção científica. (MEADOWS, 2009).

Por um longo período, o exame direto por meio da prática de revisão por pares sobre o conhecimento registrado em um canal de disseminação, seja o livro ou periódico científico, foi o procedimento predominante. No entanto, a explosão documental e ramificação dos saberes observada no alvorecer do século XX provocaram alterações nesse cenário, à medida que a manutenção de tal estrutura tornou-se complexa, frente ao elevado número de documentos a serem submetidos a avaliação e reconhecimento dos pares.

Concatenado a essa realidade despontante e sob a influência da autoridade epistemológica das disciplinas relacionadas às ciências naturais, o periódico acadêmico foi eleito como canal preferencial para disseminar as descobertas científicas, integrando-o à cultura epistêmica própria desse domínio científico. Como consequência, emergiram práticas de avaliação que além do tradicional método de revisão por pares, valeram-se de indicadores e métricas, construídos de forma indireta, sob a análise de citações, para legitimar a qualidade e impacto da produção científica.

Embora validado pela comunidade científica ligada às ciências normais, ao longo dos anos tem se observado que essa configuração é indevida, quando generalizada para valorar os diferentes canais de disseminação das descobertas científicas, já que as áreas conhecimento possuem dinâmicas próprias tanto para publicizar as descobertas, como para reconhecer o seu impacto e relevância.

Toma-se como exemplo o livro acadêmico como expressão da produção do conhecimento que, mesmo diante de um estado tácito de desvalorização da parte das agências de avaliação e financiamento e, mesmo em universidades e centros de pesquisa, ainda configura-se como um importante canal de transmissão e difusão do conhecimento, científico e artístico, principalmente para as áreas de ciências humanas, sociais, artes e literatura. (LUZ, 2005).

Com efeito, como tentativa de valorar o conhecimento disseminado no livro acadêmico, entender a sua dinâmica no ecossistema da comunicação científica e, de forma particular, como instrumento para obtenção de crédito e reconhecimento para os vários atores envolvidos no processo de construção da obra, tem se observado na última década, ainda que de forma incipiente, um esforço para construção de práticas de avaliação própria para livros acadêmicos, reconhecendo, desse modo, o padrão epistêmico de cada área do conhecimento.

A literatura que registra as iniciativas de avaliação para livros acadêmicos tem se constituído majoritariamente na descrição dessas propostas. Por outro lado, parcos são os estudos que se destinam a promover uma análise comparativa entre as iniciativas de avaliação, como em Gimenez-Toledo, Mañana-Rodriguez e Tejada-Artiga (2015), Gimenez-Toledo et al. (2016), Kousha e Thelwall (2015), Gimenez-Toledo et al. (2019), Zucalla e Robinson-Garcia (2019) e França (2019).

Considerando que esses estudos abordam apenas de forma sumária a técnica utilizada pelos sistemas de avaliação de livros acadêmicos para reunir informações sobre os livros, essa pesquisa estabelece como objetivo caracterizar quais são as técnicas e de que forma elas fornecem elementos para operacionalizar a avaliação. Como objetivo secundário, analisa-se se, por influência da técnica aplicada, são reproduzidas práticas de avaliação características de domínios do conhecimento em que o livro não se configura como principal canal de disseminação, deixando de respeitar a cultura epistêmica própria das diferentes áreas do conhecimento.

A estratégia metodológica, com natureza descritiva e abordagem qualitativa inclui mais de uma técnica de análise. O primeiro estágio constituiu-se de uma pesquisa documental exploratória com o objetivo de mapear as iniciativas destinadas a avaliação de livros acadêmicos. Posteriormente, pela técnica de análise documental e de conteúdo, buscou-se tipificar as técnicas empregadas para obtenção de informações sobre os livros.

Os resultados dos 24 modelos de avaliação mapeados evidenciaram dois tipos de técnicas utilizadas: a técnica direta, pela qual a extração de informações sobre a obra publicada ocorre propriamente sobre o livro, sendo ele analisado de forma integral ou parcial e; a técnica indireta, que conta com o auxílio de instrumentos complementares, isto é, a avaliação sobre o conteúdo da obra não se efetiva substancialmente pelo contato com o conteúdo publicado, mas por meio de elementos como dados de citação de índices bibliográficos, incidência em catálogos de bibliotecas, prestígio de editora acadêmica que publica a obra, audiência e engajamento mensurado em mídias sociais.

Ao se proceder o exame quantitativo sobre as iniciativas de avaliação e as técnicas empregadas, observou-se que em 70% delas (17 iniciativas) empregam-se técnicas indiretas para obtenção de informações sobre os livros que serão objeto de avaliação.

A análise desses resultados evidencia que, conquanto tenha se observado esforço na constituição de sistemas para avaliar a produção disseminada por meio de livros acadêmicos, visando reconhecer as heterogeneidades e respeitar a cultura epistêmica dos diferentes domínios do conhecimento, o modo de operacionalizar a avaliação ainda mostra-se conformado às práticas de avaliação baseado em critérios quantitativos, consagrados a outros veículos de comunicação, em especial o periódico acadêmico.

Embora apregoe-se que proceder a valoração baseada em técnicas indiretas possibilite maior celeridade e maior objetividade no processo de avaliação, compreende-se que os processos de validação e comunicação da ciência não podem desobrigar a obtenção de evidências empíricas na pesquisa e sustentar-se, tão, somente, nas opiniões e julgamentos sobre o mundo das coisas e a natureza com base em informações indiretas, sob pena de distanciar-se do secular padrão da avaliação da ciência, consubstanciado pela revisão por pares e que, ao livro acadêmico, possibilita reconhecer as várias facetas de qualidade e impacto concentradas não apenas na perspectiva científica.

Referências

FRANÇA, C. M. Avaliação de livros acadêmicos: mapeamento dos modelos e indicadores contemporâneos. 2019. 102 f. Dissertação (Mestrado em Biblioteconomia) – Programa de Pós-graduação em Biblioteconomia, Universidade Federal do Estado do Rio de Janeiro, 2019.

GIMÉNEZ-TOLEDO, E.; MAÑANA-RODRIGUEZ, J.; TEJADA-ARTIGA, C. M. Revisión de iniciativas nacionales e internacionales sobre evaluación de libros y editoriales. El profesional de la información, Barcelona, v. 24, n. 6, p. 705-716, 2015. Disponível em: http://www.elprofesionaldelainformacion.com/contenidos/ 2015/nov/02_esp.pdf. Acesso em: 08 ago. 2019.

GIMÉNEZ-TOLEDO, E. et al. Taking scholarly books into account: current developments in five countries. Scientometrics, Amsterdã, v. 107, n. 2, p. 685-699, 2016. Disponível em: https://www.researchgate.net/profile/Tim_Engels/publication/ 294576945_Taking_scholarly_books_into_account_current_developments_in_five_European_countries/links/5700156c08aea6b77469b593/Taking-scholarly-books-into-account-current-developments-in-five-European-countries.pdf. Acesso em: 11 ago. 2019.

GIMÉNEZ-TOLEDO, E. et al. Taking scholarly books into account, part II: A comparison of 19 European countries in evaluation and funding. Scientometrics, v. 118, n. 1, p. 233-251, 2019. Disponível em: https://link.springer.com/article/10.1007/s11192-018-2956-7. Acesso em: 11 ago. 2019.

KOUSHA, K.; THELWALL, M. Web Indicators for Research Evaluation. Part 3: Books and Non-standard Outputs. El profesional de la información, Barcelona, v. 24, n. 6, p. 724-736, 2015. Disponível em: http://www.elprofesionaldelainformacion.com/contenidos/2015/nov/04.pdf. Acesso em: 10 ago. 2019.

LUZ, M. T. O futuro do livro na avaliação dos programas de pós-graduação: uma cultura do livro seria necessária. Interface (Botucatu), Botucatu, SP, v. 9, n. 18, p. 631-636, 2005. Disponível em: https://www.scielosp.org/article/ssm/content/raw/?resource_ssm_path=/media/assets/icse/v9n18/a17v9n18.pdf. Acesso em: 09 ago. 2019.

MEADOWS, A. J. A comunicação científica. Brasília: Briquet de Lemos, 2009.

SANTOS, R. N. M.; CABALLERO-RIVERO, A.; SÁNCHEZ-TARRAGÓ, N. Práticas de publicação e avaliação em ciências sociais e humanidades: contradições e desafios. P2P & Inovação, v. 4, n. 1, p. 18-34, 2017. Disponível em: http://revista.ibict.br/p2p/article/download/3982/3313. Acesso em: 10 ago. 2019.

ZUCCALA, A.; ROBINSON-GARCIA, N. Reviewing, indicating, and counting books for modern research evaluation systems. In: GLÄNZEL, W. et al. (org.). Springer Handbook of Science and Technology Indicators. Dordrecht: Spinger Nature, 2019. p. 423-430. Disponível em: https://arxiv.org/ftp/arxiv/papers/1807/ 1807.05789.pdf. Acesso em: 10 ago. 2019.

VI Seminário Internacional A Arte da Bibliografia - UDESC / UFSC - Florianópolis - 2019

[Programa completo do evento]