Post on 29-Jan-2018
II. Altmetrics 3Ventajas y limitaciones
Curso de Altmetrics para bibliotecarios by Nieves González-Fernández-Villavicencio y Víctor Moya-Orozco is licensed under a Creative Commons
Reconocimiento 4.0 Internacional License.
Nieves González @nievesglez
Víctor Moya @vicmoyoroSevilla, 24 de mayo de 2016
I. Visibilidad
I.1. Introducción: Ciencia 2.0 (0’20)
Estrategia para mejorar la
visibilidad (0’20)
Actividad 1 (0’30)
I.2. Perfiles de investigador (0’30)
Actividad 2 (0’30)
I.3. Herramientas para mejorar la
visibilidad (0’20)
II. Altmetrics
II.1. Introducción: bibliotecarios y
métricas (0’10). Entendiendo
altmetrics (1h)
Altmetrics en la práctica. Actividad
3 (0’30)
II.2. Altmetrics para conocer el
impacto del investigador e
institucional. Actividad 4 (0’45)
II.3 Ventajas y problemas (0’20)
II.4. Conclusiones (0’20)
Ventajas
Diversidad
No sólo son capaces de ofrecer
información sobre publicaciones científicas,
sino también sobre otro tipo de resultados
de investigación, como conjuntos de datos,
presentaciones, software, etc. Disciplinas
como Humanidades y Ciencias Sociales,
que basan su producción científica en
monografías, pueden obtener más datos
sobre ellas que el simple prestigio editorial.
Otros impactos
Algunos indicadores altmétricos pueden
ofrecer no sólo información sobre el
impacto de la investigación en un entorno
académico, sino también en otros públicos
(por ejemplo, en noticias de medios de
masa, o uso en la elaboración de
documentos legislativos...).
Permiten conocer otros impactos: social,
económico, medioambiental, etc.
Tipos de impacto
'La contribución demostrable que una investigación de excelencia hace a la sociedad y la economía”
http://www.esrc.ac.uk/research/evaluation-and-impact/what-is-impact/
Impacto social
Impacto cultural
Impacto medioambiental
Impacto económico
Impacto en la investigación
Impacto en los investigadores
Impacto en la ciencia
Otros impactos
Amplian la imagen del impacto de la
investigación, ya que complementan a
otras métricas a la hora de conocer cómo
está siendo aceptada por diversos tipos de
público.
Imagen más amplia del impacto
Van al grano
Al contrario que otros indicadores
bibliométricos, que se basan en el impacto
de la revista, las altmetrics miden el
impacto del artículo individualmente,
mostrando una imagen más real.
Inmediatez
Frente a la demora que suponen algunas
métricas tradicionales, para las que hay
que esperar hasta dos años desde la
publicación del artículo, las altmetrics
pueden ofrecer información desde el
mismo momento de la publicación. De la
misma forma, esperar citas es
especialmente problemático para los
nuevos investigadores que tratan de
hacerse un hueco en su campo.
Inmediatez
Las bellas durmientes de la ciencia
Las bellas durmientes son esos
artículos que, una vez publicados,
pasan desapercibidos para su
audiencia potencial y que años
después de repente despiertan
interés en su ámbito.
Las altmetrics podrían combatir
este problema, ya que se pueden
utilizar en sistemas de
recomendación automática para
ofrecer artículos relacionados
basándose en ellas.
http://www.pnas.org/content/112/24/7426.abstract
Entorno
Los datos altmétricos pueden verse en su
entorno y contexto, dando la posibilidad de
revisar inmediatamente si el impacto de un
artículo es positivo o negativo, permitiendo
al autor que puede corregir posibles
malentendidos o malos usos y responder
directamente.
Visibilidad
Altmetrics pueden ayudar a los autores a
hacer un seguimiento de la difusión de su
resultados de investigación y les permiten
tomar decisiones inmediatas para obtener
mayor visibilidad.
Limitaciones y retos futuros
Falta de normalización
Las altmetrics presentan problemas de
normalización, tanto en el aspecto de su
recopilación como en el de su uso en la
evaluación científica.
Reto: Organizaciones como NISO están
trabajando en recomendaciones para la
elaboración de estas métricas basadas en la
transparencia y definición de los datos o la
existencia de identificadores únicos.
Falta de regulación
No están reguladas: al tratarse de
indicadores que proceden, en muchos
casos, de herramientas poco controladas,
pueden dar lugar a la manipulación y
falsificación. Las métricas tradicionales no
están libres de este problema.
Reto: detectar la manipulación es posible,
detectando bots o picos extraños en la citación
social de un artículo. Los proveedores de
altmetrics deben trabajar este aspecto.
Fiabilidad
Aunque la mayoría de las altméticas
pueden indicar popularidad, no está tan
claro que sirvan para medir la calidad
científica.
Reto: es necesario definir los diferentes
impactos que muetran las altmetrics, ya
que el hecho de no indicar impacto
científico no les quita importancia como
métricas complementarias.
Tiempo y dificultad
La cantidad de medios sociales que
pueden utilizarse para obtener altmetrics
hacen difícil y costoso su recopilación e
interpretación.
Reto: Los proveedores de altmetrics ya
están reduciendo este problema, pero aún
es pronto. Estos sistemas tienen que
mejorar para proveer altmetrics que
puedan ser fácilmente recuperables,
identificables e interpretables.
Fragilidad de los medios sociales
Los medios sociales presentan una
fragilidad que afecta a la recopilación de
altmetrics. Tienen un ciclo de vida difícil de
predecir y pueden desaparecer en
cualquier momento (Connotea) o pueden
cambiar sus políticas rápidamente y afectar
a los datos que aportan.
Reto: la diversidad de fuentes, la selección
de las más perdurables y la implicación de
los desarrolladores de medios sociales
permitirán un mejor entendimiento de las
altmetrics y una mayor perdurabilidad.
Aceptación
En España, las altmetrics no están siendo
tenidas en cuenta en la evaluación de los
investigadores. Aunque cada día más
organismos de financiación y evaluación
las están adoptando como métricas
alternativas e introduciendo el concepto de
“impactos” (pl.) en el extranjero.
Reto: los organismos de evaluación y
financiación deben estudiar el mejor modo
de implementarlas en sus procesos,
teniendo en cuenta que ya se empiezan a
tener en cuenta conceptos como el Acceso
Abierto.
Entorno
El uso de medios sociales, del que parten
los datos altmétricos, pueden variar según
la disciplina, la ubicación geográfica y a lo
largo del tiempo.
Reto: es necesario seguir desarrollando
herramientas de benchmarking que
permitan comparar los resultados según
diferentes contextos, como ya está
haciendo Snowball Metrics. Por otra parte,
las métricas tradicionales no están libres
de esta limitación.
Falta de correlación
Los estudios sobre altmetrics desarrollados
hasta la fecha no demuestran una clara
correlación entre citas y datos altmétricos. Esta
correlación, aunque importante, no debe ser
determinante, ya que lo que si muestran los
estudios es que estas métricas complementan
al ofrecer otros datos que las tradicionales no
ofrecen.
Reto: la correlación puede ir aumentando con el
aumento de la masa crítica de investigadores en
medios sociales, con el uso de herramientas
altmétricas para la búsqueda y recuperación de
información o con un mayor entendimiento de su
significado. Hay que entender que son datos
complementarios y que la correlación nosiempre es
necesaria.
Uso e impacto. Correlaciones
● Google Scholar Citations (GSC) es la plataforma más utilizada seguida por
ResearchGate (que está creciendo).
● Mendeley, ResearcherID y Twitter tienen un gran crecimiento pero muchos de
sus perfiles están vacíos.
Crecimiento de la masa crítica
Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics,
Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working
papers, 21. http://arxiv.org/abs/1602.02412
● Los indicadores de GSC (índice h y 5 años) correlacionan muy bien con el
resto de indicadores de publicación, cita o uso, pero no con los indicadores de
conectividad, como seguidores en Twitter, ResearchGate o Mendeley.
● En ResearchGate, el RG Score, su indicador estrella, correlaciona bien con los
demás indicadores basados en citas (GSC).
● ResearchID se encuentra separado del resto de las métricas de citas (GSC y
RG).
● Mendeley y su indicador readers correlaciona bien con indicadores de total de
publicaciones (a más publicaciones, más lectores), con RG Score, y h index y
total de citas de GSC.
● Mendeley tiene una correlación muy fuerte con las citas tradicionales (Suiter &
Moulaison, 2015).
Correlación con otras métricas
Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics,
Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working
papers, 21. http://arxiv.org/abs/1602.02412
Mendeley:
Estadísticas
de
correlación
con Scopus
● Las métricas de Twitter se separan de las demás. Miden otra dimensión de la
actividad social de los investigadores.
● Twitter tiene una correlación más baja con las citas que Mendeley (Suiter &
Moulaison, 2015).
● Sin embargo, Twitter puede predecir artículos altamente citados en los tres
primeros días de la publicación del artículo = Twimpact factor (Eysenbach,
2011).
● Todas las métricas de conectividad social (seguidores) correlacionan entre si
(Mendeley, Twitter y RG).
Correlación con otras métricas
Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics,
Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working
papers, 21. http://arxiv.org/abs/1602.02412
Ortega, José Luis.
«Relationship between
altmetric and
bibliometric indicators
across academic social
sites: The case of
CSIC’s members».
Journal of Informetrics,
2015, v. 9, n. 1, pp. 39-
49
Correlación entre perfiles de investigador
● El uso de medios sociales incrementa las citas o refleja las cualidades del
artículo, que además predice las citas. (Eysenbach, 2011)
● El verdadero uso de estas métricas es para medir el impacto social, cuyas
medidas se proponen como complementos a las métricas de citas tradicionales
(Eysenbach, 2011; Martín-Martín et al., 2016).
Significados de las correlaciones
Dos clases de impacto en la web:
1. Las ligadas al impacto académico y
2. Las asociadas con la conectividad y popularidad (followers). Divididas en:
a. métricas de uso: visualizaciones y descargas.
b. métricas de citación: Correlación muy alta entre todas las métricas de
GSC, RG Score y readers de Mendeley.
Estudio de correlaciones entre altmétricas y métricas tradicionales.
(Suiter & Moulaison, 2015)
Twitter tiene una correlación más baja con las citas
Artículos en PubMed tienen una alta correlación con Blogs, Facebook y
En general, baja correlación con medios sociales, excepto Twitter
Resultados del estudio sobre uso de Altmetrics
https://101innovations.wordpress.com/press/
II. Altmetrics 4Conclusiones y debate
Conclusiones y debate
- Surgen ante el descontento de cierto sector la comunidad científica a las formas de
evaluación basadas en citas y al JIF.
- Miden impactos diferentes a las métricas tradicionales.
- Por eso, aunque nacen como alternativas, se han dirigido más a un uso como cmétrica
complementarias de las tradicionales.
- Comienzan a ser tenidas en cuenta por evaluadores y organismos de financiación
(especialmente en EE.UU.).
- Existen muchas herramientas para evaluar las altmetrics (fuentes y proveedores).
- Las altmetrics irán cobrando importancia conforme aumente la masa crítica de investigadores
en medios sociales.
Las altmetrics
Conclusiones y debate
Los bibliotecarios y las altmetrics
- Los bibliotecarios que ofrecen servicios a los investigadores deben conocerlas para
asesorarles y monitorizar los impactos de la actividad científica de la institución.
- Deben conocer las herramientas de medición disponibles (gratuitas o suscritas) para asesorar
a los investigadores a mejorar sus altmetrics.
- Deben saber cómo integrarlas en la evaluación global de la producción científica de los
investigadores.
- Son puentes entre los proveedores
- Deben saber interpretarlas y explicar su función en los productos de información que las
integran.
González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan
los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641
González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan
los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641
González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan
los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641
González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan
los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641