Este documento presenta una discusión sobre la evaluación de políticas científicas. Explica que los gobiernos comenzaron a evaluar todo usando indicadores debido a una nueva ideología de gestión en los años 90. Luego discute los tipos de evaluación que incluyen ex ante, ex post, revisión por pares y bibliometría, asi como los niveles micro, meso y macro. Finalmente, ofrece consejos como aplicar diferentes indicadores según el objetivo y tipo de medida en lugar de un solo indicador global.
Tema 4 Rocas sedimentarias, características y clasificación
¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?
1. ‘We were running for the money and the flesh’ Leonard Cohen
¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Nicolás Robinson-García elrobin@ugr.es
2. Guión
Por qué y qué se evalúa
Tipos de evaluación
Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
3. Por qué se evalúa
Governments absorbed, in the 1990s, the “new management” ideology that focused on the evaluation of everything using indicators and benchmarks as “objective” measures of efficiency and return on investment
Gingras, 2014
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
4. Por qué se evalúa
Los indicadores basados en citas y publicaciones
El prestigio de los científicos es proporcional al prestigio de su obra
Las citas como expresión del reconocimiento de la obra <- MERTON
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
5. Por qué se evalúa
Los indicadores basados en citas y publicaciones
+ PAPERS + CITAS ≈ + RIQUEZA
El INPUT y el CONTEXTO son importantes
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
6. Por qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
7. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
•Investigadores
•Infraestructura
•Presupuesto
•PIB regional
•% gasto empresarial
•% población activa
•Publicaciones
•Citas
•Q1
•Altamente citados
8. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
•Investigadores
•Infraestructura
•Presupuesto
•PIB regional
•% gasto empresarial
•% población activa
•Publicaciones
•Citas
•Q1
•Altamente citados
9. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Tipo de indicador
Tipo de medida
Unidad de análisis
Publicaciones
Citas
Actividad
Impacto
Relacional
Nivel micro
Nivel meso
Nivel macro
10. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ejemplo 1. Políticas de evaluación
Jiménez-Contreras et al., 2003
11. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ejemplo 2. Investigadores
Costas & Noyons, 2014
12. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ejemplo 3. Países
King, 2004
13. Tipos de evaluación
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
14. Tipos de evaluación
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ex ante
Ex post
Peer Review
Ciego
Doble ciego
Abierto
Bibliometría
Rendimiento
Impacto
Transferencia
15. Tipos de evaluación
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Los proyectos del Plan Nacional se conceden en función del rendimiento investigador del IP
Los indicadores que más influyen son el nº de publicaciones y papers en revistas Q1
16. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
La evaluación científica debe de aplicarse en función a unos objetivos
La metodología aplicada debe evolucionar según evolucione el sistema. Ejemplo: Sexenios
No hay un indicador global, sino que deben aplicarse baterías de indicadores por tipo de medida
17. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Tipos de resultados
Tipos de indicadores
Algunas propuestas
Rafols et al., 2012
> Opening up & broadening out
18. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Algunas propuestas
Rafols et al., 2012
> Opening up & broadening out
Jiménez-Contreras et al., 2011
> Umbrales de referencia por áreas
3 años
5 años
7 años
P50
P75
P90
P50
P75
P90
P50
P75
P90
19. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Algunas propuestas
Rafols et al., 2012
> Opening up & broadening out
Jiménez-Contreras et al., 2011
> Umbrales de referencia por áreas
Leiden Manifesto – Septiembre 2014
> Buenas prácticas en la evaluación de la actividad científica
20. ‘We were running for the money and the flesh’ Leonard Cohen
Muchas gracias por su atención.
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Nicolás Robinson-García
elrobin@ugr.es