Propuesta metodológica para la evaluación del portafolio ...

13
Propuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras” Methodological proposal for the evaluation of the project portfolio case study “Oleaginosas promisoras” Fuente: Shutterstock 306873251

Transcript of Propuesta metodológica para la evaluación del portafolio ...

Page 1: Propuesta metodológica para la evaluación del portafolio ...

Propuesta metodológica para la evaluación del portafolio de proyectos

caso de estudio “Oleaginosas promisoras”

Methodological proposal for the evaluation of the project portfolio case study “Oleaginosas promisoras”

Fuente: Shutterstock 306873251

Page 2: Propuesta metodológica para la evaluación del portafolio ...

26

Revista de Investigciones

Propuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras” 1

Methodological proposal for the evaluation of the project portfolio case study “Oleaginosas promisoras”

Ana María Gaviria Castrillón2, Santiago Quintero Ramírez3

2,3Universidad Pontificia Bolivariana, seccional Medellín, Colombia

Artículo recibido en enero de 2017; artículo aceptado en abril de 2017

Citación del artículo: Gaviria, A. & Quintero, S. (2017). Propuesta metodológica para la evaluación del

portafolio de proyectos caso de estudio “Oleaginosas promisoras”. I+D Revista de Investigaciones,

10(2), julio – diciembre de 2017, pp. 25 - 38

ResumenEl presente trabajo propone una metodología de evaluación del portafolio de proyectos para un programa financiado por el Fondo de Ciencia Tecnología e Innovación, caso de estudio “Investigación técnico-social de oleaginosas promisoras con miras a su desarrollo agroindustrial”. Para tal fin, se estudiaron diferentes métodos de evaluación de portafolios de proyectos presentados en la literatura especializada bajo las especificidades propias del caso de estudio y se seleccionó el proceso de análisis jerárquico (AHP por sus siglas en inglés) como el más acorde, entregando una ponderación para los criterios y subcriterios propuestos en la estructura jerárquica y una calificación para los quince proyectos que componen el portafolio. Para desarrollar matemáticamente la metodología se usó el software Super Decisions y para recopilar la información, la herramienta Survey Monkey. Los tres subcriterios con mayor peso fueron, respectivamente: recursos humanos, viabilidad técnica y articulación de actores; los criterios fueron viabilidad, recursos y beneficios. Entre los proyectos con las mejores puntuaciones destacaron los de base social como los de mayor probabilidad de éxito al pasar a una siguiente fase de desarrollo o implementación.

Palabras clave: evaluación portafolio proyectos, análisis jerárquico, super decisions proyectos de I+D, sistema general de regalías (SGR).

AbstractThis paper proposes a methodology for evaluating the portfolio of projects of a program funded by the Fondo de Ciencia Tecnología e innovación, case study: “Investigación Técnico-Social de Oleaginosas Promisoras con miras a su Desarrollo Agroindustrial”. To this end, different methods of evaluating projects presented in the specialized

1. Artículo de investigación, enfoque cualitativo, resultado de un proyecto de investigación en curso, perteneciente al área de Ingeniería y Tecnología, desarrollado en el grupo de investigación Gestión de la Tecnología y la Innovación y financiado por la Universidad Eafit de la ciudad de Medellín (Colombia). Dirección: carrera 48C, PBX: 2619500. Fecha de inicio: enero de 2014. 2. Ingeniero de Procesos, Universidad Eafit, Medellín. Maestría en Gestión Tecnológica, Universidad Pontificia Bolivariana- Sede Medellín. Investigador del grupo Gestión de la Tecnología y la Innovación (GTI.UPB)- -Clasificación A Colciencias. Universidad Pontificia Bolivariana de la ciudad Medellín (Colombia): Dirección Circunvalar 1 n.° 70-01, PBX: (574) 4488388. Orcid: 0000-0002-9369-451X. Correo institucional: [email protected].

3. Ingeniero de Alimentos, Corporación Universitaria Lasallista. Caldas. Doctorado en Ingeniería Industria y Organizaciones, Universidad Nacional de Colombia - Sede Medellín. Docente- investigador del grupo Gestión de la Tecnología y la Innovación (GTI.UPB) - Clasificación A Colciencias.Universidad Pontificia Bolivariana de la ciudad Medellín (Colombia): Dirección Circunvalar 1 n.° 70-01, PBX: (574) 4488388. Orcid: 0000-0002-1932-9055. Correo institucional: [email protected].

I+D Revista de InvestigacionesISSN 2256-1676

Volumen 10 Número 2 Julio-Diciembre de 2017 pp. 25 - 38

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

25-37.

25-37.

Page 3: Propuesta metodológica para la evaluación del portafolio ...

27

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

literature, taking into account the specificities of the case study were studied. The Process of Hierarchical Analysis (AHP) was selected as the best option, giving a weighting to the criteria and sub-criteria proposed in the hierarchical structure and a scoring for the 15 sub-projects that make up the portfolio. For the mathematical development of the methodology proposed Super Decisions Software was used. The weights were calculated in Excel and the Survey Monkey tool for gathering the information is used. The three sub-criteria with more weight were respectively: human resources, technical feasibility and articulation of actors and the criteria were: feasibility, resources and benefits. Among the projects with the best final scores were social projects.

Keywords: project portfolio evaluation, hierarqy analysis, super decisions, R&D projects, sistema general de regalías (SGR).

El desarrollo de la investigación técnico-social de oleaginosas promisoras con miras a su desarrollo agroindustrial no contempla una evaluación del portafolio de proyectos que la componen. Este programa interdisciplinario abarca proyectos que se encuentran en diferentes etapas del ciclo de vida y con diferentes enfoques e intereses de actores, por lo que era necesario establecer una metodología para seleccionar el portafolio de proyectos que se ajustara a las especificidades del contexto y entregara una jerarquía de los proyectos que tienen mayor probabilidad de éxito en una posterior etapa de desarrollo.

La mayoría de las investigaciones sobre selección de proyectos de I + D (investigación y desarrollo) se concentran en el sector privado, mientras que se ha realizado poca investigación en los proyectos de I + D patrocinados por el gobierno. Estos se diferencian de las iniciativas privadas en cuatro aspectos principales (Huang, Chu & Chiang, 2008):

• Los financiamientos entregados por el gobierno para I + D son por naturaleza una inversión estratégica y de largo plazo. Por lo tanto, los enfoques de justificación financiera convencionales son insuficientes.

• Los factores políticos y los stakeholders siempre influyen en la asignación de los recursos de I + D en el sector público.

• La dificultad en la selección de los proyectos de I + D se incrementa debido a la ambigüedad de la tecnología innovadora y la falta de expertos.

• La I + D requiere técnica y está influenciada por las políticas del gobierno.

Además, las investigaciones realizadas para los proyectos de I+D con financiamiento gubernamental no tienen en cuenta el factor de beneficio social que los proyectos financiados por el sistema general de regalías (SGR) tienen como objetivo principal. El caso de estudio de esta investigación consistió en un programa en I+D financiado por el Gobierno colombiano, específicamente por el Fondo de Ciencia Tecnología e innovación (en adelante FCTEI) en el marco del SGR titulado

“Investigación técnico-social de oleaginosas promisoras con miras a su desarrollo agroindustrial”. El programa en mención contempla la ejecución de quince proyectos que apuntan al cumplimiento de los objetivos generales agroindustriales de mejoramiento genético y social, y que se evaluarán como las alternativas en el problema de gestión del portafolio para la asignación de recursos y toma de decisiones.

En el presente estudio se analizaron las diferentes herramientas y métodos encontrados en la literatura especializada para seleccionar el portafolio de proyectos, en búsqueda del más adecuado a las condiciones particulares del caso de estudio. Entre las metodologías estudiadas se encuentran: Proceso Analítico Jerárquico (AHP, por sus siglas en inglés), Archer y Ghasemzadeh, 1999; Chen y Cheng, 2009. Huang et al., 2008; Mateo, 2012; Sokmen, 2014; Vidal, Marle y Bocquet, 2011. Procesos de Red Analítica (ANP), Jung y Seo, 2010; Meade y Presley, 2002; Smith, García, Poveda y Pastor, 2010. Análisis Envolvente de Datos (DEA), Eilat, Golany y Shtub, 2006; Delphi (de Loë, Melnychuk, Murray y Plummer, 2016; Ghapanchi, Tavana, Khakbaz y Low, 2012; Tavana, Khalili y Sadi, 2013. Electre, Promethee, Topsis, WSM (Weighted Sum Model), Copras (Complex Proportional Assessment) y WPM (Weighted Product Model), (Mulliner, Malys y Maliene, 2015).

A partir del análisis del contexto se ajustaron las herramientas establecidas como las más acordes al caso de estudio, planteando una metodología híbrida para la selección del portafolio de proyectos con mayor probabilidad de éxito en el paso a una siguiente fase de desarrollo o implementación.

Método

La Figura 1 muestra el desarrollo de esta investigación descriptiva que se realizó mediante un estudio exploratorio sobre portafolio de proyectos, los diferentes métodos de evaluación y el contexto en el que se evaluaron. La revisión se llevó a cabo con fuentes de información estructurada primaria, artículos en revistas indexadas e información secundaria.

Page 4: Propuesta metodológica para la evaluación del portafolio ...

28

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

Posteriormente, se realizó un análisis del contexto del caso de estudio y las implicaciones y especificidades que definirían la elección del método, es decir, un proyecto en CTEI sobre desarrollo agroindustrial en el Bajo Cauca antioqueño y con financiamiento gubernamental.

En la siguiente etapa se consolidó el material necesario para llevar a cabo la evaluación final de los proyectos, se designó material del programa, que incluye los objetivos, resultados esperados, información acerca de la tipología de proyecto y el TRL esperado. Adicionalmente se cuenta con la Work Breakdown Structure (WBS) o estructura desglosada de trabajo, que es una descomposición jerárquica orientada al entregable.

Resultados

Teniendo en cuenta las características de los diferentes métodos estudiados, la técnica elegida como idónea para la evaluación del caso de estudio fue la AHP, debido a:

• Crecimiento en el trabajo especializado en evaluación de portafolios de proyectos de I+D

• Su enfoque multicriterio• Que considera criterios cualitativos y

cuantitativos• A su enfoque multialternativas• A la forma como trata la subjetividad en los

decisores• Que permite evaluar diferentes estados del

ciclo de vida para cada proyecto• Que cada experto califica cada proyecto desde

su especialidad• Que entrega un orden de las alternativas, desde

la más preferida hasta la menos.

Otras razones para utilizar el AHP en un enfoque basado en el análisis de decisiones son (Aragonés, Chaparro, Pastor y Pla, 2014): Que permite a los tomadores de decisiones analizar los problemas de toma de decisiones complejas utilizando un enfoque sistemático que descompone el problema principal en subproblemas más simples y asequibles. El análisis detallado de las prioridades y las interdependencias entre elementos obligan al DM a reflexionar cuidadosamente sobre su enfoque prioritario en el proyecto, lo que se traduce en un mejor conocimiento del problema y una decisión final más fiable.

Basados en los pasos establecidos por Saaty (2000), la Figura 2 muestra la propuesta metodológica para la evaluación del caso de estudio propuesto. Se procede con el primer paso que consistió en establecer los criterios de selección y la propuesta de estructura jerárquica; una propuesta de los autores con la posterior validación del comité técnico y el comité directivo del programa.

Luego se procedió a asignar los pesos ponderados a los criterios y subcriterios de la estructura por parte del comité técnico, que incluye representantes de las tres universidades participantes y de la gobernación de Antioquia, ya que son estos, como lo exige la herramienta, quienes tienen el poder de decisión además de la experiencia en el desarrollo y gestión de este tipo de proyectos.

Estructura jerárquica y criterios de evaluación

La propuesta de estructura jerárquica se basó en la establecida por Saaty, donde el nivel superior lo determina la meta y luego los objetivos; el nivel

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

Page 5: Propuesta metodológica para la evaluación del portafolio ...

29

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

intermedio está compuesto por los criterios y finalmente se encuentran las alternativas de decisión ( 2008). Para la primera fase en la construcción de la estructura jerárquica se revisó la bibliografía en bases de datos especializadas y en las políticas de los entes relacionados con el contexto del caso de estudio (Colciencias y SGR) para extraer un listado de 66 criterios utilizados en la evaluación de proyectos.

De estos 66 criterios se determinaron 22 con sus respectivas definiciones y se clasificaron en 5 categorías. Como resultado, se construyó la propuesta jerárquica para los criterios de evaluación (que se muestra en la Figura 3) y las definiciones (que se recogen en la Tabla 1), la cual fue validada y retroalimentada por el comité técnico y directivo del programa, que evaluó la incidencia, la correspondencia y el entendimiento de los criterios y sus respectivas definiciones. Este proceso, considerado uno de los más creativos en la metodología,

es una de las tantas propuestas que se pueden generar y obedecen a la experiencia de los investigadores en el caso estudiado.

Pesos ponderados para los criterios y subcriterios de la estructura

Los softwares empresariales como Transparent Choice y Expert Choice Comparion poseen varias de las características deseadas, sin embargo, después de varios acercamientos no se consiguió obtener un demo para el trabajo en la investigación. El software investigativo es libre y se puede adaptar al estudio, no obstante, programas como Priest no permiten trabajar la estructura jerárquica propuesta ya que solo evalúa dos niveles en la estructura, a saber: objetivo, criterios y alternativas.

El software elegido, Superdecisions, implementa el AHP basado en los pasos propuestos por Saaty en 1997 para la priorización de los criterios. Desde el punto de vista calculista, utiliza el método del autovector principal por la derecha para obtener las prioridades locales, el principio de composición jerárquico para calcular las prioridades globales, y una forma lineal multiaditiva para obtener las prioridades totales. Además, dentro del propio proceso de resolución, evalúa matemáticamente la consistencia del decisor a la hora de emitir los juicios y sugiere cómo mejorarla; también posee un modelo gráfico e independiente para la construcción de la jerarquía, donde el diseño de los clusters, nodos y enlaces entre estos ayudan al decisor a identificar las relaciones e interacciones del modelo.

No obstante, SuperDecisions no cuenta con encuestas en línea para la comparación pareada y la evaluación final de las alternativas por parte de los decisores. Con el fin de cubrir esta carencia las encuestas se elaboraron utilizando la herramienta Survey Monkey®. La comparación pareada realizada por el comité técnico del programa fue individual y anónima, pero se realizó una discusión previa sobre el contexto y significado de cada uno de los subcriterios.

Page 6: Propuesta metodológica para la evaluación del portafolio ...

30

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

Page 7: Propuesta metodológica para la evaluación del portafolio ...

31

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

[UNAL], Universidad Pontificia Bolivariana [UPB]) y de la Gobernación de Antioquia, por lo que se elige como el método más apto para el caso de estudio la agregación de prioridades individuales. Por otro lado, la agregación de juicios individuales no sería viable debido a altas inconsistencias absorbidas en una matriz grupal, además de mostrar datos extremos para un mismo juicio, lo que reforzaría la diferencia de intereses entre los participantes. Se debe tener en cuenta que, aunque las instituciones manejan sistemas de valores similares están representadas por personas, que califican desde sus construcciones personales y experiencias previas, por lo que, inclusive entre los representantes de una misma institución, existen diferencias de juicio significativas.

Al mismo tiempo, como el SGR es un programa novedoso en el que aún prevalecen intereses particulares de los actores, desde la generalidad del contexto en CTEI se percibe que para las universidades prevalece el interés por el beneficio académico mientras que los financiadores se orientan más por el beneficio social; sin embargo, el mejoramiento directo de uno de estos factores debería favorecer directamente al otro.

Agregación de juicios

La toma de decisiones en grupo se está convirtiendo en una parte cada vez más importante en la toma de decisiones con múltiple criterio (MCDM). La agregación de las prioridades individuales (API) y la agregación de los juicios individuales (AJI) son los dos principales métodos matemáticos de agregación utilizados en el AHP (Grošelj, Zadnik, Ayrilmis y Kuzman, 2015). El método AJI es apropiado si se supone que el grupo de expertos debe actuar como una unidad, mientras que si los individuos actúan por separado el método apropiado será API. El método API es apropiado si los decisores consisten en grupos representativos con participaciones de diferentes intereses y diferentes sistemas de valores, por lo que las prioridades resultantes de cada individuo pueden ser factor de preocupación (Forman y Peniwati, 1998).

En el caso de estudio, el comité técnico es un grupo integrado por actores con diferentes intereses, compuesto por representantes de cada universidad asociada (Eafit, Universidad Nacional de Colombia

Page 8: Propuesta metodológica para la evaluación del portafolio ...

32

Superdecisions no permite que los diferentes decisores agreguen prioridades, por lo que esta se optó por emplear Excel, como muestra la Tabla 2. Siguiendo la Ecuación 1 para la media geométrica ponderada –aunque para la AIP se puede realizar la operación aritmética o la media

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

geométrica en la agregación de las prioridades (Wu, Chiang & Lin, 2008)–, se eligió trabajar con esta última, ya que varios autores la exponen como la más consistente. (Forman & Peniwati, 1998):

Como muestra la Figura 4, los tres subcriterios con mayor peso fueron, respectivamente: recursos humanos, viabilidad técnica y articulación de actores; esto habla de la importancia que para el grupo evaluador tiene la experiencia del equipo de trabajo encargado del desarrollo de los proyectos, más aún para el caso de CTEI, además de la participación mayoritaria de la academia en el programa.

El criterio de recursos físicos debe su relevancia al alto peso otorgado por el decisor 3, y según las observaciones realizadas por los evaluadores esto puede corresponder a la incidencia directa que la falta de un recurso trascendental como la semilla certificada puede tener en el caso de estudio y en otros proyectos de vocación

agrícola. Sin embargo, el riesgo de que la tecnología no sea apropiada por las comunidades y la importancia de la vialidad social del mismo ocupan los puestos siguientes, esto muestra que el impacto social en este tipo de programas –que aunque son en CTEI deben resultar en beneficios directos para la población–, sigue teniendo relevancia.

Para el caso de los criterios, la Figura 5 confirma los resultados anteriores, pues los mayores pesos recaen sobre la viabilidad y los recursos, seguidos por los beneficios, pues al ser proyectos en CTEI, se sigue validando la percepción de que los beneficios se deben dar largo plazo.

Page 9: Propuesta metodológica para la evaluación del portafolio ...

33

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

Page 10: Propuesta metodológica para la evaluación del portafolio ...

34

Evaluación de las alternativas

Los psicólogos cognitivos han reconocido, desde hace tiempo, que hay dos tipos de comparaciones que la gente es capaz de hacer: la absoluta y la relativa. En las comparaciones relativas las alternativas son comparadas en pares de acuerdo a un atributo común. En las comparaciones absolutas se compara la alternativa con un estándar en la memoria del observador, que ha sido desarrollado a través de la experiencia. Se aplica la medición absoluta (también llamada rating) para clasificar las alternativas independientes mediante la elección, en términos de intensidad, en la calificación para cada criterio. Por ejemplo, si la clasificación de los estudiantes es el objetivo y uno de los criterios es el rendimiento en matemáticas, las clasificaciones de matemática podrían ser excelente, bueno, regular, por debajo de la media, pobre o, utilizando la terminología usual de la escuela, A, B, C, D, F (Saaty, 2000).

Para los métodos MADM como el AHP el número de elementos comparativos no debe exceder n = 7±2, por tratarse de un número crítico sobre el que una persona puede emitir juicios de manera simultánea (Miller, 1995).

Las comparaciones pareadas implican un número alto de juicios a emitir por parte de los decisores, lo que convierte la evaluación en un proceso engorroso y pesado, razón por la cual para un número de alternativas mayor de 9 generalmente se utilizan puntuaciones (ratings). El número de comparaciones dado por la Ecuación 2 muestra que para la estructura propuesta el número de calificaciones en el primer nivel sería 10, para el segundo nivel 40, con un total de 50 juicios por parte de cada decisor en la evaluación de criterios y subcriterios. Por otro lado, la calificación pareada de los quince proyectos (alternativas) del programa implicaría, para los veintidós subcriterios, 2310 comparaciones pareadas adicionales.

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

Por esta razón, para puntuar las alternativas se optó por trabajar con la escala de Likert que se muestra en la Tabla 3.

Esta evaluación, llevada a cabo por medio de la herramienta Survey, fue realizada por los investigadores principales de cada proyecto, ya que son quienes tienen el conocimiento técnico y la experiencia respecto a los proyectos.

Los resultados de las encuestas fueron tabulados y posteriormente se realizó la suma ponderada según el peso obtenido para los criterios con el fin de obtener las calificaciones finales que se muestran en la Tabla 4. Los resultados para la jerarquización muestran los proyectos sociales con las mayores puntaciones, esto puede deberse a la incidencia de la base social en el contexto del SGR, además de la importancia relativa que los investigadores perciben para la continuidad y apropiación de los desarrollos CTEI en etapas de implementación. Se debe tener en cuenta que, aunque las puntuaciones están ponderadas con los pesos de los subcriterios, implican juicios subjetivos.

Conclusiones

La propuesta metodológica para la evaluación del portafolio de proyectos: caso de estudio “Oleaginosas promisoras”, permitió plantear una jerarquía para los proyectos que componen el caso de estudio, además de entregar pesos ponderados a los criterios y subcriterios considerados como los más relevantes por sus líderes administrativos y técnicos.

Page 11: Propuesta metodológica para la evaluación del portafolio ...

35

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

La técnica elegida como base para la metodología de evaluación propuesta es la APH, debido a factores diferenciadores ante otras técnicas como el crecimiento en el trabajo especializado en evaluación de portafolios de proyectos de I+D, el enfoque multicriterio y multialternativas, y el tratamiento de la subjetividad en los decisores, que, en conjunto, permiten evaluar proyectos en diferentes estados del ciclo de vida, pues cada experto califica cada proyecto desde su especialidad. Además, esta técnica entrega un orden de las alternativas desde la más preferida hasta la menos.

Otras técnicas como la DEA y la Delphi se perfilan como buena opción para entregar robustez al AHP, más no como herramienta única para la evaluación de portafolios de proyectos.

La estructura jerárquica con los criterios y subcriterios que la componen, así como la definición de estos es una propuesta de las tantas que se pueden generar, y obedece a la experiencia de los participantes, al conocimiento del contexto y al estudio de la literatura especializada.

El método de Agregación de Prioridades Individuales (API) fue considerado como el más apropiado para el caso de estudio, ya que los decisores están conformados por grupos representativos con participaciones de diferentes intereses y diferentes sistemas de valores, por lo que las prioridades resultantes de cada individuo son objeto de preocupación.

La agregación de juicios individuales (AJI) no se consideró viable debido al gran número de inconsistencias absorbidas por la matriz grupal, además, porque muestra datos extremos para un mismo juicio, lo que reforzaría la diferencia de intereses entre los participantes.

Se debe tener en cuenta que las instituciones están representadas por personas y estas califican desde sus construcciones personales y experiencias previas, por lo que, inclusive entre los representantes de una misma institución, existen diferencias de juicio significativas.

Los actores participantes del sistema de CTEI, incluyendo los recientes programas del SGR en CTEI, no poseen aún la articulación necesaria para que sus juicios puedan ser considerados como un nuevo individuo capaz de renunciar a sus propias preferencias, en tanto que todavía priman intereses individuales.

Al mismo tiempo, como se mencionó anteriormente, el SGR es un programa novedoso en el que aún prevalecen intereses particulares de los actores; desde la generalidad del contexto en CTEI se percibe que para las universidades

prevalece el interés por el beneficio académico, mientras que los financiadores se orientan más por el beneficio social. Sin embargo, el mejoramiento directo de uno de estos factores debería favorecer directamente al otro.

Debido a la novedad en la metodología propuesta, el trabajo de los evaluadores puede ser inicialmente confuso; no obstante, una vez entendida, dicha metodología permite la reducción de subjetividades en la evaluación y entrega resultados de mayor transparencia y congruencia respecto al contexto del caso de estudio analizado.

Aunque la metodología de evaluación del portafolio de proyectos propuesta para el caso de estudio permite la jerarquización de los proyectos en diferentes estados del ciclo de vida, esto podría sesgarla.

Los tres subcriterios con mayor peso fueron, respectivamente: recursos humanos, viabilidad técnica y articulación de actores; por su parte, los criterios fueron: viabilidad, recursos y beneficios. Estos pesos reiteran la relevancia que en este tipo de proyectos tienen los factores científicos y tecnológicos, seguidos por los factores sociales.

Una articulación de actores que incluya centros de investigación y empresas en el desarrollo de los proyectos podría influir en la ponderación de los criterios y reorganizar el enfoque académico.

La calificación de las alternativas exige experiencia, y el método propuesto permite que diferentes evaluadores califiquen cada proyecto según su especialidad.

La evaluación de los proyectos se hace con miras a implementar una segunda fase, por lo que pueden verse sesgadas por la necesidad de continuar el proyecto más que por la pertinencia que este tiene en el desarrollo actual; sin embargo, desde dicha necesidad, el paso a una segunda fase implicaría reevaluar los factores que no han funcionado bien en el pasado.

Entre los proyectos mejor evaluados están los de base social, lo que habla de la importancia que en los proyectos del SGR financiados por el FCTEI, especialmente en el área agroindustrial, tiene la inclusión de proyectos sociales que puedan sustentar toda la estructura científica y tecnológica desarrollada.

La evaluación realizada en este estudio se llevó a cabo para proyectos en diferentes momentos de su ciclo de vida; se recomienda repetir la evaluación de los proyectos con mayores puntajes una vez todos hayan culminado, con

Page 12: Propuesta metodológica para la evaluación del portafolio ...

36

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

el fin de validar los resultados. Esta evaluación, además, debería incluir un panel con expertos externos, lo cual no pudo realizarse debido a procesos de propiedad intelectual y al manejo de información confidencial.

Sería conveniente evaluar la pertinencia de la aplicación de la metodología propuesta en otros programas del SGR en CTEI, específicamente en el sector agroindustrial, y validar su conveniencia o determinar las adaptaciones necesarias para su implementación.

Una parte adicional en la metodología propuesta sería incluir en las evaluaciones de criterios y subcriterios las opiniones de la comunidad intervenida, por ejemplo, los líderes más activos.

Agradecimientos

Al Sistema General de Regalías por financiar la maestría, al comité técnico y directivo del Programa Oleaginosas por darle la relevancia necesaria al trabajo y destinar el tiempo para realizar las calificaciones y aportes necesarios en la validación de la metodología propuesta.

Referencias

Aragonés, B., Chaparro, F., Pastor, P. & Pla-Rubio, A. (2014). An AHP (Analytic Hierarchy Process)/ANP (Analytic Network Process)-based multi-criteria decision approach for the selection of solar-thermal power plant investment projects. doi:10.1016/j.energy.2013.12.016

Archer, N. & Ghasemzadeh, F. (1999). An integrated framework for project portfolio selection. International Journal of Project Management, 17(4), 207–216. doi:10.1016/S0263-7863(98)00032-5

Chen, T. & Cheng, L. (2009). A comprehensive model for selecting information system project under fuzzy environment. International Journal of Project Management, 27(4), 389–399. doi:10.1016/j.ijproman.2008.04.001

De Loë, R., Melnychuk, N., Murray, D. & Plummer, R. (2016). Advancing the State of Policy Delphi Practice: A Systematic Review Evaluating Methodological Evolution, Innovation, and Opportunities. Technological Forecasting and Social Change, 104, 78–88. doi:10.1016/j.techfore.2015.12.009

Eilat, H., Golany, B. & Shtub, A. (2006). Constructing and evaluating balanced portfolios of R&D projects with interactions: A DEA based methodology. European Journal of Operational Research, 172(3), 1018–1039. doi:10.1016/j.ejor.2004.12.001

Forman, E. & Peniwati, K. (1998). Aggregating individual judgments and priorities with the analytic hierarchy process. European Journal of Operational Research, 108(1), 165–169. doi:10.1016/S0377-2217(97)00244-0

Ghapanchi, H., Tavana, M., Khakbaz, H. & Low, G. (2012). A methodology for selecting portfolios of projects with interactions and under uncertainty. International Journal of Project Management, 30(7), 791–803. doi:10.1016/j.ijproman.2012.01.012

Grošelj, P., Zadnik, L., Ayrilmis, N. & Kuzman, K. (2015). Comparison of some aggregation techniques using group analytic hierarchy process. Expert Systems with Applications, 42(4), 2198–2204. doi:10.1016/j.eswa.2014.09.060

Huang, C., Chu, Y. & Chiang, H. (2008). A fuzzy AHP application in government-sponsored R&D project selection. Omega, 36(6), 1038–1052. doi:10.1016/j.omega.2006.05.003

Mateo, J. (2012). Multi Criteria Analysis in the Renewable Energy Industry. In Multi-Criteria Analysis in the Renewable Energy Industry, Green Energy and Technology (pp. 33–41). doi:10.1007/978-1-4471-2346-0

Meade, L. & Presley, A. (2002). R&D project selection using the analytic network process. Engineering Management. IEEE Transactions on, 49(1), 59 –66. doi:10.1109/17.985748

Miller, G. (1995). The magical number seven, plus or minus two: some limits on our capacity for processing information. Psychological Review, 101(2), 343–352. doi:10.1037/h0043158

Mulliner, E., Malys, N. & Maliene, V. (2015). Comparative analysis of MCDM methods for the assessment of sustainable housing affordability. Omega, 59, 146–156. doi:10.1016/j.omega.2015.05.013

Saaty, T. (2000). Fundamentals of decision making and priority theory with the Analytic Hierarchy Process .

Saaty, T. (2008). Decision making with the analytic hierarchy process. International Journal of Services Sciences, 1(1), 83. doi:10.1504/IJSSCI.2008.017590

Sith, A., García, M., Poveda, R. & Pastor, J. (2010). A Project Strategic Index proposal for portfolio selection in electrical company based on the Analytic Network Process. Renewable and Sustainable. Energy Reviews, 14(6), 1569–1579. doi:10.1016/j.rser.2010.01.022

Sokmen, N. (2014). A multi-criteria project assessment framework for R&D organizations in the IT sector.

Page 13: Propuesta metodológica para la evaluación del portafolio ...

37

ANA MARÍA GAVIRIA CASTRILLÓN, SANTIAGO QUINTERO RAMÍREZPropuesta metodológica para la evaluación del portafolio de proyectos caso de estudio “Oleaginosas promisoras”

I+D Revista de Investigaciones ISSN 2256-1676 Volumen 10 Número 2Julio-Diciembre de 2017 pp. 25 - 37

En PICMET 2014 - Portland International Center for Management of Engineering and Technology, Proceedings: Infrastructure and Service Integration. Institute of Electrical and Electronics Engineers Inc. Recuperado de http://www.scopus.com/inward/record.url?eid=2-s2.0-84910122044&partnerID=tZOtx3y1

SuperDecisions (Versión 2.0) [Software]. Recuperado de http://www.superdecisions.com/

SurveyMonkey®. Recuperado de http://surveymonkey.com/

Tavana, M., Khalili, K. & Sadi, S. (2013). A fuzzy group data envelopment analysis model for high-technology project selection: A case study at NASA. Computers & Industrial Engineering, 66(1), 10–23. doi:10.1016/j.cie.2013.06.002

Vidal, L., Marle, F. & Bocquet, J. (2011). Using a Delphi process and the Analytic Hierarchy Process (AHP) to evaluate the complexity of projects. Expert Systems with Applications, 38(5), 5388–5405. doi:10.1016/j.eswa.2010.1 6

Wu, W., Chiang, C. & Lin, C. (2008). Comparing the aggregation methods in the analytic hierarchy process when uniform distribution. WSEAS Transactions on Business and Economics, 5, 82–87.