Análisis y revisión de la literatura en el contexto de proyectos de fin de carrera: Una propuesta

Abstract

Resumen La investigación en las disciplinas de computación puede ser comenzada desde tempranas etapas en la preparación de los profesionales en el área. Creemos que existe un potencial número de alumnos de ingeniería que pueden optar por un proyecto de fin de carrera relacionado con la investigación. Por su parte, los docentes universitarios dedicados a la investigación pueden aprovechar estos esfuerzos de investigación en sus propios proyectos. Nuestra propuesta considera una de las formas de hacer investigación denominada análisis y revisión de la literatura. Hemos elaborado un método que puede ser utilizado como guía para la realización de este tipo estudios de investigación en el contexto de proyectos de fin de carrera y que puede ser extendido a estudios de post-grado. Palabras clave : investigación, proyecto de fin de carrera, docente universitario, revisión de la literatura, post-grado.

Full text

Análisis y revisión de la literatura en el contexto de proyectos de
fin de carrera: Una propuesta.
María Angélica Caro Gutiérrez
Alfonso Rodríguez Ríos
Universidad del Bio Bio,
Departamento de Auditoría e Informática,
La Castilla S/N, Chillán,Chile
{mcaro, alfonso}@ubiobio.cl
Coral Calero
Eduardo Fernández-Medina
Mario Piattini
Universidad Castilla-La Mancha,
Departamento de Informática,
Paseo de la Universidad 4, Ciudad Real, España
{Coral.Calero Eduardo.FdezMedina,Mario.Piattini}@uclm.es
Resumen
La investigación en las disciplinas de computación puede ser comenzada desde tempranas
etapas en la preparación de los profesionales en el área. Creemos que existe un potencial
número de alumnos de ingeniería que pueden optar por un proyecto de fin de carrera
relacionado con la investigación. Por su parte, los docentes universitarios dedicados a la
investigación pueden aprovechar estos esfuerzos de investigación en sus propios proyectos.
Nuestra propuesta considera una de las formas de hacer investigación denominada análisis
y revisión de la literatura. Hemos elaborado un método que puede ser utilizado como guía
para la realización de este tipo estudios de investigación en el contexto de proyectos de fin
de carrera y que puede ser extendido a estudios de post-grado.
Palabras clave: investigación, proyecto de fin de carrera, docente universitario, revisión de
la literatura, post-grado.

1.- Introducción
La investigación científica en muchas ciencias, por ejemplo física, biología o medicina, cuenta con un conjunto
de descripciones de sus estrategias de investigación que no sólo incluyen una guía detallada para los
investigadores sino también una vista simplificada para el público y otros observadores (Shaw, 2002). En las
disciplinas de computación, Ciencias de la Computación, Ingeniería de Software y Sistemas de Información
(Glass et al., 2004), el desarrollo de la investigación, por ejemplo en Ingeniería de Software, data sólo de cuatro
décadas (Glass et al., 2002) lo que las transforma en un campo sin demasiados antecedentes históricos (Lázaro y
Marcos, 2005) al respecto. No obstante, existe un esfuerzo por mejorar dicha situación. La aplicación de diversos
métodos de investigación entre las que se incluyen análisis conceptual, casos de estudio, análisis de datos,
experimentación de campo, experimentación de laboratorio y simulación (Glass et al., 2004) da cuenta de ello.
En un estudio acerca del desarrollo de la investigación en computación, Glass et al, clasifican la Revisión de la
Literatura como un enfoque de investigación y al Análisis y Revisión de la Literatura como un método de
investigación. Como resultado del análisis de un considerable número de artículos se detectó que tanto el
enfoque como el método de investigación representan una minoría respecto del total de trabajos analizados y
que, han sido usados de manera un tanto uniforme en las tres disciplinas de computación (Glass et al., 2004).
Nosotros creemos que la gran mayoría de las investigaciones que se emprenden, deben considerar una revisión
de la literatura, aunque este no sea el objetivo final sino sólo una manera de imponerse acerca del estado del arte
del tema que se desea abordar. En el caso de los proyectos de fin de carrera una revisión de la literatura puede ser
el objetivo central, principalmente por los tiempos asignados a este tipo de trabajo y por la falta de experiencia
de los alumnos. Por otro lado, un estado del arte puede ser la base para otro proyect o de carrera o bien parte de
un proyecto de investigación mayor.
Nues tra propuesta consiste en proveer un método para el desarrollo de este tipo de trabajos, abordando
específicamente la revisión de la literatura. Hemos utilizado como principal referente la propuesta de
Kitchenham para hacer revisiones sistemáticas (Kitchenham, 2004), que previamente hemos adaptado y
aplicado.
Creemos que la utilización de un método como el que proponemos por parte de alumnos, de últimos años de
carrera o post-grado, constituye una buena herramienta para mejorar, incentivar y obtener resultados concretos
en los temas de investigación que sean abordados. Por otra parte, permite incorporar una modalidad, con cierto
grado de sistematización, a las alternativas ya existente para proyectos de fin de carrera, contribuyendo además a
la construcción de equipos de investigación considerando el trabajo que pueden aportar estos alumnos.
El resto de este artículo se encuentra organizado de la siguiente manera: en la sección 2 se muestra el método
para el desarrollo de una revisión sistemática considerando un solo investigador en el contexto de un proyecto de
fin de carrera o de estudios de postgrado, en la sección 3, presentamos un estudio en que se usó dicha propuesta,
y la sección 4 comentamos nuestras conclusiones.
2.- Análisis y revisión de la literatura: una propuesta para trabajos de fin de carrera
Dado que las disciplinas de computación tienen una trayectoria reciente respecto de otras disciplinas de la
ciencia, no existen metodologías que guíen el desarrollo de revisiones sistemáticas en éstas. Consecuentemente
con esto, Kitchenham propone un método para realizar revisiones sistemáticas
1
(Kitchenham, 2004) que se basa
en pautas desarrolladas para la investigación médica y que fueron adaptadas para ser usadas por un equipo de
investigadores en el ámbito de la ingeniería de software.
Una revisión sistemática se define como una manera de evaluar e interpretar toda la investigación disponible
relevante respecto de una interrogante de investigación particular, en un área temática o fenómeno de interés
(Kitchenham, 2004). Los estudios individuales que contribuyen a una revisión sistemática se denominan estudios
primarios, una revisión sistemática se considera un estudio secundario. En particular este método propone tres
etapas fundamentales que son (i) planificación de la revisión, (ii) desarrollo de la revisión y (iii) publicación de
los resultados de la revisión, las que a su vez se encuentran dividas en otras etapas que detallan la forma en que
se deben desarrollar.
1
El término “revisión sistemática” es incorporado por Kitchenham y se enmarca en el contexto del método de investigación
denominado “análisis y revisión de la literatura” por lo que lo usaremos indistintamente a lo largo de este trabajo.

En el caso particular de un proyecto de fin de carrera consideraremos que el trabajo será realizado por un solo
investigador-alumno (a lo más dos), en que la supervisión está a cargo de un tutor o guía y que tiene un tiempo
límite para su realización, estipulado en el plan de estudios de cada caso en particular. Estas condiciones han
sido consideradas en la propuesta que realizamos y que modifica la propuesta original, manteniendo la esencia,
de ésta. A continuación, en el lado izquierdo la Tabla 1 muestra la metodología de Kitchenham y al lado derecho
la Tabla 2 muestra nuestra propuesta.
Etapa 1: Planificación de la revisión
§ Identificar la necesidad de revisión
§ Definir un protocolo de revisión
Etapa 2: Desarrollo de la revisión
§ Identificación de la Investigación
§ Selección de los estudios primarios
§ Evaluación de la calidad del estudio
§ Extracción y monitoreo de datos
§ Síntesis de datos
Etapa 3: Publicación de los resultados
Etapa 1: Planificación de la revisión
§ Identificación de la necesidad de revisión
§ Definición de un protocolo de búsqueda
§ Definición de un protocolo de revisión
§ Evaluación de la planificación
Etapa 2: Desarrollo de la revisión
§ Búsqueda de estudios primarios
§ Selección de los estudios primarios
§ Extracción y gestión de datos
§ Síntesis de datos
Etapa 3: Publicación de los resultados
Tabla 1: Metodología de Kitchenham(2004)
para hacer una revisión sistemática.
Tabla 2: Adaptación para proyectos de fin
de carrera.
Las etapas del método propuesto en la Tabla 2, se describen a continuación en forma detallada.
2.1 Etapa 1: Planificación de la revisión
Esta etapa tiene como propósito específico definir los parámetros más importantes que serán tomados en cuenta
cuando se lleve a cabo la revisión. Se debe establecer las razones que justifican llevarla a cabo, la manera en que
se hará la búsqueda de trabajos y la forma en que éstos serán revisados, finalmente, se evaluará la planificación
realizada. Hemos considerando para esto las siguientes sub-etapas:
2.1.1 Identificación de la necesidad de la revisión.
La necesidad de una revisión sistemática surge del requerimiento de un investigador de resumir toda la
información existente sobre algún fenómeno interés de manera rigurosa e imparcial, con el objeto de iniciar
otras actividades de investigación futuras.
Antes de emprender una revisión sistemática, el investigador debe asegurarse de que ésta es necesaria. En
particular, es recomendable identificar y analizar cualquier revisión sistemática existente acerca del
fenómeno de interés con un criterio de evaluación apropiado. Para este fin, se sugiere usar listas de
verificación como la siguiente:
§ ¿Cuáles son los objetivos de la revisión?
§ ¿Qué fuentes fueron buscadas para identificar estudios primarios? ¿Había alguna restricción?
§ ¿Qué criterios se incluyeron o excluyeron y cómo fueron aplicados?
§ ¿Qué criterios fueron usados para evaluar la calidad de los estudios primarios y cómo fueron
aplicados?
§ ¿Cómo fueron extraídos los datos de los estudios preliminares?
§ ¿Cómo fueron sintetizados los datos? ¿Cómo se diferencian los estudios investigados? ¿Cómo fueron
combinados los datos? ¿Era razonable combinar los estudios?
Las razones más frecuentes que justifican la necesidad de una revisión sistemática son (Kitchenham, 2004):
§ Resumir la evidencia existente concerniente a una tecnología.
§ Identificar algún un vacío en la investigación actual con el objeto de sugerir áreas para
investigaciones futuras.
§ Proveer un marco de trabajo y/o los antecedentes necesarios con el objeto de posicionar nuevas
actividades de investigación.

Junto con lo anterior, también se deben identificar claramente los recursos con que inicialmente se cuenta
para llevar a cabo la revisión (por ejemplo: Internet, revistas electrónicas de acceso público o restringido,
actas de congresos, etc.). Esta planificación puede variar conforme se avance en la investigación ya que
pueden aparecer nuevos recursos, como por ejemplo: acceso a investigaciones recientes, una nueva
suscripción o la adquisición de libros.
2.1.2 Definición de un protocolo de búsqueda.
En esta sub-etapa se deben definir las normas que seguirá la investigación respecto del proceso de búsqueda
en las fuentes de información definidas en la sub-etapa anterior. Deben ser definidos los términos que se
buscarán, las combinaciones de éstos, la estrategia de búsqueda empleada según cada fuente y la manera en
que se registrarán los resultados.
Respecto de la estrategia de búsqueda, es importante establecer la manera en que se va a proceder respecto
de cada fuente empleada. Un caso particular es Internet, que está jugando un rol gravitante en cuanto a la
accesibilidad de la literatura científica (Lawrence, 2001) y que por lo profuso de la información que allí es
posible encontrar, es necesario hacer un filtrado adecuado que permita acceder sólo a aquella información
que sea realmente útil.
Se recomienda hacer un registro de los resultados de las búsquedas ya que pueden servir posteriormente para
justificar la necesidad de investigar en algún área específica, o para demostrar cuantitativamente que el
número de trabajos en un área en particular es muy reducido, o que los trabajos son muy heterogéneos, o
simplemente para demostrar la rigurosidad de nuestro proceso de búsqueda.
Es importante tener en cuenta que el proceso de búsqueda es perfectible, por lo que el protocolo puede y
debe ser mejorado durante el desarrollo de la búsqueda, por ejemplo, se pueden incorporar otros términos de
búsqueda o realizar otras combinaciones de los términos usados. En la Tabla 3 se muestra los puntos que
hay que tener en cuenta cuando se define un protocolo de búsqueda.
Protocolo de Búsqueda de estudios primarios
Términos
Identificación de los términos que serán usado s en la búsqueda. Se recomienda identificar sinónimos y
palabras con significados afines, ya que pueden haber variaciones en el idioma que dependen de la región
en que se use. Por ejemplo, requisitos y requerimientos o modelling y modeling.
Combinaciones
Identificación de las posibles combinaciones significativas entre los términos que fueron identificados en
forma individual.
Estrategias de búsqueda
§ Recursos con herramientas de búsqueda: En algunos casos se pueden ingresar en forma escalada los
términos de búsqueda, restringiendo la búsqueda a los resultados de una búsqueda anterior.
§ CD’s de actas de congresos: Revisar los índices donde aparecen los títulos de cada artículo y el
resumen, los cuales deberían ser leídos en busca de los términos y sus combinaciones. En algunos casos
los artículos están en un formato que permite acceder a alguna función de búsqueda, por ejemplo Adobe
Acrobat, que posee una función que permite hacer una búsqueda exacta en un texto.
§ Texto no electrónico: Una revisión manual de: título, índice, índice de términos, etc.
§ Internet: Cuando los resultados de una búsqueda nos llevan a sitios donde el documento que deseamos
obtener está restringido, una estrategia a emplear es buscar en las páginas personales de los autores ya
que hay algunos de ellos que publican libremente en sus páginas los trabajos en que han participado.
Conviene utilizar buscadores dedicados para simplificar y mejorar el tiempo que se emplea en la
búsqueda. Recomendamos, por ejemplo, Google Scholar, versión Beta en http://scholar.google.com/,
DOCIS: Documents in Computing and Information Science en http://wotan.liu.edu/docis/, CiteSeer:
Scientific Literature Digital Library en http://citeseer.ist.psu.edu/, entre otros.
§ Autores: Si se conocen acceder directamente a sus páginas personales o bien realizar búsqueda por sus
nombres combinando con los términos definidos o bien dejar la combinación para un filtrado posterior.
§ Artículos: En este caso también es recomendable revisar las referencias bibliográficas que incluyen. Se
puede buscar directamente el documento citado usando los antecedentes que aparecen en la citación.
§ Otros: Se debería considerar la posibilidad de la aparición de nuevos términos o conceptos que nos
ayuden a encontrar trabajos de nuestro interés.
Registro de resultados
Los resultados de las búsquedas y el origen de los mismos, deben ser registrados por escrito.
Tabla 3: Protocolo de búsqueda.

2.1.3 Definición de un protocolo de revisión.
El protocolo de revisión especifica los métodos que serán usados para emprender la revisión sistemática. El
disponer de un protocolo predefinido contribuye a evitar los prejuicios del investigador. La idea es impedir,
en la medida de lo posible, que la selección de los estudios individuales pueda estar guiada por las
expectativas del investigador.
Durante esta etapa se realiza la revisión de cada uno de los estudios encontrados y que potencialmente
pueden ser incluidos en la revisión. Se deben definir las normas de revisión a seguir, los criterios de
exclusión e inclusión que serán empleados, la estrategia de extracción de datos y finalmente la estrategia de
síntesis.
La revisión de manuscritos, como cualquier habilidad, mejora con la práctica (Benos et al., 2003). Por otra
parte, es probable que un alumno de último año no posea esta habilidad o no la tenga lo suficientemente
desarrollada, por lo cual es importante contar con una guía para hacerlo. Dado que un alto número de los
estudios que serán revisados se encuentran en formato de artículo científico, y dada la necesidad de detallar
un procedimiento de revisión, se consideró como referencia para este protocolo la estructura de artículo
científico presentada en la figura 1.
Introducción
Preliminares
Conclusión
Resumen
Trabajos
Relacionados
Cuerpo del
Artículo
Referencias
Introducción
Preliminares
Conclusión
Resumen
Trabajos
Relacionados
Cuerpo del
Artículo
Referencias
Figura 1: Estructura de artículo científico (Srba, 2004)
Al igual que en el protocolo anterior, éste puede ser perfeccionado durante el desarrollo de la revisión. En la
tabla 4 se muestra el protocolo de revisión propuesto.
2.1.4 Evaluación de la planificación.
Esta etapa consiste en hacer una valoración objetiva de la planificación. Ya que esta propuesta se enmarca
en el contexto de proyectos de fin de carrera la evaluación de la planificación tendrá que hacerla el tutor o
guía del proyecto.
2.2 Etapa 2: Desarrollo de la revisión
En esta etapa se lleva a cabo la revisión propiamente tal. Su desarrollo está guiado por la planificación de la
revisión. Sin embargo, y ya que es un proceso flexible, es posible incluir cambios que mejoren su desempeño. A
continuación se definen las sub-etapas que contempla el desarrollo de la revisión.
2.2.1 Búsqueda de estudios primarios
La búsqueda de estudios primarios se debe realizar en base al protocolo de búsqueda que fue definido para
ello y que se encontrará en un formato como el sugerido en la etapa 1. Los estudios que se consideren
potencialmente útiles se deberán dejar accesibles para la siguiente etapa, ya sea en formato electrónico y/o
impreso, o bien dejar registrado dónde ubicarlos una vez que se proceda a la selección.
2.2.2 Selección de estudios primarios
La selección de los estudios debe hacerse en base al protocolo de revisión definido. Este proceso será guiado
por los criterios de inclusión y exclusión, dependiendo de los intereses del proyecto es recomendable
registrar los motivos de exclusión.

2.2.3 Extracción y gestión de datos
En esta sub-etapa se extrae la información de interés en los estudios, ya sean resúmenes, ideas o partes de
los documentos. Esta extracción se debe realizar en base al protocolo de revisión definido. Además, se debe
registrar la información necesaria para gestión, como la relativa a la bibliografía, ubicación física del
documento u otra información que los investigadores consideren pertinente.
Se recomienda usar herramientas, como por ejemplo EndNote, para mantener los datos más relevantes de
cada estudio revisado. Este tipo de herramientas, junto con el registro de la información de los documentos,
permite realizar búsquedas, ordenamientos, en general, hacer una adecuada gestión de la información.
2.2.4 Síntesis de datos
En esta sub-etapa, al igual que en las anteriores, se debe aplicar el protocolo definido en la revisión, y
consiste en registrar la información extraída de los estudios primarios siguiendo alguna estrategia. Los datos
pueden ser sintetizados considerando por ejemplo, el enfoque que se le desea dar a la presentación del
estado del arte o la identificación del o los fenómenos de interés.
Protocolo de Revisión de Estudios Primarios
Normas de Revisión
Cada estudio encontrado será revisado y registrado de acuerdo a las preferencias del investigador. Si
no se dispone del trabajo completo, este es el momento para conseguirlo, ya que debemos
asegurarnos de su relevancia para nuestra revisión. Se debe leer al menos el resumen e introducción
y con ello se decidirá la inclusión o exclusión del estudio, basándose en los criterios de este
protocolo. Se sugiere registrar comentarios acerca del estudio, que en una etapa posterior nos
permita por ejemplo, recordar su relevancia para nuestra investigación, el motivo de su exclusión, o
cualquier otro antecedente que creamos nos pueda ser útil.
Criterios de Inclusión
Corresponden a la identificación de aquellos tópicos relevantes a nuestra investigación y que nos
interesa rescatar de los estudios primarios. Conviene detallarlos de tal manera que al momento de la
revisión podamos identificarlos claramente. Por ejemplo, si nuestro interés de investigación fuera
Mantenibilidad del software, por cierto un tema muy amplio, un criterio de inclusión podría ser
métricas para evaluar la mantenibilidad.
Criterios de Exclusión
Aquí se detallará cuando estudios que, a pesar de contener los términos de búsqueda o
combinación de ellos, no contienen información de nuestro interés. En el ejemplo sobre
Mantenibilidad del software, podría ser que no nos interesan aquellos trabajos que proponen
métricas no validadas formalmente.
Estrategia de extracción de datos
Cada estudio seleccionado, debe ser leído con el objeto de extraer datos para nuestro trabajo,
considerando dos etapas:
Etapa 1: Consiste en leer el resumen, introducción, trabajos relacionados, conclusión y referencias.
Con ello será posible obtener la siguiente información:
§ La comunidad a la que está orientado el artículo. [Introducción, Trabajos relacionados,
Referencias]
§ Las principales contribuciones (según los autores). [Resumen, Introducción, Conclusión]
§ Posibles consecuencias de las contribuciones (Aplicaciones directas, nuevas técnicas, nuevas
áreas de investigación, etc.).[Introducción]
Etapa 2: Consiste en leer los preliminares y el cuerpo del artículo, lo que nos permitirá:
§ Incluir en forma detallada la información que es necesaria para la revisión.
§ Comprender un experimento o los fundamentos de un marco de trabajo, identificar las
características de un modelo, etc.
Estrategia de síntesis de datos
Aquí debe definirse cómo se sintetizarán los datos al momento de registrar los resultados de la
revisión.
Tabla 4: Protocolo de revisión
2.3 Etapa 3: Publicación de los resultados
Esta etapa corresponde a la utilización de los resultados una vez que disponemos de ellos. Es muy importante la
difusión de los resultados obtenidos producto de una revisión sistemática. En este caso, junto con la obtención
del documento exigido en cada currículo en particular, sería conveniente comunicar los resultados a través de la
participación en conferencias, publicación de un artículo o de un informe técnico.

3.- Aplicación de la propuesta.
La propuesta presentada anteriormente, fue utilizada para realizar una revisión sistemática de la literatura
relacionada con la Calidad de Datos (en siglas inglesas, DQ, Data Quality) o Calidad de Información (IQ), en
Portales Corporativos (PC), lo anterior como parte del desarrollo de una tesis de postgrado. A continuación se
presenta una síntesis de la propuesta aplicada a este caso particular y siguiendo el mismo orden en que ésta fue
descrita.
3.1.- Etapa1. Planificación de la revisión. Identificación de la necesidad de revisión.
OBJETIVO RECURSOS
Resumir la evidencia existente en relación a cómo
se ha abordado la calidad de datos en aplicaciones
web. Considerando las siguientes interrogantes de
investigación:
• ¿Cuáles son los problemas asociados a la DQ
en PC y/o aplicaciones web?
• ¿Cuáles son las dimensiones de calidad
asociadas a los datos en la web?
• ¿Cómo se puede medir la DQ en la web?
• ¿Cómo se puede mejorar la DQ en la web?
• ¿Qué herramientas existen para evaluar y/o
mejorar la DQ en la web?
• Actas de la Conferencia Internacional en Calidad
de Datos (ICIQ) desde 1996-2004.
• Revistas electrónicas y libros disponibles en la
biblioteca de la Universidad Castilla-La Mancha
(UCLM), incluidos los de formato electrónico.
• Bibliotecas Digitales, como por ejemplo: Citeseer.
• Trabajos de investigación y Tesis relacionadas con
el tema de investigación.
• Textos y revistas disponibles en el laboratorio del
grupo de investigación Alarcos de la UCLM.
• Internet, a través del uso de motores de búsqueda
como, por ejemplo, Google Scholar.
3. 2.- Etapa1. Planificación de la revisión. Definición de un protocolo de búsqueda.
PROTOCOLO DE BUSQUEDA
Términos Data, Information, Web, www, Internet, Quality, Portal, Corporate
Combinaciones “Data Quality”, “Information Quality”, “Data Quality" + Web/Internet/www,
“Information Quality”+Web/Internet/www
Estrategias de
búsqueda
En recursos con herramientas de búsqueda: Ingresar en forma escalada los términos y/o
combinaciones de ellos.
En CD's de actas de congresos: Buscar sobre los títulos en los índices, y luego sobre los
resúmenes y palabras claves. Conjuntamente usar la función de búsqueda de la aplicación.
En textos no electrónicos: Revisión manual de: título, resumen, palabras clave.
En Internet: Acceso a documentos mediante motores de búsqueda, cuando los documentos
no estén accesibles, buscar en las páginas, o en sitios de publicación alternativos.
Autores: Identificar a los autores relevantes, acceder directamente a sus páginas personales,
para la búsqueda de material.
En artículos: Detectar referencias bibliográficas de utilidad, en base a ellas buscar
directamente el documento citado usando los antecedentes que aparecen en la citación (autor,
título, conferencia, etc.).
Otros: En un comienzo se restringió la búsqueda a la DQ/IQ en Portales, sin embargo dado
que no existen muchos trabajos al respecto se extendió a DQ/IQ en la web, reacondicionando
las definiciones de las sub-etapas involucradas.
Registro de los
resultados
Registrar los resultados de las búsquedas mediante tablas.
3. 3.- Etapa1. Planificación de la revisión. Definición de un protocolo de revisión.
PROTOCOLO DE REVISION
Normas de Revisión Si no se dispone del trabajo completo este es el momento para conseguirlo, para
asegurarnos de su relevancia para nuestra investigación. Leer al menos el resumen
e introducción y decidir si incluimos o no el estudio, en base a los criterios de este
protocolo. En la copia completa del trabajo, adjuntar comentarios sobre el mismo
documento en un lugar visible. Se llevará un control acerca de los estudios
primarios aceptados y rechazados, registrando el motivo de exclusión.
Criterios de Inclusión Se incluirán todos aquellos trabajos o estudios que aborden el tema de DQ/IQ en
Portales y/o en la web y que se enmarquen en algunos de los siguientes tópicos:
• Planteamiento/Análisis del problema DQ/IQ en Portales y/o en la web.
• Propuesta un marco de trabajo de DQ/IQ en Portales y/o en la web.

• Propuesta para evaluación y/o mejora de DQ/IQ en Portales y/o en la web.
• Herramientas para evaluar y/o mejorar DQ/IQ en Portales y/o en la web.
PROTOCOLO DE REVISION (continuación)
Criterios de Exclusión Se excluirán aquellos estudios que a pesar de contener los términos de búsqueda o
combinación de ellos, no contienen información relevante sobre el tema y/o no
abordan los tópicos de nuestro interés.
Estrategia de extracción
de datos
Por cada estudio seleccionado, se realizará una lectura con el objeto de extraer
datos para nuestro trabajo, en 2 etapas:
Etapa 1: En esta deberá leer el resumen, introducción, trabajos relacionados,
conclusión y referencias. Donde podremos obtener la información siguiente:
• A qué comunidad está orientado el artículo. [Introducción, Trabajos
relacionados, Referencias]
• Cuáles son sus contribuciones (según los autores). [Resumen, Introducción,
Conclusión]
• Cuáles son las posibles consecuencias de las contribuciones (Aplicaciones
directas, nuevas técnicas, nuevas áreas de investigación, etc.).[Introducción]
Etapa 2: Se leerán los preliminares y el cuerpo del artículo, esto nos permitirá:
• Incluir en forma detallada la información que necesitemos para nuestra
revisión.
• Comprender un experimento, los fundamentos de un marco de trabajo, las
características de un modelo, etc.
Estrategia de síntesis de
datos
Los datos serán sintetizados de acuerdo a los siguientes temas:
• Problemas de DQ/IQ en Portales y/o la web
• Propuestas de marcos de trabajo
• Propuestas para evaluación y/o mejora
• Herramientas de evaluación y/o mejora
3. 3.- Etapa1. Planificación de la revisión. Evaluación de la planificación.
Dado que esta investigación se enmarcaba en el desarrollo de una tesis, la evaluación de la planificación fue
realizada por los directores de la misma.
3. 4.- Desarrollo de la revisión. Búsqueda de estudios primarios.
Esta se realizó en base al protocolo de búsqueda definido y sobre los recursos de información disponibles.
Es importante señalar aquí que los prot ocolos pueden ser mejorados a medida que avanza la revisión, ya que
podemos encontrarnos con que la definición inicial no sea suficiente. Por ejemplo en este caso se tuvo que
extender la búsqueda a aplicaciones web, ya que la búsqueda exclusiva sobre PC no fue exitosa. A modo de
ejemplo las tablas 5 y 6, muestran los resultados de una búsqueda en Internet.
Nº Fuente Clave de Búsqueda Resultados
1 Google
Scholar
“Corporate Portal” 210
2 Google
Scholar
“Portal Corporativo” 29
3 Google
Home
“Corporate Portal” 175.000
Tabla 4. Búsquedas Primarias
Búsqueda
Primaria
Clave de Búsqueda Resul-
tados
1 “Quality” 123
1 “Data Quality” 4
1 “Information Quality” 4
1 “Quality of the Information” 4
2 “Calidad” 3
3 “Quality” 23.400
3 “Data Quality” 1.380
3 “Information Quality” 251
3 “Quality of the Information” 22
Tabla 5. Sub-búsquedas en los resultados de las
búsquedas primarias.

3. 5.- Desarrollo de la revisión. Selección de estudios primarios.
La selección de los estudios se hizo en base al protocolo de revisión definido, con los estudios seleccionados se
procedió a la extracción de datos y en los no seleccionados se registró la información relativa al motivo del
rechazo. Este registro se hizo directamente en el artículo/documento impreso.
3. 6.- Desarrollo de la revisión. Extracción de datos.
En esta etapa se extrajo la información de interés en los estudios siguiendo el procedimiento del protocolo de
revisión. Se escribió un resumen de cada estudio. Además se registró la información necesaria para la gestión,
como la relativa a la bibliografía usando EndNote para mantener los datos más relevantes de cada estudio
revisado. En cada artículo se registró sobre su impreso, su contenido más relevante a la investigación.
3. 7.- Desarrollo de la revisión. Síntesis de datos.
La síntesis correspondió al estado del arte, abordado desde los siguientes puntos de vista: Planteamientos sobre
problemas de DQ/IQ en PC y/o en la web, Propuestas de marcos de trabajo, Propuestas de métodos de
evaluación y/o mejora y Herramientas de evaluación y/o mejora.
3. 8.- Publicación de los resultados.
Los resultados de la revisión sistemática fueron utilizados, primeramente, para el desarrollo del estado del arte
como un capítulo de una tesis y luego para la preparación de un art ículo para una revista del área y otro para
congresos relacionados con el tema.
4.- Conclusiones
En nuestro trabajo hemos introducido la idea de usar un método para orientar proyectos de fin de carrera
relacionados con la investigación. Específicamente, utilizando el método de investigación denominado análisis y
revisión de la literatura. Pensamos que contar con un método como éste favorece el desarrollo de proyectos que
aborden la investigación usando este enfoque, ya que resulta altamente beneficioso para el trabajo conjunto entre
alumnos y docentes/investigadores.
Creemos que trabajos de este tipo constituyen un buen punto de partida para desarrollar trabajos futuros
tendientes sistematizar las tareas relacionadas con la investigación y que permitan utilizarla en fo rma acotada en
el contexto de proyectos finales de estudiantes de ingeniería y/o post-grado.
5.- Agradecimientos
Este trabajo forma parte de los proyectos de investigación que promueve y desarrolla el Grupo Alarcos
(http://alarcos.inf-cr.uclm.es/) de la Escuela Superior de Informática de la Universidad Castilla-La Mancha,
Ciudad Real, España.
6.- Referencias
Benos, D. J., Kirk, K. L. y Hall, J. E.; How to Review a Paper , Advances in Physiology Education. Vol 27 (2). (2003). pp. 47 -52.
Glass, R. L., Ramesh, V. y Vessey, I.; An analysis of research in computing disciplines, Communications of the ACM,. Vol. 47 (6). (2004).
pp. 89-94.
Glass, R. L., Vessey, I. y Ramesh, V.; Research in software engineering: an analysis of the literature, Information & Software Technology.
Vol. 44 (8). (2002). pp. 491-506.
Kitchenham, B., Procedures for Performing Systematic Reviews, Keele University Technical Report TR/SE-0401, (2004). 33 p.
Lawrence, S.; Online or Invisible?, Nature. Vol. 411, Number 6837. (2001). pp. 521 -523.
Lázaro, M. y Marcos, E.; Research in Software Engineering: Paradigms and Methods, Aceptado en 1st Workshop on Philosophical
Foundations of Information Systems Engineering junto a 17th Conference on Advanced Information System Engineering (CAiSE'05)
Porto, Portugal. (2005). pp.
Shaw, M.; What makes good research in software engineering?, International Journal on Software Tools for Technology Transfer (STTT).
Vol 4 (1). (2002). pp. 1-7.
Srba, J.; How to Read and Present a Scientific Paper. In http://www.cs.auc.dk/~hans/Dat5/slides.pdf. (2004).