La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS

Abstract

La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS The perceived usability and degree of satisfaction in the platform moodle of the UIB by SUS questionnarie Resumen Este trabajo pretende evaluar la usabilidad percibida por parte de los alumnos del Grado de Educación Primaria y Educación Infantil con la plataforma virtual de la UIB, concretamente Moodle en su versión 2.4. Para esta valoración se utiliza el cuestionario de usabilidad SUS (System Usability Scale) desarrollado por Brooke (1996). El cual se fundamenta en la norma ISO 9241-11 en los indicadores de efectividad, eficiencia y grado de satisfacción. Los resultados obtenidos, a partir de este cuestionario, por parte de este alumnado de la plataforma moodle 2.4, la definen como 'buena' y que se ratifica, también a partir de la Q11 de Bangor (2008) en el que el resultado logrado es de 'buena'. Abstract This work evaluates the usability perceived by the students of the Degree in Primary Education and Early Childhood Education with the virtual platform of the UIB, particularly Moodle version 2.4. For this assessment, we have used the questionnaire SUS usability (System Usability Scale) developed by Brooke

Full text

La usabilidad percibida y el grado de satisfacción en la
plataforma moodle de la UIB a partir del cuestionario SUS
The perceived usability and degree of satisfaction in the platform
moodle of the UIB by SUS questionnarie
Eje temático: Ciencia, Tecnología e Innovación
Francisco Lirola Sabater
Universidad UIB
xisco.lirola@uib.es
Adolfina Pérez Garcias
Universidad UIB
fina.perez@uib.es
Resumen
Este trabajo pretende evaluar la usabilidad percibida por parte de los alumnos
del Grado de Educación Primaria y Educación Infantil con la plataforma virtual
de la UIB, concretamente Moodle en su versión 2.4. Para esta valoración se
utiliza el cuestionario de usabilidad SUS (System Usability Scale) desarrollado
por Brooke (1996). El cual se fundamenta en la norma ISO 9241-11 en los
indicadores de efectividad, eficiencia y grado de satisfacción. Los resultados
obtenidos, a partir de este cuestionario, por parte de este alumnado de la
plataforma moodle 2.4, la definen como 'buena' y que se ratifica, también a
partir de la Q11 de Bangor (2008) en el que el resultado logrado es de 'buena'.
Abstract
This work evaluates the usability perceived by the students of the Degree in
Primary Education and Early Childhood Education with the virtual platform of
the UIB, particularly Moodle version 2.4. For this assessment, we have used the
questionnaire SUS usability (System Usability Scale) developed by Brooke

Lirola, Pérez
2
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
(1996). Which is based on ISO 9241-11, it use indicators of effectiveness,
efficiency and satisfaction. The results obtained with this questionnaire by the
students in Moodle 2.4, define it as 'good' and ratified, also from the question
Bangor Q11 (2008), in which the result is achieved of 'good'.
Palabras clave: usabilidad, SUS (System Usability Scale), entorno virtual,
moodle.
Keywords: usability, SUS (System Usability Scale), virtual environment,
moodle.

La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS
3
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
1.- Introducción
Los entornos virtuales son una constante en muchos estudios universitarios y
pocos de ellos se someten a la evaluación desde la perspectiva de la
usabilidad, utilizando la norma ISO 9241-11. Por tal motivo, este trabajo
pretende evaluar la plataforma virtual (Moodle 2.4) utilizada en la UIB desde la
perspectiva del grado de satisfacción y la usabilidad percibida por parte del
alumnado a partir de un cuestionario que permite realizar una comparativa de
los resultados.
La norma ISO 9241-11 define la usabilidad como: “el grado de eficacia,
eficiencia y satisfacción con la que un entorno o sistema permite alcanzar unos
objetivos específicos a los usuarios que utilizan dicho entorno".
Este trabajo se sitúa dentro del proyecto EDU2011 25411 que lleva por título
“Estrategias metodológicas para la integración de entornos virtuales
institucionales, sociales y personales de aprendizaje”.
El cuestionario SUS (System Usability Scale), es un instrumento fácil de utilizar
y rápido para medir la usabilidad y el grado de satisfacción, de un sistema o
entorno por parte de los usuarios. Brooke (1996) define a este cuestionario
como “una escala simple, de diez ítems que ofrece una visión global y subjetiva
en las evaluaciones de usabilidad”. Originalmente, este cuestionario de Brooke
(1996), se destinó a medir la percepción de la facilidad de uso (una sola
dimensión). Posteriormente, Lewis y Sauro (2009), en el congreso HCII 2009,
proponen modificar la estructura del instrumento bajo dos dimensiones: la
usabilidad con (8 ítems) y la facilidad de aprendizaje (2 ítems) del SUS.
Además proporciona una medida global de la satisfacción.
Existe una falta de concreción del propio concepto de usabilidad, como afirma
Brooke (1996) “Usabilidad no existe en un sentido absoluto; sólo puede ser
definido con referencia a los contextos particulares”.

Lirola, Pérez
4
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
Figura 1. La norma ISO 9241-11 y sus factores. Diseño propio.
Así pues, para centrar la investigación de este trabajo bajo una única
perspectiva focalizamos la usabilidad a partir de la norma ISO 9241-11, a la
que hace referencia Brooke (1996, 2013) como eje central para aplicar el test
de usabilidad SUS.
El cuestionario SUS pretende:
1.- Ofrecer una medida de las percepciones subjetiva de los usuarios de la
usabilidad a partir de un sistema o entorno.
2.- Obtener dicha información en espacio de tiempo corto en una sesión de
evaluación.
La aplicación del cuestionario SUS, nos permite recibir un información de cómo
perciben los usuarios el entorno virtual. Este tipo de pruebas pretende medir la
eficacia del entorno (cómo utilizan el entorno), la eficiencia (la facilidad y
rapidez de cómo navegan en el entorno) y la satisfacción (se trata de una
respuesta subjetiva por parte del usuario).
2. Metodología
2.1. Objetivo

La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS
5
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
Evaluar la usabilidad, ISO 9241-11, del entorno virtual moodle 2.4 ubicado en
Campus Extens de la UIB, utilizando el cuestionario SUS como instrumento de
medida.
2.2. Participantes
Los alumnos que han participado pertenecen a los grupos de 4º curso del
Grado de educación infantil, 1er curso del Grado de educación primaria y 3r
curso del Grado de educación primaria todos ellos matriculados en asignaturas
relacionadas con la integración de las TIC en la educación.
Tabla 1. La participación según el curso académico. Se trata de una muestra por conveniencia.
El número total de cuestionarios contestados fue de 95 sobre un total posible
de 227 alumnos posibles. Un total de 41'8 % de alumnos de estas tres
asignaturas contestaron de forma voluntaria a este cuestionario.
2.3. Instrumento
El cuestionario, SUS, se compone de 10 preguntas, (escala Likert) de cinco
puntos de elección que se oscila entre el calificativo de ‘totalmente en
desacuerdo’ al ‘totalmente de acuerdo. La puntuación, varía de 0 a 100, para
los elementos individuales no son significativos por sí solos; en otras palabras
la única puntuación de referencia debe ser el cómputo total del cuestionario,
Brooke (1996).
Bangor (2008) comparó los cuartiles obtenidos en la puntuación del
cuestionario y las calificaciones adjetivables (figura 1). De esa forma, un
entorno virtual con una puntuación de 50 se considera inaceptable, pobre’;
mientras que con una puntuación total de 70 a 80 como aceptable, ‘buena’.
El cuestionario SUS es:

Lirola, Pérez
6
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
Fiable: ha demostrado ser fiable y detectar diferencias en los tamaños de
muestra más pequeños que los utilizados en formatos superiores o
comerciales.
Válido: si entendemos validez como a algo que se puede medir y lo que se
pretende medir, en este caso es la usabilidad percibida. Este tipo de
cuestionario ha demostrado ser eficaz para distinguir entre sistemas
inutilizables y utilizables. Es rápido y fácil de usar. Presenta un coeficiente de
fiabilidad de 0,91 para las ocho preguntas de usabilidad y 0,7 para las dos que
presenta de aprendizaje, Lewis, J. R. and Sauro, J. (2009).
Este trabajo se centra en la segunda propuesta de una doble dimensión del
cuestionario; es decir la satisfacción del sistema y la facilidad de aprendizaje.
Un efecto negativo de los resultados logrados por este cuestionario podría ser
la experiencia previa por parte de los usuarios; en nuestro caso puede darse en
los alumnos de 3r grado y 4º grado, no obstante como resalta Sauro (2011b),
tras muchos trabajos el porcentaje de usuarios con experiencia previa que
califica al sistema y productos de software se sitúa entre un 6% al 15% del total
de la población encuestada. Puede considerarse que la experiencia previa, por
parte del alumnado, en este estudio no es significativo.
2.4. Procedimiento
Se incorpora el cuestionario SUS dentro de un servidor limesurvey de la UIB,
para facilitar las respuestas de los alumnos. Posteriormente, a los grupos que
participan en este cuestionario se le comunica la dirección url .
Url del cuestionario: http://daruma.uib.es/limesurvey/index.php/394661/lang-es
2.5. Análisis de los datos
La obtención de los resultados del cuestionario SUS, a excepción de la Q11 de
Bangor (2008) se realizan por medio de una hoja de cálculo tal y como propone
Sauro (2011a), obteniendo unos valores no superiores a 100 y que se
correlacionan con un listado de adjetivos en función del intervalo de dicha

La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS
7
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
puntuación, (figura 1). Mientras que la pregunta denominada Q11 la utilizamos
como elemento comparativo con el resultado final del cuestionario SUS,
siguiendo el procedimiento de adjetivación que comenta Bangor (2008); (figura
1). El formato de puntuación considera que los ítems se puntúan de 0 a 4 en
donde los ítems 1,3,5,7 y 9 su puntuación es el total de la respuesta menos 1;
es decir (x-1); mientras que los ítems 2,4,6, 8 y 10 la puntuación se obtiene
restando el valor aportado sobre 5; es decir (5-x). La suma de las puntuaciones
logradas es multiplicado por el factor 2.5 logrando el valor global del
cuestionario. Este valor final oscila entre el 0 y el 100.
Figura 1 Comparativa entre cuartiles, la adjetivación, el rango de aceptación y la puntuación SUS. Bangor
(2008)
3. Resultados
Un elemento a considerar en este tipo de cuestionarios son los intervalos de
confianza de los resultados (figura 2). Estos intervalos nos permiten visualizar
la posible dispersión de los resultados, su agrupamiento y afinidad entre las
respuestas obtenidas. Y valorarlo en su contexto real, ya que ha intervenido
alumnos de tres cursos muy distintos y con experiencias dispares.

Lirola, Pérez
8
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
Figura 2 Intervalo de confianza del cuestionario SUS.
Tabla 3 Resultados obtenidos del cuesrtionario SUS.
Los alumnos de 1er Grado de educación Primaria valoran como 'pobre' a la
plataforma en un porcentaje muy escaso; los alumnos de 4º Grado de infantil y
3er Grado de Educación Primaria su valoración como plataforma 'pobre' es
mucho más elevado (tabla 3). Esta valoración puede deberse principalmente, al
paso de la versión 1.9 a la 2.4 de Moodle por parte de los alumnos de 4º Grado
de infantil y 3er Grado de Educación Primaria. Ya que estos dos grupos han
pasado de trabajar con un interfaz diferente en la versión 1.9 con respecto a la
versión 2.4; también puede haber influido la forma de navegación y utilización
de esta nueva interfaz que se aplica en la versión 2.4
Si tenemos presente el concepto de eficacia como la facilidad de uso, los
alumnos de 4º Grado de infantil y 3er Grado de Educación Primaria han tenido
que modificar sus estrategias de uso de la plataforma moodle 2.4 ya que tanto
la interfaz como la navegación difiere notablemente con respecto a la versión
1.9. Tal y como cita Brooke (2013) el grado de satisfacción viene condicionado
por el nivel de comodidad del usuario que experimenta a la hora de alcanzar
sus objetivos; en este caso la navegación en una nueva interfaz.

La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS
9
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
Gráfico 1. Valores de los tres grupos a partir de la adjetivación según Lewis y Sauro (2009)
La valoración general de la plataforma Moodle 2.4, por parte del alumnado,
como 'buena' a partir de los resultados del cuestionario SUS, (gráfico 1), y que
se confirma por el intervalo de confianza de este cuestionario, (figura 2).
Tabla 4 Resultados obtenidos de la Q11 Bangor (2008).
Un dato a tener, en cuenta a modo cuantitativo, es el mismo número de
alumnos que valoran a la plataforma como 'pobre' (25 alumnos) y a los
alumnos que la catalogan como buena (25); (tabla 3). Esta igualdad numérica
pero con distinta proyección cualitativa, queda clarificada con la tabla 4.
Los alumnos que han participado en esta valoración de la plataforma moodle
la califican de 'buena' ya sea a partir del cuestionario SUS, como también por
su 'facilidad de uso' por parte de la Q11 de Bangor (2008) que, en cierto modo,
confirma la tendencia valorativa del cuestionario SUS, (tabla 5).

Lirola, Pérez
10
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
Tabla 5 Resumen comparativo de los datos obtenidos.
4. Conclusión
El hecho de utilizar este cuestionario, fácil de aplicar y con un impacto de
tiempo relativamente corto a la hora de responder, nos permite obtener los
resultados en un breve espacio de tiempo y poder realizar las modificaciones
oportunas en la plataforma no libe para mejorar el grado de satisfacción y
facilidad de uso de la misma.
Aplicar este cuestionario nos permite rediseñar la plataforma de una forma
rápida en aquellos ítems que los alumnos consideran que no mejoran su
proceso de enseñanza-aprendizaje. Al ser de fácil aplicación no cabe esperar
al final de curso para su aplicación puede realizarse en cualquier momento,
circunstancia que produce una mejora del entorno virtual gracias a este
cuestionario. Esta circunstancia produce una mejora del entorno de una forma
rápida y en la que, el alumnado, participa realmente en el rediseño como parte
activa del entorno virtual y no verse relegado a un segundo plano y aporta una
valoración para que los responsables del diseño se adapte más a las
necesidades del alumnado de grado.
Y, por otro lado, la facilidad de su aplicación y la obtención de los resultados
permiten realizar modificaciones sobre aquellos aspectos en los cuales el
usuario ha detectado ciertas dificultades de utilización y/o navegación por en el
entorno virtual. Todo ello encaminado a la mejora del propio entorno y también
del curso diseñado dentro de la plataforma moodle 2.4
Referencias bibliográficas

La usabilidad percibida y el grado de satisfacción en la plataforma moodle de la UIB a partir del cuestionario SUS
11
XVIII Congreso Internacional EDUTEC "Educación y Tecnología desde una visión
Transformadora" – Noviembre 2015
ISBN: 978-84-608-3627-8
Bangor, A., Kortum, P. T., & Miller, J. T. (2008). An empirical evaluation of the
System Usability Scale. International Journal of Human-Computer Interaction,
24(6), 574-
594. Recuperado
en http://www.tandfonline.com/doi/abs/10.1080/10447310802205776#.VGIdToc
ovEU
Brooke, J. (1996). SUS: a "quick and dirty" usability scale. In P. W. Jordan, B.
Thomas, B. A. Weerdmeester, & A. L. McClelland (Eds.), Usability Evaluation in
Industry (pp. 189-194). London: Taylor and Francis. Recuperado
en http://www.itu.dk/courses/U/E2005/litteratur/sus.pdf.
Brooke, J (2013). SUS: a retrospective. Journal of usability studies. Recuperado
en http://bit.ly/1K5mPpq
Lewis, J. R., & Sauro, J. (2009) The factor structure Of The System Usability
Scale. Proceedings of the Human Computer Interaction International
Conference (HCII 2009), San Diego, CA, USA. Recuperado en
http://www.measuringusability.com/papers/Lewis_Sauro_HCII2009.pdf.
Sauro, J. (2011a). A practical guide to the System Usability Scale (SUS):
Background, benchmarks & best practices. Denver, CO: Measuring Usability
LLC.
Sauro, J. (2011b). Does prior experience affect perceptions of usability?.
Recuperado en http://www.measuringu.com/blog/prior-exposure.php
Standards ISO. (2011). International standards for HCI and usability Standards
related to usability can be categorised as primarily concerned with :
Development of ISO standards, 1-13. Recuperado
en http://www.usabilitynet.org/tools/r_international.htm