Desarrollo de Herramientas y Técnicas de Realidad Aumentada para la Mejora de Laboratorios Remotos: Laboratorio Remoto Aumentado

Full text

Desarrollo de Herramientas y Técnicas de Realidad
Aumentada para la Mejora de Laboratorios
Remotos: Laboratorio Remoto Aumentado
Andrés Mejías Borrero, José Manuel Andújar Márquez, Marco A. Márquez Sánchez.
mjias@uhu.es
,
andujar@diesia.uhu.es
,
marcoa@iesppg.net
Dpto. de Ingeniería Electrónica, de Sistemas Informáticos y Automática (DIESIA). Universidad de Huelva.
Escuela Politécnica Superior. Palos de la Frontera (Huelva)
Resumen. La realidad aumentada ofrece unas posibilidades
enormes para la enseñanza práctica en línea en los campos de las
ciencias e ingenierías, disciplinas que dada la importancia que
otorgan a la formación práctica, encuentran no pocas
dificultades para una formación completamente no presencial.
En este trabajo se propone un nuevo concepto de laboratorio
virtual y remoto que denominamos laboratorio remoto
aumentado, el cual, incorporando técnicas de realidad
aumentada, permiten al usuario percibir sensaciones y explorar
experiencias formativas que, en algunos casos, pueden superar
las ofrecidas por los laboratorios presenciales.
I. I
NTRODUCCIÓN
En este artículo se presenta una línea de investigación
iniciada en el Grupo de Investigación Control y Robótica de
la Universidad de Huelva, que tiene por objeto el desarrollo
de herramientas y técnicas de realidad aumentada (RA) para
su aplicación en laboratorios virtuales y remotos. Dentro de
este ámbito, ampliamos la clasificación y definición realizada
en [1] (instrumento virtual, instrumento remoto, laboratorio
remoto, laboratorio virtual, y laboratorio virtual y remoto) con
la de laboratorio remoto aumentado (LRA). Por último, se
presenta también una aplicación práctica demostrativa,
consistente en un diseño VHDL de un sistema digital de
control basado en una placa de desarrollo con FPGA.
La RA es una tecnología que incorpora a la realidad
contenidos virtuales, lo cual la diferencia de forma clara de la
realidad virtual (RV), ya que ésta se aísla de lo real para
conformar escenarios netamente virtuales. Los sistemas de
RA [2]:
• Combinan contenido real (normalmente observado a
través de algún dispositivo electrónico, como cámaras o
visualizadores tipo HMD) y contenido virtual generado
por ordenador y superpuesto adecuadamente al real.
• Son sistemas interactivos en tiempo real.
• Deben estar registrados en el espacio tridimensional. El
espacio real que observa el usuario define el contexto
usado para interactuar y representar elementos virtuales y
reales.
Los sistemas de RA no tienen porqué limitarse a
aplicaciones exclusivamente gráficas, ya que también pueden
usar sonidos posicionados espacialmente, y según la
aplicación, el usuario puede necesitar desplazarse en
pequeños o grandes espacios. Esto implica un seguimiento
(tracking) de su posición y orientación, bien mediante
dispositivos locales (de tipo magnético, óptico o mixtos) o
dispositivos de seguimiento externo, como sistemas GPS.
Estos sistemas pueden combinarse entre sí, dando lugar a un
extenso rango de aplicaciones posibles.
En resumen, la RA complementa la percepción e
interacción con el mundo real, y permite al usuario visualizar
un entorno real aumentado con información tridimensional
generada por ordenador.
Entre lo totalmente real y lo totalmente virtual hay un
continuo de situaciones (Figura 1) caracterizadas por mezclas
en grado diferente de los entornos virtual y real. En esta
realidad mixta aparece el concepto de virtuality continuum
[3], que abarca la realidad aumentada y la virtualidad
aumentada (VA), que son una mezcla de mundo real y virtual.
Estos puntos intermedios se conocen también en conjunto
como realidad mixta.
Hoy en día se ha impuesto claramente el término realidad
aumentada frente a virtualidad aumentada, entre otras razones
porque las aplicaciones actuales están más cerca del mundo
real que del mundo virtual. Una clara ventaja de los sistemas
RA frente a los sistemas VA es el aprovechamiento del
mundo real. Efectivamente, las aplicaciones RA no necesitan
modelar cada pequeño detalle de la realidad, ya que estos
detalles, al ser reales, están ya físicamente presentes. Tan sólo
es necesario superponer elementos virtuales tridimensionales
que sean significativos para la aplicación, y sobre los que se
quiere interactuar. El usuario nunca pierde el contacto con el
mundo real que tiene al alcance de su vista, y al mismo
tiempo puede interactuar con la información virtual
superpuesta.
Fig. 1. Continuo propuesto por Milgram
La RA está introduciéndose en nuevas áreas de aplicación
como son, entre otras, la reconstrucción del patrimonio
histórico [4], el entrenamiento de operarios de procesos
industriales [5], el mantenimiento de sistemas [6] o las visitas
turísticas en museos y otros edificios históricos [7]. El mundo

académico no está al margen de estas iniciativas y también ha
empezado a introducir la tecnología de la RA en algunas de
sus disciplinas, aunque su aplicación es aún mínima en la
docencia. Entre los motivos más importantes de este bajo
nivel de implantación podría citarse el estado todavía
embrionario de dicha tecnología, el elevado coste de su
desarrollo y utilización, así como también la escasa presencia
aún en los ámbitos cotidianos de la sociedad.
A. La Realidad Aumentada en la educación
Podríamos reseñar algunas aplicaciones realizadas con
técnicas RA aplicadas a la educación, como el Magic Book,
desarrollado en The Human Interface Technology Laboratory
(HIT Lab) [8]. En esta aplicación, un usuario puede leer un
libro a través de un visualizador y ve, sobre las páginas reales,
contenidos virtuales asociados a esas páginas. Estas técnicas
se han utilizado para la enseñanza en materias de ciencias
sociales, aunque podrían extenderse a otras disciplinas. Otras
instituciones como el Massachusetts Institute of Technology
(MIT) han creado aplicaciones de RA que son juegos de
simulación donde se combinan el mundo real y contenido
virtual proporcionado por dispositivos PDA [9].
En el ámbito europeo, existen diferentes proyectos que
diseñan y desarrollan aplicaciones innovadoras que integran
RA para ser utilizadas en la educación, como CREATE [10]
y ARiSE [11]. Estas herramientas, basadas en presentaciones
3D y con capacidad de interacción con el usuario, facilitan la
comprensión de las materias de todas las ciencias. Los
estudiantes pueden interactuar con objetos virtuales en un
entorno real aumentado y desarrollan el aprendizaje
experimentando.
Centrando el interés en el uso de la RA en la enseñanza de
la ingeniería, en [12] los autores presentan una aplicación
educativa para la enseñanza de la ingeniería mecánica, que
permite a los usuarios interactuar con contenido
tridimensional usando tecnología web, así como técnicas de
RA y RV. En [13] se usa la RA para la enseñanza de las
matemáticas, y en [14] se describe un sistema de enseñanza de
la geometría basada en estas técnicas.
Una aproximación al uso de laboratorios remotos con
técnicas de RA se describe en [15], donde se emplea
LabView
TM
para controlar un péndulo invertido situado en un
laboratorio, aunque no se utilizan técnicas de seguimiento o
localización de elementos en la imagen de video, ya que la
imagen virtual en este caso se deriva de las mediciones
realizadas en el sistema real.
B. Ventajas del uso de técnicas de RA en la realización de
prácticas en laboratorios remotos
Sin duda, una de las ventajas en el uso de laboratorios
remotos, es que el usuario vea una gran similitud en el
proceso de preparación y elaboración de un experimento con
el que sigue cuando está físicamente en el laboratorio. En [16]
se exponen las desventajas de un entorno de experimentación
remoto, siendo una de ellas la falta de contacto físico con el
experimento, lo cual puede reducir la sensación de realismo.
Es por esta razón que el método que proponemos en este
trabajo, basado en RA, intenta trasladar al usuario la
sensación de que puede manejar ciertos elementos del
laboratorio como si estuviera frente a ellos, disminuyendo así
el factor desmotivador de falta de contacto. Además, el uso
de modelos virtuales conectados al material didáctico del
laboratorio, y la posibilidad de visión estereoscópica, son
factores motivadores para el usuario.
Otra de las desventajas enumeradas en [16] es que existen
laboratorios de ciertas áreas que no son adecuados para su
experimentación remota. Se citan como ejemplos los
laboratorios químicos y el ensamblaje de circuitos digitales
combinacionales y secuenciales en un laboratorio de
electrónica digital. La aplicación práctica desarrollada en este
trabajo muestra cómo incluir el diseño digital (basado en
VHDL) en el grupo de áreas susceptibles de ser incorporadas
a la experimentación remota.
En cuanto a los requisitos necesarios enumerados en [16]
para el éxito de un experimento remoto, cabe destacar la
necesidad de disponer de una arquitectura abierta y modular
para la inclusión de nuevos componentes y ejercicios con un
mínimo esfuerzo. El uso de técnicas de RA permite que una
misma configuración de material físico de laboratorio se
adapte a muy diversos experimentos, ya que las diferentes
necesidades de material de cada uno de ellos son sustituidas
por elementos virtuales, que sólo aparecen en escena cuando
un experimento concreto lo solicita. En este aspecto, nuestra
propuesta presenta grandes ventajas, ya que los elementos y
modelos virtuales conectados al material didáctico real
permiten diseñar infinidad de experimentos distintos, sin
ninguna modificación en el entorno real del laboratorio. Si
consideramos el laboratorio remoto como un servicio
educativo en línea, esta concepción disminuye drásticamente
las paradas en la actividad de este servicio, que
obligatoriamente se producirían cuando fuera necesario
modificar la configuración física en el laboratorio.
C. Una aplicación de las técnicas de RA en los laboratorios
remotos
Según lo expuesto, son evidentes las grandes
posibilidades de la RA en muy diversos campos del
conocimiento, y por supuesto, en la enseñanza. Mostraremos
en este artículo un ejemplo de uso de un laboratorio remoto
usando técnicas de RA, en concreto una aplicación práctica
de un control digital muy sencillo, cuya pretensión es más
mostrar la riqueza y posibilidades de la técnica desarrollada
que solucionar un problema complejo. Esta implementación
permite utilizar de forma remota material didáctico que
habitualmente emplean nuestros alumnos en la realización de
prácticas de laboratorio, concretamente en el diseño de
Sistemas Digitales, enseñanza adscrita al área de
conocimiento de Ingeniería de Sistemas y Automática en la
Universidad de Huelva.
Para las prácticas empleamos placas de desarrollo basadas
en FPGAs de gran capacidad. Estas placas cuentan además
con un completo conjunto de elementos conectados a la
FPGA, tales como memorias (RAM, EPROM…),
convertidores A/D y D/A, visualizadores LCD, interruptores,
pulsadores, puertos serie, puertos VGA, generadores de reloj,
etc., lo que las convierte en sistemas con grandes
posibilidades para su uso en el laboratorio de prácticas.
Tradicionalmente, las prácticas con estas placas de
desarrollo se realizan in situ en el laboratorio,
programándolas a partir de un diseño previo (habitualmente
en VHDL). En estos diseños, la comprobación del resultado
requiere la introducción de variables de entrada (por ejemplo,
mediante los interruptores y pulsadores) y el análisis de la

respuesta de la placa mediante leds, visualizadores LCD,
salidas de convertidores D/A, etc.
El método propuesto en este artículo intenta cubrir las
necesidades del alumnado de disponer del laboratorio con un
amplio horario para realizar este tipo de prácticas, sin la
necesidad de desplazarse, y con las mismas sensaciones de
estar presentes en el laboratorio, añadiendo además nuevas
funcionalidades educativas.
La organización de este artículo es la siguiente: en la
sección II se describen los elementos del sistema propuesto.
En la sección III se expone el procedimiento de diseño e
implementación de un caso práctico. En la sección IV se
presentan otras posibilidades de las técnicas de RA en el
ensayo de prácticas de laboratorio, como es el uso de
periféricos y modelos virtuales conectado a la placa de
desarrollo. Finalmente, se exponen las conclusiones y las
líneas de trabajo en curso y futuras del grupo en este ámbito.
II.
LABORATORIO REMOTO AUMENTADO
El laboratorio remoto aumentado (LRA) supone un
escalón superior al laboratorio virtual y remoto [1]. El escalón
será tanto más alto cuanto mayor grado de desarrollo
adquieran las técnicas de realidad aumentada, las cuales están
hoy en día aún en estado embrionario. Nótese que en la
denominación del laboratorio hemos suprimido la palabra
virtual, no porque la realidad virtual no sea una técnica de
aplicación en nuestra propuesta, sino porque es intrínseca a la
realidad aumentada.
El acceso al laboratorio remoto aumentado (LRA) se
realiza mediante una aplicación, también desarrollada por el
equipo, que hemos dado en denominar RALR (realidad
aumentada para laboratorios remotos). Esta aplicación la
ejecuta el usuario de forma local en su ordenador, y le permite
acceder al laboratorio remoto vía TCP/IP empleando técnicas
de RA. Estas técnicas habilitan el uso interactivo del material
del laboratorio preparado para ello.
Los cometidos de la aplicación RALR podrían resumirse
en los puntos siguientes:
• Mostrar al usuario el dispositivo remoto mediante una
imagen en tiempo real que toma una cámara remota
situada en el laboratorio.
• Superponer a esta imagen, de forma adecuada, elementos
virtuales que pueden proporcionar al usuario la
posibilidad de interaccionar con elementos remotos
físicos, con la sensación de que trabaja directamente
sobre ellos. Estos elementos deben mantener una
posición, escala y perspectiva apropiada a la imagen de
vídeo recibida. Un caso típico en la aplicación práctica
que exponemos en este artículo serían los interruptores y
pulsadores de la placa de desarrollo, e incluso periféricos
adicionales que, conectados a la placa, permitan
interactuar al usuario.
• Mostrar resultados proporcionados por el material
didáctico empleado, por ejemplo, en visualizadores
conectados a puertos de expansión. Estos dispositivos
pueden ser reales (los veríamos en la imagen de vídeo) o
virtuales (la aplicación los genera y los coloca en el lugar
adecuado según el diseño que estemos implementando),
actualizando la información que deberían suministrar
según los datos proporcionados por el material didáctico
del laboratorio.
• Aunque se puede conectar al material didáctico un
modelo físico que esté situado en el laboratorio, la
aplicación RALR tiene también la posibilidad de conectar
un modelo virtual, cuyo funcionamiento está controlado
completamente con las señales proporcionadas por el
material didáctico real empleado en el laboratorio (en
nuestra aplicación práctica, la placa de desarrollo). Si la
práctica a realizar incluye un modelo virtual que
controlar, nuestra propuesta es que éste quede
completamente integrado en la aplicación RALR, de
manera que el usuario lo ejecute de forma local. Un
ejemplo de esta situación se presenta en la sección IV de
este artículo.
• La aplicación RALR debe proporcionar al usuario un
acceso fácil al material educativo relacionado con la
práctica que está realizando, el cual debe suministrar el
profesor. Algunos ejemplos de esta información son el
enunciado de la práctica a realizar, tutoriales, manuales
de usuario, etc. La disponibilidad de un gestor de
contenido desde la propia aplicación RALR facilita tanto
el acceso del usuario como la distribución de esa
información por parte del profesor.
La figura 2 muestra la estructura general del sistema
desarrollado, donde se distinguen los elementos principales
siguientes:
a. Portal gestor de contenidos.
b. Gestor de reservas y control de acceso.
c. Aplicación RALR que ejecuta localmente el usuario.
d. Instalación física en laboratorio.
e. Generador de aplicaciones RALR.
A. Portal gestor de contenido
En él se encuentra el material educativo, del que ya hemos
hecho referencia, y al que se puede acceder desde la
aplicación RALR que ejecuta el usuario mediante un menú
desplegable sobre la imagen de vídeo. En nuestros prototipos
estamos empleando Mambo como gestor de contenidos.
B. Gestor de reservas y sistema de control de acceso
El gestor de reservas asegura un reparto adecuado de los
recursos del laboratorio, permitiendo al usuario la reserva de
franjas horarias para su uso, según las restricciones impuestas
por el profesor.
El sistema de control de acceso usa los datos de reserva,
proporcionados por el gestor de reservas, y se encarga de
habilitar los recursos de red necesarios. Así controlamos que
sólo el usuario que ha reservado una franja horaria
determinada pueda acceder a un puesto de trabajo remoto.
Actualmente estos elementos están en fase de desarrollo.
C. Aplicación RALR
Esta aplicación, particular para cada práctica, es
descargada por el usuario desde el gestor de contenidos. Está
lista para ser ejecutada localmente dentro del entorno de
ejecución instalado con anterioridad, y común a todas las
aplicaciones.

Fig. 2. Estructura general del sistema desarrollado
D. Realización física del laboratorio
En el laboratorio se encuentra el material didáctico, así
como la infraestructura necesaria para su acceso y
visualización remota. En la figura 3 se muestra la zona de
prototipos experimentales que hemos habilitado, donde
pueden observarse, entre otros elementos, cámaras y
equipamiento de vídeo diversos. En el caso práctico que
exponemos en las secciones III y IV de este artículo,
usaremos los elementos siguientes (ver figura 3):
1. Placa de desarrollo conectada a un PC. Para las prácticas
empleamos una placa Xilinx basada en una FPGA de la
serie Spartan 3E, modelo XC3S500E, con 232 pines de
E/S y unas 10.000 celdas lógicas.
2. Dispositivo de E/S digital y E/S analógica conectado al
PC, con sus puertos conectados al bus de expansión de la
placa de desarrollo. En nuestro laboratorio experimental
estamos usando dispositivos LabJack U3LV y U12 con
conexión USB.
3. Servidor habilitado para programar de forma remota la
placa. Usamos el servidor que proporciona Xilinx, y que
está disponible en el entorno de diseño Xilinx ISE
WebPack. Este servidor incorpora software para recibir y
enviar datos a través de TCP/IP desde el dispositivo de
E/S. La aplicación RALR que el alumno ejecuta es
además cliente de este servidor, lo cual le permite
conectarse con el dispositivo de E/S de forma remota.
4. Cámara IP (Axis 211 Network Camera) situada frente a la
placa de desarrollo. Ésta se encarga de obtener la imagen
de vídeo original, que es utilizada por la aplicación
RALR para mostrar el material del laboratorio y
superponer los elementos virtuales tridimensionales con
la posición, tamaño y orientación correctos. Estos
elementos están referenciados mediante un marcador
situado sobre la propia placa. Estamos también evaluando
otros tipos de cámaras, las cuales pueden observarse en la
figura 3. Concretamente usamos una cámara profesional
Sony DVCAM DSR-570WSP (5), y una cámara
estereoscópica fabricada con dos cámaras idénticas
profesionales Panasonic modelo AW-E600 (6).
E. Generador de aplicaciones RALR
La dificultad principal en el desarrollo de toda la
metodología para implementar el laboratorio remoto
aumentado es sin duda el diseño, desarrollo y programación
de la aplicación RALR. No sería lógico que esta aplicación,
que debe ser proporcionada por el profesor, le suponga a éste
horas de trabajo programando una versión distinta para cada
práctica que se proponga al usuario (alumno en nuestro caso).
Por eso, nuestro objetivo final es crear un generador
automático de aplicaciones RALR.
El funcionamiento se basa en el hecho de que el profesor
prepara una práctica con el método habitual de diseño. En
nuestro ejemplo se emplea el software ISE WebPack para
resolver previamente la práctica. Esto le permite detectar
posibles dificultades que puedan presentársele al alumno.
Fig. 3. Infraestructura habilitada para desarrollo de
prototipos.
Cuando el profesor ha comprobado que la práctica tiene la
dificultad requerida y que es completamente viable, ejecutará
el generador de aplicaciones RALR. Este generador
examinará en el caso práctico presentado los ficheros del
proyecto VHDL del profesor, recopilando y procesando los
datos necesarios. El profesor indicará al generador si deben
usarse periféricos virtuales, y donde conectarlos, o si incluir
algún modelo virtual de la librería de modelos para que sea
controlado en el experimento. Con estos datos, el generador
crea una aplicación RALR lista para ser colocada en el gestor
de contenidos, de forma que el alumno pueda descargarla y
ejecutarla desde su ordenador personal.
III. F
ASES DE DISEÑO E IMPLEMENTACIÓN
.
UN CASO
PRÁCTICO
Para ilustrar el uso que un usuario daría a una aplicación
RALR, veamos un sencillo ejemplo que podría proponerse a
nuestros alumnos como práctica de diseño de un sistema
secuencial de control muy sencillo. Después, veremos una
versión más sofisticada de esta aplicación práctica, que usa
más elementos de la placa de desarrollo, y que además se
conecta a un periférico y modelo virtuales, los cuales deben
ser controlados correctamente si el diseño es satisfactorio.

A. Sistema secuencial de control sencillo: control de mezcla
y nivel en un depósito
Supongamos que proponemos a los alumnos realizar como
práctica un sistema secuencial para controlar un depósito
(figura 4) que debe llenarse con una mezcla de tres líquidos
diferentes, para lo cual dispone de tres electroválvulas A, B y
C, que controlan la entrada de dichos líquidos en el depósito,
y de cuatro detectores digitales de nivel n1, n2, n3, n4, siendo
n1 el inferior y n4 el de llenado máximo. Se supone que el
depósito tiene un agitador interior de funcionamiento
continuo que garantiza la mezcla uniforme de los tres
líquidos. El depósito dispone de una electroválvula de salida
S, que en cualquier momento un operario puede abrir para
extraer la mezcla. Solamente cuando el nivel del depósito
desciende por debajo del mínimo n1, se produce un ciclo de
llenado: primero con el líquido A hasta el nivel n2, luego el
líquido B hasta el nivel n3 y, finalmente, el líquido C hasta
completar el depósito (nivel n4). A partir de aquí se puede
extraer líquido del depósito
Las fases necesarias para completar la práctica, que
finaliza con la programación de la placa de desarrollo remota
y su comprobación real, serían las siguientes:
1) Resolución teórica: Una vez descargado el
enunciado de la práctica desde el gestor de contenidos, el
alumno debe obtener teóricamente el diagrama de estados del
sistema digital que debe controlar el depósito. En la figura 5
podemos ver el diagrama de estados (autómata de Moore) de
este ejemplo sencillo.
2) Escritura del módulo VHDL descriptivo del diseño,
simulación y programación de la placa de desarrollo
El siguiente paso es obtener un módulo VHDL que
describa el funcionamiento del circuito a diseñar. Para ello
usamos el software de Xilinx ISE WebPack, que los alumnos
pueden descargar gratuitamente desde la web del fabricante.
En la figura 6 se muestra una fase de edición en este entorno
de diseño.
Fig. 4. Depósito a controlar
Una vez comprobada la sintaxis y compilado el diseño, el
alumno debe simular la implementación en VHDL. Para ello,
desde el mismo software mencionado, escribe un archivo de
test en VHDL que represente las distintas situaciones que
pueden darse en el sistema a controlar para, a continuación,
simular el diseño. El software de simulación que estamos
empleando es ModelSim XE. En la figura 7 se muestra parte
de una simulación con esta aplicación.
Fig. 5. Diagrama de estados (Moore) del controlador
El alumno, que previamente ha reservado para su uso un
puesto del laboratorio remoto a través del sistema gestor de
reservas, programa la placa de desarrollo remota desde el
software de Xilinx. Hasta este punto, no hemos introducido
ninguna variante en cuanto a los pasos usuales necesarios para
diseñar el sistema, simularlo y programar la placa.
3) Comprobación del resultado real en la placa de
desarrollo remota
Es en este punto donde se hace patente el laboratorio
remoto aumentado. Una vez que el alumno ejecuta localmente
la aplicación RALR, que ha descargado con anterioridad
desde el gestor de contenidos, se muestran dos ventanas, una
de ellas es la principal de la aplicación, donde se puede ver la
placa que ha programado en una imagen de video en tiempo
real. Además, el sistema de RA está ya habilitado sobre la
imagen real, apareciendo en este caso un pulsador de reset y
cuatro interruptores virtuales (equivalentes en este ejemplo a
los sensores de nivel), situados exactamente sobre sus
homónimos reales en la placa (figura 8). El alumno puede ya
manipular estos elementos virtuales con el ratón (observando
también el cambio en la posición de los pulsadores de los
interruptores) y puede comprobar el funcionamiento del
sistema (funcionamiento de las electroválvulas A, B y C) en
los leds de la placa (reales), tal y como lo haría estando
físicamente en el laboratorio, de manera que se produce una
sinergia entre elementos reales y virtuales.
La otra ventana de la aplicación RALR es una consola
donde la aplicación informa de eventos que se producen (por
ejemplo, el accionamiento de los interruptores) y posibles
errores.
IV. U
N PASO MÁS EN LAS POSIBILIDADES DEL
LABORATORIO REMOTO AUMENTADO
:
USO DE
PERIFÉRICOS Y MODELOS VIRTUALES
Otra de las posibilidades más interesantes y, a nuestro
juicio, más beneficiosas pedagógicamente, es la posibilidad
de conectar el mundo real, en este caso la placa de desarrollo
remota, con modelos virtuales y periféricos virtuales, que se
ejecutan de forma local.

Fig. 6. Fase de diseño en ISE WebPack.
Fig. 7. Detalle de una simulación realizada con ModelSim
XE.
Fig. 8. Ventana principal de la aplicación RALR. En la
parte superior izquierda el botón del menú desplegable.
Cuando hablamos de periférico virtual nos referimos a
elementos tridimensionales virtuales equivalentes a los
periféricos reales, aunque también pueden presentar
funcionalidades distintas a las de los periféricos reales.
Algunos ejemplos sencillos son visualizadores de 7
segmentos, grupos de interruptores, de pulsadores, de leds,
etc. La figura 9 muestra algunos de estos periféricos reales.
Un periférico virtual sería por ejemplo, una representación
tridimensional de un visualizador de 7 segmentos que aparece
situado en el conector adecuado de la placa y que, recibiendo
los valores reales proporcionados por la placa, actualiza su
presentación numérica (ver figura 11).
Fig. 9. Periféricos sencillos (reales) para la placa de
desarrollo
Una de las ventajas de los periféricos virtuales es que
evita la necesidad de conectar periféricos reales a la placa,
con lo cual la misma configuración física en el laboratorio
sirve para realizar prácticas diferentes.
La otra posibilidad es conectar la placa física situada en el
laboratorio a un modelo virtual a controlar. Veámoslo con el
ejemplo anterior del depósito, el cual hemos modificado para
usar el visualizador LCD que proporciona la placa, así como
un periférico virtual consistente en un decodificador que
recibe un código binario de 4 bits y representa el equivalente
hexadecimal en un visualizador de 7 segmentos. Este
visualizador debe mostrar el nivel del deposito (0 a 4) y una
‘E’ en caso de detectar un error en los sensores. Además, la
placa se conecta a un modelo tridimensional del depósito,
que debe ser controlado desde la placa.
El visualizador LCD mostrará la electroválvula activa (si
hay alguna), y también la condición de error, que provocará
la desconexión de cualquier electroválvula activa en ese
momento. Además mostrará visualmente en forma de barra el
nivel de llenado actual del depósito.
Es evidente que esta es una práctica más compleja, ya que
la enorme diferencia de tiempos entre el reloj original de la
placa (50 Mhz) y los tiempos de respuesta del visualizador
LCD (mucho más lentos), unido al elevado número de
estados que requeriría, haría inviable la resolución mediante
un sencillo diagrama de estados como en el caso anterior. Por
tanto, el diseño está basado ahora en una estructura hardware
embebida dentro de la FPGA, consistente en un
microcontrolador PicoBlaze de 8 bits completo programado
específicamente para este problema en lenguaje ensamblador,
y circuitos adicionales diseñados mediante VHDL y
conectados al microcontrolador. Esto muestra otra
característica importante de la aplicación RALR de manejo
remoto de la placa de desarrollo, que es su independencia
frente a la complejidad de la programación de la práctica a
realizar.
En la figura 10 se muestra la imagen original captada por
la cámara antes de situar los elementos virtuales. En la figura
11 se muestra la ventana principal de la aplicación RALR,
donde el marcador de la imagen original queda cubierto
adecuadamente para que el alumno vea la placa completa.

Comparando las figuras 8 y 11, observamos que en esta
última no existen ya interruptores virtuales, debido a que la
placa recibe las señales de los detectores de nivel
directamente del modelo virtual. Este modelo (figura 12), que
forma parte de la aplicación RALR que descarga el alumno,
se ejecuta como parte integrante de la aplicación de forma
local. El modelo emplea las mismas librerías gráficas que la
ventana principal de la aplicación, por lo que mantiene sus
características de tridimensionalidad.
Si se dispone del hardware necesario, es posible observar
el modelo del depósito con visión estereoscópica. Para ello
hay que emplear gafas de obturación electrónica y la pantalla
y controladora gráfica adecuadas. Nosotros empleamos un
monitor Samsung SyncMaster 2233Z con gafas NVIDIA 3D
Vision y una tarjeta gráfica NVIDIA Quadro FX1800.
Estas prestaciones, que hasta hace poco tiempo sólo
estaban al alcance de estaciones de trabajo de gama alta, se
han acercado recientemente al mundo del PC a un precio
razonable. Las posibilidades de observar el modelo virtual
tridimensional como si estuviera frente a nosotros saliendo de
la pantalla, es una característica de un enorme potencial en
dos aspectos: por un lado permite explorar modelos
complejos con escalas y perspectivas distintas (incluso en su
interior) y por otro aporta un aliciente indiscutible para el
alumnado. En la figura 13 puede observarse una alumna
realizando la práctica propuesta y usando visión
estereoscópica para la visualización del modelo en 3D.
Fig. 10. Imagen obtenida por la cámara.
También es posible observar la placa remota y los
elementos RA superpuestos con visión estereoscópica, lo que
obliga a usar una cámara estereoscópica, además de
configurar adecuadamente la aplicación. Estamos evaluando
si esta posibilidad aporta beneficios en éste o en otros campos
de aplicación.
Fig. 11. Ventana principal de la aplicación RALR.
Fig. 12. Modelo tridimensional del depósito (fase de llenado
de líquido B).
Fig. 13. Alumna evaluando la aplicación RALR con gafas
estereoscópicas.

V. C
ONCLUSIONES
En este trabajo se ha presentado una evolución del
concepto de laboratorio virtual y remoto hacia el laboratorio
remoto aumentado, el cual aporta, entre otras aún por
explorar, las ventajas siguientes: 1) conseguir una sensación
mayor de realismo, 2) permitir que una misma configuración
del laboratorio físico habilite la realización de prácticas
diferentes, y 3) facilitar la comprobación y generación de
prácticas por parte del profesor, ya que entre otras
facilidades, las prácticas podrían ser las mismas que
tradicionalmente se vienen impartiendo en el laboratorio
presencial.
El artículo analiza las ventajas que pueden aportar las
técnicas de realidad aumentada a los laboratorios virtuales y
remotos para, a partir de una aplicación práctica concreta,
desarrollar y mostrar las múltiples posibilidades que se
pueden ofrecer en la formación práctica en línea para los
campos de las ciencias e ingeniería. Éstos encuentran en la
necesidad de realizar prácticas de laboratorio (casi en el
mismo porcentaje que el resto de otras actividades juntas) las
principales dificultades para poder llevar a cabo una
formación enteramente no presencial.
Si bien en este trabajo se implementa como caso práctico
una aplicación en el ámbito de los sistemas digitales
secuenciales (hay en marcha un proyecto de innovación
docente para desarrollar una librería de periféricos y modelos
virtuales que puedan ser usados en cualquier práctica),
nuestro grupo está desarrollando material, según el esquema
presentado en este trabajo, para otras disciplinas: ingeniería
de control, robótica, etc.
R
EFERENCIAS
[1] J.M. Andújar y T.J. Mateo, “Diseño de Laboratorios Virtuales y/o
Remotos. Un Caso Práctico”. Revista Iberoamericana de Automática e
Informática Industrial, Vol. 7, Num. 1, pp. 64-72, Enero 2010.
[2] R. Azuma, “Augmented Reality: Approaches and Technical
Challenges”, Fundamentals of Wearable Computers and Augmented
Reality, W. Barfield, Th. Caudell (eds.), pp. 27-63. Mahwah, New
Jersey 2001.
[3] P. Milgram, H. Takemura, A. Utsumi and F. Kishino, “Augmented
Reality: a Class of Displays on the Reality-Virtuaity Continuum”,
Telemanipulators and Telepresence Technologies. SPIE 2351, pp
282-292, 1994.
[4] Y. Huang, Y. Liu, Y. Wang, “AR-View: An augmented reality device
for digital reconstruction of Yuangmingyuan”. ISMAR-AMH. IEEE
International Symposium on Mixed and Augmented Reality – Arts,
Media and Humanities, pp. 3-7, Octubre 2009.
[5] S. J. Henderson, S. Feiner, "Evaluating the benefits of augmented
reality for task localization in maintenance of an armored personnel
carrier turret". ISMAR-AMH. IEEE International Symposium on Mixed
and Augmented Reality – Arts, Media and Humanities, pp. 135-144,
Octubre 2009.
[6] B. Schwald, B. de Laval, "An augmented reality system for training
and assistance to maintenance in the industrial context". Journal of
WSGG, International Conference on Computer Graphics,
Visualization and Computer Vision, Vol. 11, Nº 1, Febrero 2003.
[7] M. White, N Mourkoussis, J. Darcy, P. Petridis, F. Liarokapis, P.
Lister, K. Walczak, R Wojciechowski, W. Cellary, J. Chmielewski, M.
Stawniak, W. Wiza, M. Patel, J. Stevenson, J. Manley, F. Giorgini, P.
Sayd and F. Gaspard. “ARCO - An Architecture for Digitization,
Management and Presentation of Virtual Exhibitions”. Computer
Graphics International Conference, pp. 622-625, Computer Graphics
International 2004 (CGI'04), 2004.
[8] M. Billinghurst, H.Kato and I. Poupyrev, “The Magic Book: Moving
Seamlessly between Reality and Virtuality”, IEEE Computer Graphics
and Applications, pp. 2-4 , May/June 2001.
[9] MIT Handheld Augmented Reality Simulations. MIT Scheller Teacher
Education Program. http://education.mit.edu/ar/ (último acceso:
Febrero 2010).
[10] The CREATE Project: Mixed Reality for Design, Education, and
Cultural Heritage with a Constructivist Approach,
The Second IEEE and ACM International Symposium on Mixed and
Augmented Reality, ISMAR 2003.
[11] ARiSE Project. Augmented Reality in School Environments.
http://www.arise-project.org/ (último acceso: Febrero 2010).
[12] F. Liarokapis, N. Mourkoussis, M. White, J. Darcy, M. Sifniotis, P.
Petridis, A. Basu and P.F. Lister, “Web3D and Augmented Reality to
support Engineering Education”, World Transactions on Engineering
and Technology Education, UICEE, 3(1), pp. 11-14, 2004.
[13] P.Esteban, J. Restrepo, H. Trefftz, J.E. Jaramillo and N. Álvarez, “La
Realidad Aumentada: un espacio para la comprensión de conceptos del
cálculo en varias variables, http://www.eafit.edu.co/EafitCn/
Investigacion/Grupos/Ingenieria/RealidadVirtual/Realidad+Virtual.htm
(último acceso: Enero 2010).
[14] Construct3D. An Application and Framework for using Augmented
Reality in Mathematics and Geometry Education. Interactive Media
Systems Group, Vienna University of Technology.
http://www.ims.tuwien.ac.at/research/construct3d/, (ultimo acceso:
enero 2010)
[15] Ch. Salzman, D. Gillet, and P. Huguenin, “Remote Experimentation:
Improving User Perception Using Augmented Reality”. NIWeek 2000,
Austin, TX, pp. 17-20, Agosto 2000.
[16] S. Dormido, “Control Learning: Present and Future (Plenary Lecture)”.
IFAC 15th Triennial World Congress. Barcelona 2002.