Barehands: Implement-Free Interaction with a Wall-Mounted Display

FACULTAD DE CIENCIAS DE LA EDUCACIÓNUNIVERSIDAD NACIONAL DE SAN AGUSTÍN

ESPECIALIDAD INFORMÁTICA EDUCATIVA

Victor Alex Laura Melendres

Presentado por:

Curso:

Didáctica de la informáticaProfesor: klinge Villalba Condori

implementar la interacción con una pantalla de pared

Pizarra digital¿Pared o ventana?

¿Qué pasa con las pizarras de siempre?

¿Alergias?

¿Problemas con el espacio?

¿Falta de claridad?

Desterrar la pizarra tradicional...

¿Cambiamos para seguir igual?

Si usamos la pizarra como una pared...

Las clases seguirán siendo un ladrillo.

No pensemos, pues, en paredes...

...sino en ventanas.

Las pizarras pueden ser más que libros

"Deben ser" más que libros.

Pizarras para ver el mundo

... el mundo de hoy, de ahora.

Ventanas que iluminen...

...pero también que proyecten.

Porque tan importante es mirar...

...como ser vistos.

Convirtamos las aulas en escaparates

Que la pizarra sea más que un libro en la pared.

Pensemos en ventanas.

Hablando alto y claro...

Pensemos en COMPARTIR

Resumen Describimos Barehands, una técnica de interacción de manos libres, en el cual el usuario puede controlar la invocación de comandos del sistema y herramientas en un toque de la pantalla tocandocon distintas posturas de la mano.

Utilizando detrás de la pantalla infrarrojo (IR) luz y una cámara de vídeo con un IR filtro, habilitamos un SMARTBoard de retroproyección (una disponible en el mercado, 61 3/8 '' x 47'' el sensado táctil pantalla) identificar y responder a distintas posturas de las manos. Barehands proporciona una natural, rápida, y libre manera de Poner en práctica método de interactuar con grandes superficies interactivas, montados en la pared.

técnica de interacción.

interfaz de usuario.

postura de la mano.

Infrarrojo.

procesamiento de imágenes.

interacción táctil.

Palabras clave

INTRODUCCIÓN

como parte de nuestro proyecto para desarrollar un entorno informático, hemos creado un espacio de trabajo interactivo que integra una variedad de dispositivos, como ordenadores portátiles, y grandes pantallas, tanto vertical (pared) y horizontal (sobremesa). Un componente clave de nuestro espacio es una pared con tres adyacentes retro proyección SMARTBoards disponible en el mercado, montado en la pared, sensible al tacto.

Normalmente disponemos de un escritorio estándar Windows 2000 en cada uno de estos tableros o un escritorio combinado que cubre los tres.

En nuestra experiencia de más de un año de uso de las tablas, reconocimos el fuerte atractivo de manipulación directa de práctica sin implementos. Aunque el SMARTBoard proporciona un conjunto de herramientas de la pizarra, los usuarios gravitaron hacia realizar interacciones simples por tocar con un dedo la pizarra. De hecho, a menudo intentaron sin éxito hacer lo mismo en la pared proyectado frente adyacente, que no hay sensores de tacto. Por lo tanto decidimos explorar las posibilidades para los mecanismos de las manos que podría proporcionar una adecuada interacción, y que lo necesiten el usuario para sostener instrumentos separados.

Cualquier toque en la pantalla SMARTBoard es interpretadopor el software como un clic izquierdo del ratón.

Toque simultáneo en varios puntos se interpreta como un clic de ratón con coordenadas correspondientes aproximadamente al centro de los puntos de contacto. Haga clic en botón derecho es implementado presionando un botón físico en una bandeja en el borde inferior derecho de la SMARTBoard. El próximo toque entonces se interpreta como un clic derecho del ratón.

El SMARTBoard y su software que lo acompaña también proporcionan capacidades de pizarra electrónica usando separados dispositivos físicos de modelados de pizarra convencional rotuladores y gomas de borrar. Hay una serie de problemas con estas herramientas, y queríamos ver qué se podría hacer utilizando una herramienta-libre de hands-only mecanismo de Nuestro objetivo de investigación es explorar el espacio de las posturas de mano y gestos para identificar cuáles son las mejores adaptadas a los diferentes aspectos de de OVERACE y la interfaz.

BAREHANDS IMPLEMENTACIÓN

Con el fin de obtener imágenes de la mano de un usuario cuando toca la pantalla, se utiliza una técnica similar a la de la HoloWall[1]. Nos iluminar la parte posterior de la pantalla con un par de IRmatrices de LED, aproximadamente 1,5 m detrás del tablero, cada unocontiene doce filas de ocho 16MW / str SLI-0308CPLEDs, pulsadas a 200mA. Centrada entre la luzfuentes de aprox 3m de la placa, es un Marshall V-1070cámara de vídeo (resolución 811 x 510 píxeles) con una IRfiltro, y una lente motorizado 8-80 mm, especialmente ajustado acentrarse con luz IR. Una tarjeta de digitalización de vídeo estándar esusado para capturar la imagen de la cámara.

IR ligero de las matrices de LED es reflejada de la parte posterior de la pantalla y recogido por la cámara. Cuando una mano toca la parte delantera de la pantalla, refleja la luz adicional de IR y es percibido por la cámara como una región de intensidad creciente. Cuando el usuario toca la pantalla, primero identificamos que los píxeles de la imagen del video corresponden a su mano por examinar la intensidad de los píxeles en escala de grises y filtrando ruido aleatorio .

Tomamos ventaja de la detección de toque de la SMARTBoard para reducir el procesamiento de imágenes

Aunque recibimos una entrada continua del video , sólo analizamos los fotogramas del vídeo que inmediatamente después de recibir un evento "contacto abajo" de el conductor de la SMARTBoard. Este evento de contacto es interceptado antes de que se puede enviar a Windows como un ratón izquierdo haga clic en evento de (respuesta de predeterminada del software SMARTBoard tacto).

Cómo usar un smart board

son cada vez más comunes en los salones de conferencias y en las escuelas. Están sustituyendo al siempre confiable pizarrón blanco. La tecnología de las pizarras inteligentes es muy parecido a combinar las pantallas táctiles con los marcadores tradicionales. Se conecta a una computadora y proporciona tecnología interactiva. No solo exhiben información útil, también tienen la capacidad de guardar el trabajo creado y enviarlo a otras computadoras. Incluso puedes consultar información en internet con un solo movimiento de tu dedo.

1. Enciende la computadora y la pizarra inteligente. Si es la primera vez que la usas, o si la pizarra ha sido movida, tendrás que calibrar el sistema. Para calibrar la pizarra inteligente, oprime el teclado y el botón derecho del mouse al mismo tiempo. Un ícono aparecerá en el área superior izquierda de la pantalla. Toca este ícono con el lápiz de la pizarra o con el dedo. Repite este proceso cada vez que aparezca el ícono, hasta completar la calibración.

2. Usa tus dedos para operar la pizarra inteligente. Toca la pantalla una vez con tu dedo para imitar el clic izquierdo del mouse.Oprime y sostén tu dedo en un punto de la pizarra para imitar el clic derecho del mouse.Usa tu dedo para hacer clic sobre un objeto y arrastrarlo hacia otro punto en la pantalla.

3. Escribe sobre la pizarra inteligente con los lapiceros correspondientes. Están provistos en muchos colores, pero el pizarrón recordará únicamente el último que usaste. Haz todo lo que harías sobre una pizarra convencional. Dibuja, escribe o comenta. Para borrar los ítems de la pizarra, primero debes colocar los lapiceros en su bandeja. Utiliza el borrador provisto de la misma forma que harías en un pizarrón convencional.Puedes borrar toda la escritura de un solo golpe, tocando la pizarra y seleccionando "Clear Ink" (limpiar escritura).También puedes usar el borrador para dibujar un círculo alrededor de la escritura. Luego toca en medio del círculo para borrar su contenido.

4. Guarda tu trabajo en la pizarra inteligente. Simplemente toca la pizarra y selecciona "Save Ink" (guardar escritura). Todas las notas serán guardadas en la memoria del portátil inteligente. Selecciona "File" (archivo) y luego "Save" (guardar) para completar el proceso.También puedes hacer clic en el ícono de cámara que aparece en la esquina superior derecha.

observaciones iníciales informales de uso Barehands afirman quenuestro sistema proporciona un medio para interactuar con un granpantalla que evita la inconveniencia de caminar a unadiferentes áreas del dispositivo para empujar un botón o de agarraruna herramienta de interacción física. Mediante la cartografía de gestos para comandos como copiar y pegar.

El usuario ahorra tiempo y movimientos tradicionalmente requeridos para la selección de aquellos comandos de menú.tiempo de respuesta del sistema es propicio para la interacción en tiempo real

EVALUACIÓN

arreglos de iluminación han sido el mayor desafío técnico en la aplicación de Barehands. Empleando dos matrices de LEDs de infrarrojos que proporciona iluminación no uniforme, la luz irregular de resulta en menor exactitud para mano posturas fuera del área central de la pantalla. Tenemos la intención de experimentar con nuevos arreglos IR de fuentes de luz para lograr una iluminación más uniforme. Puesto que cada fuente se compone de muchos LEDs, pueden ser dispuesto en otras geometrías, como cadenas lineales en lugar de concentrado de arreglos de discos. También se experimento con el uso de direcciones de iluminación alternadas para mejorar el reconocimiento. 

Trabajo futuro 

Estamos planeando experimentar con esquemas de iluminación donde se encienden los sucesivos fotogramas de vídeo en diferentes formas y de direcciones diferentes, permitiendo un análisis más sofisticados de la imagen

Más iluminación uniforme facilitará un procesamiento mas exacto de imágenes, que nos permitirá ampliar nuestro actual conjunto de cinco posturas reconocidas.

El supuesto clave subyacente es que para Barehandsdeterminadas clases de usuarios, y las interacciones con la interacción de manos libres es mejor que usar herramientas físicas para determinar el mapeo de contacto a la acción.Una de nuestras preguntas de investigación es comprender los criterios que hacen herramienta de base y la interacción a mano libre apropiado para diferentes tipos de situaciones y acciones.Remodelación de nuestro espacio de trabajo (que tuvo lugar delAgosto a noviembre) hizo necesario el desmontaje deconfiguración Barehands poco después de que se completó el desarrollo del sistema.

Ahora que la remodelación es completa, sin embargo,son la planificación de las pruebas de usuario que va a comparar nuestra técnicacon métodos alternativos de trabajo con una gran pantalla.

DISCUSIÓN