Realidad mixta

Este artículo o sección sobre Tecnología necesita ser wikificado, por favor, edítalo para que cumpla con las convenciones de estilo. Este aviso fue puesto el 17 de diciembre de 2008.

La realidad mixta (RM), también llamada a veces realidad híbrida, es la combinación de realidad virtual y realidad aumentada. Esta combinación permite crear nuevos espacios en los que interactúan tanto objetos y/o personas reales como virtuales. Es decir, se puede considerar como una mezcla entre la realidad, realidad aumentada, virtualidad aumentada y realidad virtual. De modo más aclaratorio, diríamos que trata de trasladar el mundo real al mundo virtual, ocasionando un modelo 3D de la realidad y sobre este superponer información virtual, ligando las dos realidades para poder aunar contenido extra de valor para el usuario de realidad mixta.

Definición

En 1994, Paul Milgram y Fumio Kishino definieron el concepto de realidad mixta como un subconjunto de tecnologías relacionadas con la realidad virtual que implica la fusión de los mundos real y virtual en algún lugar de continuo de la virtualidad. Este continuo de la virtualidad se extiende desde el mundo completamente real hasta el entorno completamente virtual, encontrándose entre medio de estos la realidad aumentada y realidad virtual. Es decir, la realidad mixta no sólo permite la interacción del usuario con el entorno virtual sino que también permite que objetos físicos del entorno inmediato del usuario sirvan como elementos de interacción con el entorno virtual.

Otra denominación que se utiliza también para referirse a la realidad mixta es la de realidad fusionada.

Características

La realidad virtual es posible gracias a la aplicación de técnicas estereoscópicas. El ser humano durante la infancia desarrolla la visión estereoscópica, que le permite ver imágenes tridimensionales integrando por medio del cerebro las 2 imágenes obtenidas de cada uno de los ojos. Es decir, cada ojo capta la imagen por separado y el cerebro lo interpreta como una única imagen, produciendo el efecto de tridimensionalidad.

Reconoce la volumetría de nuestro entorno con el fin de situar los objetos virtuales sobre el entorno ya existente, sabiendo aplicar la oclusión de los cuerpos opacos con un realismo jamás visto hasta el día de hoy. Usa algunos refuerzos artificiales para crear un ambiente de realidad virtual o aumentada. Por ejemplo, si el usuario gira la cabeza, el sistema responde con un cambio apropiado en la escena. La realidad mixta permite la incorporación de objetos gráficos generados por ordenador en una escena tridimensional del mundo real o bien la incorporación de objetos reales en un mundo virtual. Así pues, las principales características de la Realidad Mixta son las siguientes:

• Fusión del mundo físico con el mundo digital.
• Creación y modificación de objetos virtuales a través de la interacción con el mundo real.
• Uso de herramientas como cascos o gafas, para interactuar en la RM.
• Incorporación de objetos gráficos fabricados a través de PC, en un mundo real u objetos reales en un mundo virtual.
• Interacción del usuario en tiempo real y en el mundo virtual a través de los objetos reales en dicho mundo virtual.
• Comunicación fluida, ya que se realizan traducciones simultáneas.
• Cabe la posibilidad de poder registrar en tres dimensiones.

Desarrollar la realidad mixta

El desarrollo de esta tecnología ha desencadenado la creación de cursos de capacitación técnica y formación práctica que se llevan a cabo en centros de formación de realidad virtual. Los cursos de RM están programados para desarrollar diferentes técnicas y recursos para su aplicación en el ámbito profesional. Estos cursos están dirigidos a la creación de aplicaciones de Realidad Aumentada y para HoloLens, además del desarrollo de dispositivos y experiencias de Realidad Mixta con Unity 3D.

La realidad mixta comprende dos procesos diferentes:

1. Por un lado encontramos la inserción de elementos reales en el entorno virtual. Para ello el objeto o persona física y tridimensional es registrada en el mundo virtual en tiempo real a través de una interfaz de ordenador. Esto se lleva a cabo mediante dispositivos inmersivos, que permiten la elaboración de entornos virtuales de 360 grados. Además, destacan por presentar una pantalla de visualización opaca y usar sensores de cámara y giroscopios para identificar la posición del sujeto y adaptarla al entorno virtual.
2. Por otro, la introducción de un elemento virtual en un entorno físico y real se realiza a través de una lectura previa del espacio con una cámara de vídeo. El sistema informático crea unas marcas de interfaz, que suelen ser impresiones en blanco y negro sobre un soporte rígido. Estas marcas son captadas por la cámara, generando un código que permitirá al ordenador representar las imágenes virtuales de los elementos reales. Este proceso es posible gracias a dispositivos holográficos que posibilitan ver, mediante pantallas transparentes, el entorno real con hologramas digitales con los que se puede interactuar. Es decir, permiten crear entornos a partir de hologramas virtuales añadidos al mundo real.

El desarrollo de cualquier inmersión virtual mediante realidad mixta se basa en distintos factores:

• Inmersión visual. Factor que permite crear al usuario sensación de profundidad en el entorno virtual o conseguir que los hologramas queden visualmente interiorizados de forma realista.
• Restitución de fuerza. Estímulos del entorno virtual en lo referido a limitaciones espaciales. Indica al sujeto los límites del entorno virtual mediante paredes o la manipulación de hologramas como si de objetos reales se tratase. Dan sensación de choque y tacto en el entorno virtual.
• Inmersión auditiva. Inclusión de sonidos que refuerzan una sensación realista en el entorno virtual donde el sujeto se encuentra o en los hologramas creados.
• Navegación. Se encarga de los desplazamientos e interacciones en el entorno virtual que simulan movimientos y aspectos de orientación reales. Crean sensaciones realistas de movimiento en el entorno virtual y respecto a los hologramas introducidos.

Uno de los factores principales que caracterizan a los sistemas de RM es la forma de interacción del usuario con el sistema. Un principio que rige el diseño de cualquier interfaz es que el usuario sólo debe preocuparse de qué es lo que desea hacer, no de cómo tiene que controlar la interfaz para conseguir hacerlo.

Cualquier sistema de realidad mixta consta de una serie de componentes:

• La interfaz: La interfaz traduce la información comprendida entre el usuario y el sistema de RM.
• El motor gráfico: Se encarga de representar gráficamente el entorno 3D.
• La simulación: Se encarga de definir cómo va a actuar cada elemento virtual.

Beneficios e inconvenientes

Dentro del campo de educación los docentes pueden explorar amplias e innovadoras oportunidades con los discentes gracias a sus múltiples beneficios. El compromiso, la universalidad y la polivalencia son varios de los beneficios a destacar, como los siguientes:

• Compromiso: gracias al elemento motivador que conlleva esta experiencia directa se consigue un compromiso natural por parte del alumnado, favoreciendo así el interés por el aprendizaje.
• Universalidad: la realidad mixta ofrece la oportunidad de eliminar las barreras sociales, económicas y geográficas, uniendo a las personas de una manera digital y simultánea. Fomentando así la interacción humana en todo momento.
• Polivalencia: este tipo de realidad permite trabajar y profundizar en todo tipo de materia, permitiendo adaptarse a las necesidades e intereses del alumnado.
• Mundos lejanos: gracias al continuo avance de los dispositivos de la RM, tanto alumnos como profesores pueden lograr cosas que van desde el retroceso en el tiempo o la interacción con diferentes objetos o elementos que en la actualidad no existen, como dinosaurios. De esta manera, los estudiantes dejan de ver un dibujo en el libro de texto, adquiriendo así una nueva imagen más realista del contenido.
• Eliminación de los límites geográficos: la realidad mixta rompe los muros del aula, pudiendo pasear por antiguas civilizaciones. Un ejemplo de ello sería el poder explorar las pirámides de Egipto o pasear por la Edad Antigua cuando queramos.
• Fundamentando así una educación vivenciada, donde las imágenes realistas ayudan a interiorizar los nuevos conceptos de aprendizaje.
• Concentración: la realidad mixta permite una inmersión tanto virtual como sensorial, por tanto, evita distracciones externas.
• Favorece la autonomía de los alumnos/as en el aprendizaje.
• Permite que se lleve a cabo una enseñanza personalizada en base al alumnado.

Entre las principales desventajas en la utilización de realidad mixta se encuentran:

• Los dispositivos que se utilizan siguen siendo experimentales, sin vivenciar aún, una experiencia inmersiva plena, presentando continuamente fallos en el sistema.
• Es necesario que los dispositivos que se implementen dispongan de un hardware potente, ya que, de no serlo, aumentaría las posibilidades de errores y ralentizaciones en el sistema.
• Un uso excesivo de las gafas de realidad Virtual puede derivar en cefaleas, náuseas y molestias oculares.
• Se requiere formación y conocimientos específicos avanzados de diseño e informática para la elaboración y desarrollo de recursos sobre realidad mixta.
• La tecnología inmersiva requerida es actualmente, demasiado costosa.
• Puede afectar a la vida social de los usuarios si se desarrolla una adicción.

Aplicaciones

La realidad mixta se está implementando en un gran número de aplicaciones, se está empezando a manifestar en la industria del entretenimiento y el arte, así como también empieza a diversificarse en el mundo de la educación y los negocios . Otras aplicaciones de realidad mixta son las siguientes:

• Ejército o entrenamiento militar: se utiliza como entrenamiento militar, donde se aprovechan los avances tecnológicos para optimizar el rendimiento de los militares. Este tipo de realidad proporciona capacidades inmersivas e intuitivas para mantenerse al día en un contexto operativo cambiante. Además, capacita al ejército para operar en operaciones conjuntas, reduciendo así el coste económico. También se utilizará en el combate, lo que facilitará la toma de decisiones, la habilidad de detección y el análisis de la información.

• Trabajo remoto: permite que una fuerza de trabajo global de equipos remotos trabaje conjuntamente y aborde los retos empresariales de una organización. No importa dónde se encuentre físicamente, un empleado puede ingresar a un entorno virtual colaborativo y dinámico. Las barreras de idioma se volverán irrelevantes ya que las aplicaciones de AR pueden traducir con exactitud en tiempo real. Esto representa una mano de obra más flexible. Si bien, muchos compañías siguen utilizando modelos inflexibles de tiempo de trabajo fijo y ubicación, hay evidencia de que los empleados son más productivos si tienen mayor autonomía sobre dónde, cuándo y cómo trabajan. Los empleados también se benefician de la autonomía en cómo trabajan porque cada uno procesa la información diferentemente. El modelo VAK clásico para los estilos de aprendizaje diferencia a los alumnos visuales, auditivos y cenestésicos.

• Diseño y aplicación en arquitectura e ingenierías: Los modelos virtuales se utilizan para permitir a los científicos e ingenieros interactuar con una posible creación futura antes de que toque la fábrica. Estos modelos proporcionan la oportunidad de obtener una comprensión intuitiva del producto exacto, incluyendo el tamaño real y los detalles de construcción que permiten una inspección más cercana de las partes interiores. Estos modelos virtuales también se utilizan para encontrar problemas ocultos y, a su vez, reducen tiempo y dinero. También puede ser empleada en la arquitectura al crear un modelo en 3D de los edificios, esto podría reemplazar el uso de las maquetas en un futuro.

• Salud: las simulaciones quirúrgicas y de ultrasonido se utilizan como un ejercicio de entrenamiento para los profesionales de la salud. Maniquíes médicos cobran vida para generar un número ilimitado de escenarios de entrenamiento e instruir empatía a los profesionales de la salud. Además, gracias a los sistemas de realidad mixta, durante una intervención real, el cirujano puede ver distintos elementos representados virtualmente a través de sus gafas de realidad mixta, como material anatómico de consulta o reconstrucciones 3D, lo que facilita la intervención y proporciona una serie de ventajas, como:

1. Reducir la duración y el material de las intervenciones quirúrgicas.
2. Evitar sistemas de radiación.
3. Localizar tumores con mayor facilidad.
4. Planificar las intervenciones de manera más exacta.

• Aviación: los modelos virtuales se utilizan para permitir a los científicos e ingenieros interactuar con una posible creación futura antes de que toque la fábrica. Estos modelos proporcionan la oportunidad de obtener una comprensión intuitiva del producto exacto, incluyendo el tamaño real y los detalles de construcción que permiten una inspección más cercana de las partes interiores. Estos modelos virtuales también se utilizan para encontrar problemas ocultos y reducen tiempo y dinero.

• Educación: una forma de aproximación a la Realidad Mixta será aquella que la experiencia conlleve una inmersión total, para ello, será imprescindible que los estudiantes usen las gafas de realidad virtual, Head mounted display (HMD), o cascos de realidad virtual. Además del uso de las HMD también será necesario un controlador de movimiento.Gracias a estos dispositivos tecnológicos, el alumnado podrá interactuar con un mundo donde hay ambos tanto objetos físicos cómo digitales, es decir, podrá interactuar con un ambiente derivado de un mundo real y un mundo virtual. En el ámbito de la educación, la realidad mixta mejora los métodos de aprendizaje de los estudiantes, mediante simulaciones de tareas construidas virtualmente en un entorno real. Un ejemplo de ello es Peer, una nueva herramienta ganadora de los Premio Interacción Interaction Award 2017 que supone una experiencia educativa de Realidad Mixta para ayudar en la enseñanza y comprensión de conceptos y procesos complejos mediante la combinación de auriculares de realidad mixta con sensores conectados a internet. En la educación, la RM ofrece enormes avances. La compañía Lifeliqe ha llevado a cabo una serie de aplicaciones destinadas a la educación visual en áreas de ciencias. La RM ayuda a fomentar el aprendizaje y hacerlo más efectivo priorizando la inmersión visual y en cierta medida sensorial, de forma que cualquier concepto que se pueda “tocar”, examinar o modificar a voluntad quedando muy bien fijado en la memoria. El aprendizaje inmersivo que ofrece la RM proporciona experiencias atractivas de aprendizaje en las que el alumnado interactúa con el mundo real y virtual, lo que facilita una mejor comprensión de los conceptos de cualquier materia y un mayor compromiso por parte de los estudiantes. Otra experiencia más actual son las gafas de realidad mixta HoloLens 2 de Microsoft, que son unas gafas autónomas y sin cables. Estas gafas están enfocadas al uso de hologramas, en concreto en el ámbito educativo. Al ser creaciones en tres dimensiones, los alumnos podrán caminar a su alrededor, manipularlas y realizar determinados movimientos para interactuar con ellas. Una de las instituciones educativas que está usando las gafas HoloLens para trabajar con la realidad mixta, es la Formación Profesional. En este ámbito surgen proyectos cuyo propósito es usar las gafas con el fin de que el alumnado tenga un conocimiento más amplio de diversos utensilios tecnológicos que utilizarán en su entorno laboral. Además, es una forma muy práctica de que estos alumnos y alumnas conozcan de primera mano su futuro lugar de trabajo, ya que no será posible conocerlo hasta que tengan que realizar las prácticas. Otro ejemplo práctico lo encontramos en los ciclos de higiene bucodental. En este caso, gracias a las gafas de realidad mixta que lleva la odontóloga, el alumnado puede visualizar todo el proceso que se lleva a cabo para realizar un empaste. De este modo, se consigue una motivación y atención total por parte del alumnado, que puede incluso formular sus preguntas en tiempo real. Además, dentro de un aula se pueden llevar a cabo dos tipos de RM: en el primer tipo, los alumnos tienen que explorar un entorno a través de algún dispositivo electrónico; y en el segundo, se lleva a cabo una inmersión más real mediante dispositivos HMD y un controlador de movimiento. De esta manera, se consigue que los alumnos comprendan mejor los conceptos y el entorno de una manera más divertida, ya que pueden manipular ellos mismos los objetos, siguiendo el principio de “aprender haciendo”.

• Avatar virtual-físico: uno de los retos de la realidad mixta es conseguir que sea creíble para quien lo usa, esto toma mayor importancia aun cuando se trata de la interacción con otras personas a través de la realidad mixta, a través del soporte de la Oficina Americana de Investigación Naval y la Fundación Nacional para la Ciencia, el Dr. Greg Welch, del IST, crea personas físico-virtuales, estos son avatares ``ocupados´´ por personas a través de plantillas faciales en 3D.

• Industria automovilística: gracias a la realidad mixta se pueden evaluar prototipos, crear diseños y hacer comprobaciones de seguridad.

• Viviendas y decoración: uso de realidad mixta para enseñar prototipos de viviendas y decoración a los clientes.

• Diseño y arquitectura: se utiliza como apoyo para la proyección de mobiliario, construcciones o edificios en espacios reales con el fin de verificar el terreno y elementos del entorno general que puedan afectar al proyecto.

• Videojuegos: podemos encontrar juegos en los que la acción se proyecta en forma de holograma sobre un espacio físico real, como Young Conker o Minecraft. De este modo, los jugadores pueden explorar el entorno virtual en tres dimensiones.

• Publicidad y comercio: la realidad mixta hace posible que las empresas puedan ofrecer imágenes en 3D de los diferentes productos ofertados a sus clientes en lugar de su visualización a través de una pantalla.

• Comunicación: el desarrollo de la realidad mixta facilita una comunicación a distancia más fluida, ofreciendo la oportunidad de realizar traducciones simultáneas, compartir información, imágenes, vídeos o información de manera virtual sin necesidad de clicar botones o la utilización de un ordenador, dispositivo móvil o tableta.
• Industria: esta tecnología permite acelerar los procesos de control de calidad de los productos, reduciendo el tiempo de fabricación y el número de errores gracias a la introducción de modelos 3D de las líneas de producción y el intercambio de información a tiempo real con manos libres.
• Moda: el empleo de un espejo inteligente que se basa en la realidad mixta para ofrecer la posibilidad de que el cliente pueda probarse ropa desde su propio hogar sin adquirir la prenda, todo ello gracias al añadido de píxeles en las representaciones de la ropa y al efecto del reflejo.
• Turismo: gracias a la realidad mixta cabe la oportunidad de que el visitante pueda viajar en el tiempo deleitándose de secuencias de antaño estando en el presente lugar y contando con la figura de un guía virtual.
• Formación: los empleados pueden aprender a desempeñar su función de una forma práctica e interactiva siguiendo instrucciones que incluyen modelos 3D, imágenes y grabaciones en vídeo.
• Comercialización: los clientes pueden disponer del producto en versión 3D en cualquier ambiente y a escala real favoreciendo la comodidad en cuanto a tiempo.
• Ocio: se pone a disposición de los usuarios cualquier juego de realidad mixta y videojuegos en los que los participantes tienen la sensación de estar jugando en el mundo físico interactuando con los personajes.
• Arte. La realidad mixta permite dibujar en un ambiente real o virtual. También se pueden importar imágenes 3D de algo real y proyectarlo de manera virtual en un espacio real.
• Reportajes. A partir de la realidad mixta, se pueden simular diferentes situaciones como es el caso de los fenómenos naturales.

Tecnologías de visualización de realidad mixta

La mayoría de tecnología desarrollada respecto a la experimentación virtual, se relaciona con lo visual y lo auditivo. Aún no se han desarrollado tecnologías para la experimentación virtual de calidad a través del tacto, el gusto o el olfato, pero se está trabajando en ello.

Básicamente, los sistemas que se utiliza en realidad mixta son:

1. IPCM (sigla del inglés, Interactive Product Content Management): que consiste en poder presentar productos interactivos al cliente, es decir, crear un nuevo catálogo con réplicas en 3D proyectadas en la realidad de un producto que antes sólo se podía consultar mediante imágenes o vídeos.
2. SBL (sigla del inglés, Simulation Based Learning): permite, mediante simulaciones de realidad virtual, incluir a los estudiantes directamente en un entorno de aprendizaje, todo proyectando situaciones o tareas creadas virtualmente en el entorno real del usuario.

Respecto a las Tecnologías de visualización de realidad mixta destacan:

• Cave Automatic Virtual Environment: es un entorno de realidad virtual inmersiva, en la que se proyectan imágenes 3D sobre las paredes de una sala en forma de cubo. El usuario verá los objetos 3D con unas gafas estereoscópicas.
• HUD o head-up display: es un dispositivo que permite proyectar información sobre una superficie transparente que se encuentra delante del usuario. Permite al usuario ver información y/o imágenes ante sí sin tener que mover la cabeza.
• HMD o visor montado en la cabeza: un dispositivo de visualización similar a un casco, que permite reproducir imágenes creadas por ordenador sobre un "display" muy cercano a los ojos, o directamente sobre la retina de los ojos.

Esta tecnología permite al usuario introducirse en un entorno de realidad virtual, realidad aumentada o realidad mixta, ya que al tener el dispositivo tan cerca de los ojos los objetos virtuales proyectados parecen formar parte del entorno del usuario.

• Meta 2: es un dispositivo anclado, montado en la cabeza, el objetivo es reemplazar la pantalla 2D.
• Daqri Smart Helmet: consiste en un casco que permite una visión de 120º y con peso mínimo. Son portátiles y con gran calidad en realidad mixta, se dirigen a industrias como la manufactura, los servicios de campo, el mantenimiento y la reparación, las inspecciones, la construcción, etc.
• Magic Leap One: se trata de unas gafas que proyectan imágenes en 3D usando la tecnología de campo de luz. Esta proyecta una imagen en 3D íntegra que nuestra retina enfoca de igual manera que el resto de los objetos del entorno y de esta manera se crea un gran realismo.
• ODG R9 Smart Glasses: las gafas utilizan realidad aumentada y realidad mixta, estas parecen gafas de sol XL y tiene un buen uso en realidad aumentada y realidad virtual.

Principales actores de la realidad mixta

Destacan 3 empresas que están invirtiendo por la realidad mixta. Por un lado, Microsoft trabaja en el hardware y software para poder usar de la MR diariamente. Por otro bando tenemos a Magic Leap que utiliza un avance tecnológico que hará tener una sensación de unificación entre el mundo real y virtual. Y el tercer componente, es MetaVision que apuesta por una maquinaria más económica para todo el mundo.

Realidad mixta e investigación

En lo que se refiere al tema de investigación, se han realizado bastantes avances sobre la realidad aumentada, la realidad virtual y la realidad mixta y que resultan muy interesantes. Algunos de los desafíos más importantes incluyen: los movimientos en espacios abiertos, el empaquetado, la velocidad con que se captura la imagen, la presentación, la publicación de los sistemas y el control de presencia.

Además, estos sistemas de realidad parecen estar introduciéndose en muchos ámbitos. Por lo que, para la investigación de estos, las universidades y empresas que comercializan esta tecnología apoyan su crecimiento.

Véase también

• Realidad aumentada
• Realidad virtual
• Windows Mixed Reality
• Visión estereoscópica
• Estereoscopía

Referencias

Enlaces externos

• Página web de Mixed Reality Lab Archivado el 15 de noviembre de 2013 en Wayback Machine.
• Artículo sobre Continuo de la Virtualidad