Cinco perguntas sobre o "Project HoloLens" da Microsoft

Propaganda

Na manhã de quarta-feira, a Microsoft mostrou um projeto em que trabalha há sete anos, um fone de ouvido de realidade aumentada chamado Projeto HoloLens.

A visão é ambiciosa: eles querem mudar fundamentalmente a maneira como as pessoas interagem com os computadores, construindo um par de óculos que podem misturar fluidamente conteúdo virtual e real no espaço físico de o usuário. Isto é como tecnologia de realidade virtual Por que a tecnologia de realidade virtual vai explodir sua mente em 5 anosO futuro da realidade virtual inclui rastreamento de cabeça, olhos e expressão, toque simulado e muito mais. Essas incríveis tecnologias estarão disponíveis para você em 5 anos ou menos. consulte Mais informação , mas fundamentalmente mais poderoso. Além disso, eles querem fazer todo o processamento localmente nos óculos - sem computador, sem telefone, sem cabos. Eles estão até lançando uma versão especial do Windows apenas para o novo hardware. Este é o próximo estágio na evolução tecnológica para todos aqueles

Jogos AR Aplicativos de realidade aumentada: úteis ou apenas hype? Testes MakeUseOfEm 2011, os analistas previram o aumento dos aplicativos móveis de Realidade Aumentada. A tecnologia nascente revolucionaria a maneira como interagimos com nossos dispositivos móveis. Avancemos dois anos e dezenas de aplicativos de AR preenchem todos os ... consulte Mais informação você instalou no seu telefone uma vez e não tocou desde então.

Seu prazo é ainda mais ambicioso do que seus objetivos: eles querem enviar kits de desenvolvedor nesta primavera e o produto de consumo "durante o período do Windows 10". Aqui está o argumento.

Tudo isso parece ótimo, mas admito um alto grau de ceticismo.

As tecnologias que a Microsoft está usando têm desafios sérios e fundamentais, e até agora a Microsoft tem sido muito discreta sobre como (ou se) as resolveu. Se eles não os resolveram, a meta de envio dentro de um ano é muito preocupante. A última coisa que VR e AR precisam é de uma grande empresa que envia outro produto pela metade, como o Kinect. Lembre o Demonstração do Projeto Natal a partir de 2009?

Sem mais delongas, aqui estão as cinco coisas mais importantes que eu gostaria de saber sobre os HoloLens.

Este é um visor de campo leve?

Para entender este, precisamos analisar um pouco mais o 3D e como ele funciona. Para obter a sensação de um mundo 3D real e tangível, nossos cérebros integram muitos tipos diferentes de informações. Recebemos dicas de profundidade sobre o mundo de três maneiras principais:

• Profundidade estéreo - a disparidade entre o que os nossos olhos vêem. Falsificar é assim que os filmes em 3D funcionam
• Paralaxe de movimento - movimentos sutis da cabeça e do torso nos dão pistas adicionais de profundidade para objetos mais distantes
• Foco óptico - quando focamos em algo, as lentes de nossos olhos se deformam fisicamente até que entrem em foco; objetos de campo próximo exigem mais distorção da lente, o que fornece informações detalhadas sobre o que estamos vendo

O foco óptico é fácil de verificar: feche um olho e mantenha o polegar em frente a uma parede do outro lado da sala. Em seguida, mude o foco da miniatura para a superfície atrás dela. Ao olhar além do polegar, seu polegar ficará fora de foco, porque a lente do seu olho agora está menos deformada e não consegue captar corretamente a luz que sai dele.

Os fones de ouvido VR, como o Oculus Rift, fornecem as duas primeiras pistas com extrema precisão, mas não a última, o que funciona surpreendentemente bem: nossos olhos ficam relaxados por completo, já que a ótica focaliza as imagens, pois através da luz vinham infinitamente longe longe. A falta da sugestão de foco óptico não é realista, mas geralmente não é uma distração. Você ainda pode ter experiências de jogo muito legais 5 experiências de jogo Oculus Rift que vão surpreendê-loAgora que a segunda geração do kit de desenvolvimento Oculus Rift está pronta e nas mãos de desenvolvedores de todo o mundo, vejamos algumas das melhores coisas que atingiram o Rift até agora. consulte Mais informação sem ele.

Na realidade aumentada, o problema é diferente, porque você precisa misturar luz de objetos reais e virtuais. A luz do mundo real será naturalmente focada em uma variedade de profundidades. O conteúdo virtual, no entanto, será todo focado a uma distância fixa e artificial ditada pela ótica - provavelmente no infinito. Objetos virtuais não parecerão realmente parte da cena. Eles ficarão fora de foco quando você olhar as coisas reais com a mesma profundidade e vice-versa. Não será possível mover o olho com fluidez pela cena, mantendo-o em foco, como você faz normalmente. As pistas de profundidade conflitantes serão confusas na melhor das hipóteses e, na pior das hipóteses, nojentas.

Para consertar isso, você precisa de algo chamado display de campo de luz. Os displays de campo de luz são aqueles que usam uma variedade de pequenas lentes para exibir a luz focada em várias profundidades simultaneamente. Isso permite que o usuário se concentre naturalmente na tela e (para realidade aumentada) resolve o problema descrito acima.

Existe, no entanto, um problema: as exibições dos campos de luz mapeiam essencialmente uma única tela 2D em um campo de luz tridimensional, o que significa que cada “profundidade pixel ”que o usuário percebe (e existe a uma profundidade focal específica na cena) é na verdade composta de luz de muitos pixels na imagem original exibição. Quanto mais fina for a profundidade que você deseja retratar, mais resolução terá que desistir.

Geralmente, os campos de luz têm cerca de um óctuplo diminuição da resolução para fornecer precisão de profundidade adequada. Os melhores microdisplays disponíveis têm uma resolução de cerca de 1080p. Supondo que um microdisplay de última geração direcione cada olho, isso tornaria a resolução real do fone de ouvido da Microsoft apenas cerca de 500 x 500 pixels por olho, menos ainda que o Oculus Rift DK1. Se a tela tiver um campo de visão alto, os objetos virtuais serão bolhas incompreensíveis de pixels. Caso contrário, a imersão sofrerá proporcionalmente. Na verdade, nunca conseguimos ver através das lentes (apenas recriações de computador do que o usuário está vendo), então não temos idéia de como é a experiência do usuário.

É possível que a Microsoft tenha apresentado uma solução inovadora para esse problema, para permitir o uso de uma exibição de campo de luz sem a compensação da resolução. No entanto, a Microsoft tem sido extremamente cautelosa com a tecnologia de exibição, o que me faz suspeitar que não. Aqui está a melhor explicação que temos até agora (desde o WIRED demonstração).

Para criar imagens do Project HoloLens, partículas de luz refletem milhões de vezes no chamado mecanismo de luz do dispositivo. Em seguida, os fótons entram nas duas lentes dos óculos, onde ricocheteiam entre camadas de vidro azul, verde e vermelho antes de chegarem ao fundo do olho.

Esse tipo de descrição da tecnologia pode significar praticamente qualquer coisa (embora, para ser justo com a Microsoft, o hardware tenha impressionado a WIRED, embora o artigo tenha detalhes claros).

Não saberemos mais até que a Microsoft comece a liberar especificações técnicas, provavelmente daqui a alguns meses. Em uma nota adicional da escolha de nit, é realmente necessário afogar o projeto nesse discurso de marketing? O processador dedicado que eles estão usando para rastrear a cabeça é chamado de "processador holográfico" e as imagens são chamadas de "hologramas", por nenhum motivo específico. O produto é fundamentalmente legal o suficiente para que não seja realmente necessário dourá-lo dessa maneira.

O rastreamento é bom o suficiente?

O fone de ouvido do Project HoloLens possui uma câmera de alta profundidade de FOV (como o Kinect), usada para descobrir onde o o fone de ouvido está no espaço (tentando alinhar a imagem de profundidade que está vendo com o modelo do mundo, composto da profundidade do passado imagens). Aqui está a demonstração ao vivo do fone de ouvido em ação.

O rastreamento é impressionante, considerando que ele não usa marcadores ou outros truques, mas mesmo nesse vídeo (em condições fortemente controladas), você pode ver uma certa quantidade de oscilação: o rastreamento não é completamente estável. Isso é de se esperar: esse tipo de rastreamento de dentro para fora é extremamente difícil.

No entanto, a grande lição do vários protótipos Oculus Rift Veja-nos experimentar o Oculus Rift Crescent Bay na CES 2015O Oculus Rift Crescent Bay é um novo protótipo que mostra algumas melhorias interessantes na tecnologia de realidade virtual. Experimentamos na CES 2015. consulte Mais informação é que a precisão do rastreamento é muito importante. O rastreamento instável é apenas irritante quando há alguns objetos em um mundo real amplamente estável, mas em cenas como a demonstração de Marte, eles mostraram em seu conceito vídeo, onde quase tudo o que você está vendo é virtual, o rastreamento impreciso pode levar à falta de "presença" na cena virtual ou até ao simulador doença. A Microsoft pode obter o rastreamento de acordo com o padrão estabelecido pelo Oculus (precisão de rastreamento submilimétrico e latência total menor que 20 ms) até a data de remessa no final deste ano?

Aqui está Michael Abrash, pesquisador de RV que trabalhou para a Valve e Oculus, falando sobre o problema

[Como sempre há um atraso na geração de imagens virtuais, [...] é muito difícil fazer com que imagens reais e virtuais sejam registradas com bastante atenção para que os olhos não percebam. Por exemplo, suponha que você tenha uma lata de Coca-Cola real que deseja transformar em uma lata de AR Pepsi desenhando um logotipo da Pepsi sobre o logotipo da Coca-Cola. Se levar dezenas de milissegundos para redesenhar o logotipo da Pepsi, toda vez que você girar a cabeça, o efeito será esse o logotipo da Pepsi parecerá mudar alguns graus em relação à lata e parte do logotipo da Coca-Cola ficará visível; o logotipo da Pepsi voltará ao lugar certo quando você parar de se mover. Claramente, isso não é bom o suficiente para RA difícil

O monitor pode ficar preto?

Outra questão, além da profundidade focal e do rastreamento, tem a ver com o desenho de cores escuras. Adicionar mais luz a uma cena é relativamente simples, usando divisores de feixe. Tirar a luz é muito mais difícil. Como você escurece seletivamente partes do mundo real? A colocação de uma tela LCD seletivamente transparente não é suficiente, pois nem sempre ela pode estar no foco correto para bloquear o que você está vendo. As ferramentas ópticas para resolver esse problema, a menos que a Microsoft as tenha inventado secretamente, simplesmente não existem.

Isso é importante porque, para muitos aplicativos que a Microsoft está exibindo (como assistir a Netflix na parede), o fone de ouvido realmente precisa a capacidade de remover a luz que sai da parede; caso contrário, seu filme sempre terá um padrão de estuque visível sobreposto: será impossível que as imagens bloqueiem objetos reais na cena, tornando o uso do fone de ouvido fortemente dependente da iluminação ambiente condições. De volta a Michael Abrash:

Até agora, nada disso apareceu na indústria ou na literatura de AR, e a menos e até que aconteça, o AR rígido, no sentido de que todos sabemos e amamos, não pode acontecer, exceto na escuridão.

Isso não significa que o AR esteja fora de questão, mas por um tempo ainda será um AR suave, com base na mistura aditiva [...] Novamente, pense translúcido como "Caça-fantasmas". Imagens virtuais de alta intensidade sem áreas escuras também funcionarão, especialmente com a ajuda do escurecimento regional ou global - elas simplesmente não parecerão parte do real mundo.

E quanto à oclusão?

"Oclusão" é o termo para o que acontece quando um objeto passa na frente de outro e impede que você veja o que está por trás dele. Para que o cenário virtual pareça uma parte tangível do mundo, é importante que objetos reais ocultem o virtual objetos: se você segurar sua mão na frente de uma imagem virtual, não poderá vê-la através de suas mão. Devido ao uso de uma câmera de profundidade no fone de ouvido, isso é realmente possível. Mas assista à demonstração ao vivo novamente:

Em geral, eles controlam cuidadosamente os ângulos da câmera para evitar que objetos reais passem na frente dos virtuais. No entanto, quando a manifestante interage com o menu do Windows, você pode ver que a mão dela não a obstrui. Se isso estiver além do alcance de sua tecnologia, isso é um sinal muito ruim para a viabilidade de seu produto de consumo.

E falando dessa interface do usuário ...

Esta é realmente a interface do usuário final?

A interface do usuário exibida pela Microsoft nos vídeos de demonstração parece funcionar usando uma combinação de olhar e mão rastreamento para controlar um cursor na cena virtual, enquanto usa controles de voz para selecionar entre diferentes opções Isso tem duas grandes desvantagens: faz com que você pareça a criança do Shining que fala com o dedo, mas, mais importante, também representa um paradigma de design fundamentalmente falho.

Historicamente, as melhores interfaces de usuário são aquelas que trazem intuições físicas sobre o mundo para o mundo virtual. O mouse trouxe clicar, arrastar e janelas. Interface de toque trouxe furto para rolar e beliscar para ampliar. Ambos foram críticos para tornar os computadores mais acessíveis e úteis para a população em geral - porque eram fundamentalmente mais intuitivos do que o que veio antes.

VR e AR oferecem muito mais liberdade como designer: você pode colocar elementos da interface do usuário em qualquer lugar do espaço 3D e fazer com que os usuários interajam com eles naturalmente, como se fossem objetos físicos. Um grande número de metáforas óbvias se sugere. Toque em um elemento da interface do usuário virtual para selecioná-lo. Aperte para pegá-lo e movê-lo. Deslize para fora do caminho para armazená-lo temporariamente. Esmague-o para excluí-lo. Você pode imaginar criar uma interface de usuário tão intuitiva que não exija explicações. Algo que sua avó pode captar instantaneamente, porque é construída sobre uma base de intuições físicas básicas que todo mundo constrói ao longo de uma vida inteira interagindo com o mundo. Tome um minuto e ouça essa pessoa inteligente descrever o que podem ser interfaces imersivas.

Em outras palavras, parece óbvio (para mim) que uma interface de usuário imersiva deve ser finalmente tão intuitivas quanto as interfaces de toque criadas pelo iPhone para telas multitoque 2D. Construir uma interface para manipular um “mouse” de RV é um passo atrás e expõe profundamente deficiências em sua tecnologia de rastreamento manual ou um mal-entendido fundamental sobre o que é interessante sobre este novo médio. De qualquer forma, é um sinal muito ruim para este produto ser mais do que um fracasso colossal na escala Kinect.

Felizmente, a Microsoft tem tempo para obter feedback sobre isso e fazer um trabalho melhor. Como exemplo, aqui está uma interface projetada por um hobby para o Oculus Rift DK2 e o Leap Motion. Uma interface do usuário imersiva projetada por uma grande empresa deve ser pelo menos tão boa.

Um sinal do que está para vir

No geral, sou extremamente cético em relação ao projeto HoloLens como um todo. Estou muito feliz que uma empresa com os recursos da Microsoft esteja investigando esse problema, mas estou preocupada que eles estejam tentando lançar um produto rapidamente sem resolver alguns problemas técnicos subjacentes críticos ou pregar uma boa interface do usuário paradigma. O HoloLens é um sinal do que está por vir, mas isso não significa que o produto em si proporcionará uma boa experiência aos consumidores.

Crédito de imagem: cortesia da Microsoft