Lume Pad 2: tablet 3D alimentado por IA é incrível e estranho

A descrição do Lume Pad 2 parece que alguém jogou um monte de chavões juntos: é um tablet 3D com inteligência artificial!

Mas o que isso significa? Quanto à IA, ela apresenta IA no dispositivo para analisar fotos e vídeos e convertê-los em 3D, bem como IA em nuvem generativa para criar cenas 3D a partir de prompts de texto. E a parte 3D? Isso também é verdade: é uma tela 3D sem óculos. Real, 3D real, com uma imagem única transmitida para cada olho.

Este é o Lume Pad 2 de uma empresa chamada Leia (sim, como a princesa de Star Wars). É a coisa mais única e fascinante que já vi em muito tempo, mas não estou convencido de que tenha um mercado além de um punhado de indústrias especializadas.

Tela 3D sem óculos

No coração do dispositivo está uma tecnologia de exibição proprietária exclusiva ("Campo de luz") que permite um visualizador único para ver os aplicativos suportados em uma visão 3D verdadeira sem óculos adicionais ou um fone de ouvido. Não foi divulgado exatamente como funciona, mas provavelmente é alguma variação de lentes lenticulares - do tipo que você encontraria em pacotes de cereal quando criança. Conforme você movia a cena, o prisma translúcido na frente direcionava uma parte diferente da imagem de fundo para seus olhos, dando a impressão de que a cena estava mudando. O Lume Pad 2 mostrará duas imagens a qualquer momento, mas a camada de tela especial combinada com duas câmeras frontais para rastreamento da cabeça e dos olhos garantirá que cada olho veja apenas uma. Quando seu cérebro os combina, você pode ver uma cena 3D.

Pode ser muito mágico contemplar pessoalmente ("Whhhaaaaaaat", meu filho exclamou, "Papai, está saindo da tela. O que? Como? O que?!")

Além disso, o Lume Pad 2 é um tablet Android, repleto de software personalizado que permite capturar imagens e vídeos em 3D ou usar IA para transformar vídeos existentes em 3D.

O hardware

O Lume Pad 2 possui uma tela IPS de 12,4 polegadas com atualização de 120Hz e 2560 x 1600 pixels, com uma densidade de pixels de 244 PPI e uma proporção de 16:10. No entanto, no modo 3D, é seguro presumir que a resolução é reduzida pela metade.

Se esquecermos todas as coisas 3D sofisticadas por um momento e eu apenas avaliar isso como um tablet Android, ficaria impressionado. É um belo chassi de metal sólido, agradável ao toque e há um feedback tátil agradável durante a digitação. A caixa opcional se encaixa magneticamente e permite alguns ângulos de leitura.

A interface do Android 12 é rápida e, além do software pré-instalado, é um tablet padrão do Google Android com pouco trabalho personalizado.

Resumindo: é um bom tablet - certamente um dos melhores tablets Android com os quais já joguei. Você pode esquecer de usá-lo ao ar livre; com um brilho máximo de 450 nits em modo 2D e 300 nits em 3D, é apenas para uso interno.

Você também encontrará câmeras traseiras duplas de 16MP, com as quais você pode tirar fotos e vídeos 3D diretamente no dispositivo. Ao contrário da maioria das câmeras 3D, elas não são espaçadas como seriam os olhos humanos. A maioria das câmeras destinadas a gravar um efeito 3D para olhos humanos possui lentes com espaçamento de aproximadamente 63 mm separados - o mesmo que o ser humano médio - garantindo que um efeito 3D preciso seja percebido pelo pretendido visualizador. Mas com o Lume Pad 2, há alguma magia no dispositivo que extrapola a profundidade em tempo real.

Alimentando o tablet está o chipset Qualcomm Snapdragon 888, com 8 GB de RAM e 128 GB de armazenamento UFS 3.1. Você pode expandir por meio de um slot microSD com cartões de até 2 TB, o que você deseja fazer rapidamente se planeja fazer bom uso dessa câmera ou reproduzir sua própria mídia offline.

O software

Além da tela 3D mágica sem óculos, o valor real do Lume Pad 2 vem do software personalizado integrado.

LeiaPlayer é um visualizador de mídia tudo-em-um, para o seu próprio rolo de câmera 3D e uma bela coleção de imagens de amostra. Além disso, toque na guia Leia Link e você poderá acessar o conteúdo que você carregou de um smartphone comum com o aplicativo Leia Link, que seu software pode transformar magicamente em 3D. Na maioria das vezes funciona, mas apenas nas cenas em que a profundidade é óbvia. Eu tentei com uma foto de família de alguns karts, e a profundidade estava toda errada. O Leia Player pode reproduzir vídeos formatados em VR180 e lado a lado (SBS), embora muitas vezes você precise especificar. Tentei assistir a um vídeo formatado em SBS e, para ser sincero, a profundidade era muito fraca e não havia som. Acho que houve problemas de codec. O LeiaPlayer certamente não está no mesmo nível do VLC quando se trata de codecs aleatórios, então isso foi um pouco falho. Mesmo que tivesse som, eu não teria me incomodado. Acho que um fone de ouvido VR pela metade do preço faria um trabalho muito melhor.

LeiaPix é um aplicativo de rede social para compartilhar e visualizar fotos 3D de outras pessoas. Pesquise uma hashtag ou tópico específico e você descobrirá que o conteúdo é escasso, mas é uma maneira simples de visualizar apenas imagens 3D aleatórias. A qualidade varia, por isso é possível que estejam sendo tiradas com a versão mais antiga do Lume Pad.

LeiaChat permite que você converse em 3D com outros usuários do Lume Pad 2, em 3D, para quando as chamadas padrão do Zoom não funcionarem mais. Claro, ambas as extremidades precisam de um Lume Pad.

LeiaDream é um aplicativo de arte 3D generativo. Presumo que seja uma versão personalizada do StableDiffusion, mas pode ser totalmente proprietária. De qualquer forma, ele permite que você digite um prompt de texto e obtenha uma imagem 3D personalizada. Não chega nem perto do nível de realismo do Midjourney e, como um serviço em nuvem, sua conta vem com o suficiente para gerar cerca de 250 imagens - depois disso, você precisará comprar mais créditos.

LeiaViewerName é um visualizador de modelos 3D com vários modelos incluídos e integração com o Sketchfab, se você quiser mais ou visualizar suas próprias criações (embora apenas um login de e-mail Sketchfab padrão seja suportado, não se você se inscreveu por meio de uma rede social fornecedor). Este é provavelmente o caso de uso mais atraente para o Lume Pad 2, com modelos 3D obviamente sendo uma ótima combinação para a tecnologia de exibição sem óculos. Você pode inclinar, girar, ampliar, etc., bem como controlar a profundidade do efeito 3D.

LeiaTube é um visualizador do YouTube e do Vimeo. Abra-o e você verá uma seleção de conteúdo, embora até mesmo o conteúdo formatado SBS 3D nativo deva ser executado por meio do algoritmo de conversão AI. Você também pode compartilhar um vídeo do aplicativo padrão do YouTube diretamente aqui e ele o converterá automaticamente para visualização em 3D. Eu tentei com um dos meus próprios comentários e, para ser honesto, não foi tão bom. O efeito não foi tão pronunciado nem tão preciso quanto eu esperava; certamente havia algumas falhas aqui e ali, com bordas difusas ao redor dos objetos onde poderia dizer qual deveria ser a profundidade.

Isso é um monte de aplicativos integrados, e também há um Leia App Store. No entanto, é um pouco esparso, com talvez quatro jogos no total. Realisticamente, a menos que seja um título original da Leia Inc, é improvável que você consiga muitos desenvolvedores a bordo de um mercado tão pequeno. Você não pode simplesmente pegar jogos existentes e transformá-los em 3D. As duas demos de jogos grátis pré-instaladas em nosso dispositivo eram demos fascinantes, mas no final das contas não conseguiram prender minha atenção por mais de cinco minutos cada.

Embora existam muitos aplicativos integrados, você não deve esperar que mais nada suporte a funcionalidade 3D. Você não pode abrir o VLC e reproduzir um filme codificado em SBS, por exemplo, nem o Call of Duty ganhará repentinamente uma terceira dimensão. Para fazer uso da tecnologia 3D exclusiva, um aplicativo precisa ser compatível com o Leia SDK. Ele executará com prazer outros aplicativos Android, mas eles serão exibidos apenas em 2D normal.

Como é o efeito de profundidade?

Eu estava cético quanto à tecnologia de tela sem óculos entrar nesta análise, mas pode ser bastante impressionante nas condições certas. Embora impossível de mostrar em vídeo, o que posso falar é a qualidade subjetiva do efeito 3D e da tela em geral.

Em primeiro lugar, o grau de efeito de profundidade varia significativamente de acordo com o aplicativo e o tipo de conteúdo que você está visualizando.

O melhor efeito será obtido de objetos renderizados em 3D. Por exemplo, se você abrir o aplicativo LeiaViewer 3D e verificar a cidade cyberpunk incluída (incluindo carros animados dando zoom ao redor), você descobrirá que o pináculo mais alto aparecerá a quase 6 polegadas da superfície do tábua. Isso incrível.

Isso também é verdade para as demos do jogo, e é no jogo Dungeon que os recursos de rastreamento da cabeça também podem ser vistos claramente. Não apenas as paredes da masmorra ganham vida em 3D glorioso, mas se você inclinar o tablet ou se mover, verá ângulos anteriormente ocultos. É uma experiência única que só tive em VR.

No entanto, quando se trata de imagens ou vídeos, o efeito não é tão pronunciado - na medida em que eu não me incomodaria em assistir a filmes 3D nisso; simplesmente não é atraente em comparação com fazer o mesmo no cinema VR virtual. Isso pode ser apenas um "fator de realismo". O conteúdo 3D renderizado sempre parecerá mais impressionante do que uma cena real, porque esta última é algo a que estamos acostumados na vida real.

Rastreamento e qualidade visual

De um modo geral, desde que eu não estivesse em um ângulo muito obtuso, o rastreamento do rosto e dos olhos parecia funcionar bem. Não experimentei muitas falhas em que voltaria ao modo apenas 2D, exceto quando meu filho decidiu enfiar a cara e ver do que se tratava. Ele não pode rastrear mais de uma pessoa ao mesmo tempo e, às vezes, leva um ou dois segundos para perceber que há um novo visualizador. Então tudo se encaixa magicamente na visualização 3D.

A tela está longe de ser perfeita; dois pontos prejudicam a experiência geral.

Em primeiro lugar, há um leve tipo de porta de tela de malha pontilhada na tela. Presumivelmente, é uma parte da camada lenticular que separa a imagem de cada olho. Isso é mais óbvio quando é colocado no modo 3D. Embora o hardware do tablet seja muito bom e responsivo como um tablet Android genérico, a qualidade da tela pode frustrar.

Em segundo lugar, há também um problema bastante óbvio de fantasmas. Isso significa que cada olho pode ver a imagem destinada ao outro olho, embora muito fracamente. No exemplo acima, a pós-imagem na parte de trás das asas também está presente quando visualizada em 3D, não apenas como resultado da filmagem.

Isso não é tanto uma crítica a este tablet em particular, mas uma falha na tecnologia subjacente, e também não é exclusivo de telas sem óculos. Se você já assistiu a filmes 3D passivos (aqueles que envolvem um frágil par de óculos), eles também tendem a ter um pouco de fantasmas. Isso porque é quase impossível culminar perfeitamente a luz em uma direção específica. Você pode obtê-lo bom o suficiente para obter o efeito 3D, mas se você fizer uma pausa e examinar criticamente a imagem, verá fantasmas. Isso é mais óbvio para objetos mais claros em um fundo escuro. Apenas monitores Active 3D (aqueles que requerem óculos de LCD mais pesados ​​com uma bateria neles) podem elimine fantasmas, já que eles estão alternando imagens e bloqueando completamente a visão de um olho cada tempo.

Este é o monitor 3D definitivo? Não.

O Lume Pad 2 é realmente muito mágico de se ver. É uma maravilha tecnológica e gostaria de ter uma maneira melhor de mostrar isso a você, mas, assim como a realidade virtual, é algo que você precisa experimentar por si mesmo.

Mas eu sei o que você está pensando: isso é uma moda passageira. Eu era um grande defensor de TVs e projetores 3D até uma década atrás. Até passei grande parte do meu tempo na universidade jogando Unreal Tournament 2K com os óculos Nvidia 3D originais e um enorme monitor Silicon Graphic CRT. Mas os lançamentos de filmes em 3D secaram (quatro até agora este ano, ao que parece), e as pessoas percebeu que ter que usar óculos especiais para assistir a um filme era um incômodo para resultados muitas vezes piores do que sem.

Obviamente, a beleza do Lume Pad 2 é que ele funciona sem óculos - e simplesmente funciona (embora apenas para um único visualizador).

O fato de ter um sistema de IA integrado para converter conteúdo não 3D e uma maneira de produzir suas próprias fotos e filmes 3D no próprio dispositivo, acho que dá força. Mesmo se o mundo parasse de produzir conteúdo 3D amanhã e a internet entrasse em colapso, você ainda poderia produzir e exibir suas próprias criações a partir deste único dispositivo. Leia tentou muito produzir conteúdo atraente com uma rede social personalizada apenas para o Lume Pad usuários, e eles entendem que você não pode apenas ter uma tecnologia incrível - você precisa de aplicativos e conteúdo para ir com isso. Isso é muito encorajador.

No entanto, entender um problema e ser capaz de resolvê-lo são duas coisas diferentes.

A maior limitação do Lume Pad 2 é que não há como usá-lo como exibição 3D genérica para qualquer fonte de entrada. Se tivesse uma porta HDMI ou dongle e pudesse reproduzir qualquer entrada formatada SBS no modo 3D, isso o tornaria uma compra instantânea para um mercado muito maior. Por exemplo, o Fone de ouvido Goovis G3 Max persona cinema, que analisamos na semana passada, pode fazer exatamente isso. É preciso qualquer entrada USB-C ou HDMI - seja um reprodutor de Blu-ray 3D ou um reprodutor de mídia genérico rodando VLC com algum SBS arquivos formatados, ou YouTube, ou mesmo um jogo de PC com algum software que gere jogos 3D em um formato lado a lado - e apenas funciona.

Com o Lume Pad 2, tudo o que você deseja usar em 3D deve ser programado especificamente com o Leia SDK. Nem funciona com aplicativos Android projetados para o Google VR.

Se não houver um aplicativo para isso, é isso. E, francamente, também não é tão fácil colocar seu próprio conteúdo neste dispositivo. O aplicativo Android File Transfer no Mac é incompleto na melhor das hipóteses, então tive que instalar algum aplicativo Android aleatório com uma interface horrenda apenas para navegar pela rede. Foi uma experiência miserável para copiar um arquivo.

Acho que o verdadeiro nicho para este produto será a modelagem 3D; ou melhor, visualizando os modelos 3D que você produziu em outro lugar e carregou no Sketchfab. Isso pode ser um público muito nicho, no entanto. É incrivelmente atraente ver seu design de objeto 3D ganhar vida e, com objetos 3D renderizados, a profundidade que você pode obter é incrivelmente boa. E para aquele punhado de pessoas que ainda amam a fotografia estéreo: você vai adorar isso.

Para todos os outros, não tenho tanta certeza. Posso ver como Leia está tentando torná-lo atraente com a IA 3D de qualquer vídeo do YouTube e a câmera na parte traseira para fazer suas próprias fotos 3D. Mas para esses recursos, não funciona tão bem. Assim como não acho que alguém vá registrar momentos familiares usando a câmera 3D frontal do Apple Vision Pro, não consigo imaginar você carregando um tablet de US$ 1.000 para tirar fotos ou gravar vídeos. Portanto, minha maior preocupação é simplesmente que não haja mercado para este dispositivo; pelo menos, não grande o suficiente para convencer os desenvolvedores de que vale a pena adicionar o suporte Leia SDK aos seus aplicativos.

Embora dificilmente seja um ponto de dados definitivo, o subreddit do Lume Pad - que talvez seja o primeiro lugar que eu pularia para encontrar novos aplicativos, dicas e sugestões de conteúdo - tem um total de 105 membros.

O hardware é incrível, e o software está se esforçando tanto para encontrar um propósito real, e eu simplesmente não acho que atinja o alvo. No entanto, talvez com o tempo. Mas se você possui o Lume Pad anterior e já gosta do que pode fazer com ele, o Lume Pad 2 é, de qualquer forma, uma atualização incrível. Pegue - você vai adorar.