Enterrado dentro Imaginative and prescient Professional de $ 3.499 da Apple O fone de ouvido VR é um recurso que me impressiona continuamente, mas provavelmente você nunca ouviu falar dele. O recurso, chamado Personagensenvolve dois ou mais usuários, todos usando Imaginative and prescient Execs, conversando entre si em tempo actual, mas como réplicas virtuais.
Agora fora da versão beta, os Personas fazem parte do sistema de avatar da Apple para o Imaginative and prescient Professional, criando réplicas de você mesmo por meio de uma digitalização de fotos 3D.
Fazer uma varredura em mim mesmo não é uma coisa nova. Há cerca de cinco anos, tentei a telepresença com avatares digitalizados em 3D em óculos Nreal AR com uma empresa chamada Spatial. Dei uma olhada nos avatares de codec realistas do Meta. Explorei a telepresença de avatar de desenho animado com a Microsoft no HoloLens. E eu até me examinei em todos os tipos de deepfakes bizarros de IA usando o aplicativo de telefone Sora da OpenAI.
Ainda assim, ninguém está fazendo nada em fones de ouvido ou óculos VR ou AR tão avançados quanto os Imaginative and prescient Personas da Apple. E ainda não vimos o começo de como as coisas poderiam ficar boas.
Para saber mais, coloquei um fone de ouvido M5 Imaginative and prescient Professional e entrei no FaceTime para um bate-papo exclusivo com o diretor sênior do Imaginative and prescient Merchandise Group da Apple, Jeff Norris, e o diretor sênior de advertising and marketing de produto, Steve Sinclair. Os dois apareceram como Personas no meu escritório em casa. Entramos como fantasmas quando a reunião começou, cara a cara, por assim dizer. Depois de alguns minutos, parecia que estávamos realmente passando um tempo juntos pessoalmente.
A Apple não discute o futuro. Mas Norris e Sinclair explicaram algumas das tecnologias 3D muito legais que fazem Personas parecer tão realistas. Enquanto conversávamos, imaginei que varreduras semelhantes poderiam ser feitas em outros lugares além do Imaginative and prescient Professional, como talvez o seu iPhone, que seria acessível a mais pessoas.
As Personas da Apple parecem estranhas fora do fone de ouvido, mas não dentro.
A telepresença actual é uma magia cara
É difícil encontrar outra pessoa que tenha um Imaginative and prescient Professional, mas quando o tenho, a estranha sensação de alguém entrando como um fantasma em minha casa é como magia. O VisionOS da Apple evoluiu para permitir a colaboração entre Personas, flexibilizando espaços virtuais para até cinco pessoas verem e compartilharem objetos virtuais e aplicativos. Várias pessoas na mesma sala usando headsets Imaginative and prescient podem colaborar com Personas que também podem transmitir remotamente.
Há anos que sonhei com aquela ideia de telepresença com holograma de Star Wars, semelhante a Tony Stark. Está basicamente aqui. Está apenas embutido em {hardware} muito caro.
Os óculos inteligentes ainda não foram capazes de lidar com a carga de avatares como este, embora os óculos AR da Snap e outros possam tentar em breve. Minha pergunta para a Apple é: que tecnologia está fazendo as Personas acontecerem e ela poderia aparecer em outro lugar?
A tecnologia de varredura de respingos usa aprendizado de máquina
Em nossa reunião, Norris explica que a tecnologia Persona usa respingos gaussianos para criar escaneamentos faciais 3D surpreendentemente convincentes. O respingo gaussiano é a tecnologia chave para muitas aplicações 3D atualmente, muitas vezes aplicadas à digitalização de objetos ou ambientes de grande escala. O aplicativo Hyperscape Seize da Meta no Quest pode digitalizar salas inteiras em espaços percorríveis em 3D em VR, por exemplo. Ele une uma imagem ou paisagem 3D a partir de uma série de imagens 2D usando IA.
O que torna o Personas único é o foco em examinar você mesmo, e não o seu ambiente. Usando o VisionOS 26, Norris me mostrou as principais mudanças em relação às versões anteriores do Persona. As renderizações agora podem mostrar maiores detalhes em vários ângulos e capturar detalhes como joias e cílios. Corpos e rostos são escaneados juntos, o que torna a renderização mais perfeita.
“Há aprendizado de máquina envolvido, mas poucas pessoas realmente percebem que é um concerto de redes que se unem”, diz Norris. “Nós os contamos, são mais de uma dúzia, mas na verdade reduzimos o número quando mudamos para esta nova versão do Personas.”
Mencionei a possibilidade de digitalizar salas no Imaginative and prescient Professional no futuro (aplicativos como Scaniverse e Polycam já exibem digitalizações 3D em fones de ouvido). Norris diz que a Apple já está aplicando respingos gaussianos às conversões espaciais de fotos em 3D, que agora parecem estranhamente imersivas em fones de ouvido. Então, o que vem a seguir?
Os headsets Imaginative and prescient Professional podem colaborar no mesmo espaço e incorporar Personas de outro lugar ao mesmo tempo. Você só precisa ter um desses fones de ouvido para participar da experiência espacial.
Não é preciso muito para capturar as fotos necessárias. Isso poderia ser feito em iPhones?
Embora a varredura do Persona seja feita por meio do fone de ouvido do Imaginative and prescient Professional, o que exige que eu segure o fone de ouvido para virar a cabeça e fazer a varredura, não é um processo que exige o uso extensivo dos sensores do Imaginative and prescient Professional.
“Só precisamos de um punhado de imagens quando estamos registrando sua Persona”, diz Norris. “Isso inclui algumas expressões faciais para ajudar nossas redes a entender como seu rosto se transfer quando você fala e sorri.
Eu me pergunto se um iPhone poderia eventualmente escanear uma Persona, o que eu acharia muito mais fácil do que usar o Imaginative and prescient Professional. Norris não responde isso diretamente.
“É interessante imaginar diferentes maneiras de conseguir isso”, ele responde. “Mas, no momento, adoramos que seja independente do dispositivo e que todo o processamento aconteça no dispositivo. Nenhuma dessas imagens precisa ir a lugar nenhum para que isso aconteça.”
Eu em meu VisionOS Persona durante minha primeira demonstração da nova versão na WWDC no início deste ano.
O que isso poderia significar para o nosso futuro senso de identidade digital?
A única Persona que digitalizo e vinculo ao meu ID Apple no Imaginative and prescient Professional parece ter sido projetada para atuar como um mapeamento particular person para meu eu digital. É a coisa mais próxima que a Apple tem de substituir o uso de uma câmera para transmitir meu rosto actual, o que não pode ser feito porque estou usando um fone de ouvido.
As empresas de IA já estão a digitalizar e a gerar versões virtuais de pessoas num número crescente de deepfakes, tanto intencionais como não intencionais. Aplicativo Sora da OpenAI é o exemplo mais proeminente agora e usa um tipo semelhante de tecnologia de digitalização facial em iPhones para gerar um “Cameo” meu que posso emprestar a outras pessoas.
Pergunto a Norris onde o limite pode ser traçado daqui para frente. Ele deixa claro que a Apple deseja representar uma pessoa de forma clara e segura em tempo actual, e não como uma reprodução.
“Concentramos as Personas nesse objetivo de representação autêntica”, diz ele. “Estamos tentando realizar o que considero um desejo humano basic, que é: ‘Gostaria que você estivesse aqui’. Isso começa tentando ser fiel à forma como parecemos, como nos movemos e como nos emocionamos enquanto falamos.”
Posso ter mais de uma Persona, ou mais customizações?
No momento, a Apple limita você a usar uma varredura de Persona por vez, o que me surpreende. Eu adoraria ter uma variedade de avatares de Scott Stein com humores diferentes ou simplesmente com roupas diferentes. Embora a Apple não discover a transformação de identidade por meio de digitalizações, aprecio as opções de óculos realistas e adoraria poder adicionar mais acessórios.
“As pessoas podem se inscrever novamente ou simplesmente vestir uma camisa diferente e se inscrever novamente”, diz Norris. “Eu entendo perfeitamente por que isso seria algo que desejaríamos. Mas estamos nos concentrando apenas em um de cada vez agora.”
Tentei usar avatares digitalizados com óculos Nreal AR em 2020 usando um aplicativo da Spatial para usar telefones e fones de ouvido juntos. A Apple fará isso também?
As Personas algum dia se estenderiam para fora do Imaginative and prescient Professional?
Já estou pensando em mais opções de Personas, não apenas para os caros fones de ouvido da Apple, mas para iPhones e outros dispositivos.
E se eles pudessem ser substitutos pessoais em nossas ligações FaceTime? Já posso ligar para minha esposa no FaceTime do Imaginative and prescient Professional, e ela pode ver minha Persona 2D lá. Ela ri disso porque parece um tanto sobrenatural. Se a Apple já abriu tanto a porta com o Animoji no FaceTime, por que não o Personas também?
Norris insiste que Personas funcione melhor no headset Imaginative and prescient, com o qual concordo. As representações parecem mais convincentes, de alguma forma. Quando nos colocamos em ambientes que já são parcialmente compostos por coisas virtuais, essas identidades digitalizadas em 3D parecem mais naturais. Mas a distância física e as expressões corporais também podem acontecer no espaço. Personas podem sair de sua caixa e pairar como torsos, mãos e rostos.
“Posso contar uma piada e você vai entender porque verá minha linguagem corporal e minhas expressões faciais que você não vê em uma tela bidimensional”, diz Sinclair. “Aqui, estamos juntos na sala e parece que realmente estamos aqui.”
Enquanto sua Persona fica ao lado da minha mesa bagunçada naquela forma digital, percebo que ele está certo.
A Apple já está recebendo suggestions sobre isso para uso comercial. “Também ouvimos falar disso na área da saúde”, diz Norris. “Médicos que criam procedimentos e querem treinar outras pessoas. Eles não precisam viajar pelo país. Eles podem apenas fazer uma ligação FaceTime com suas Personas.”
Ainda vejo um futuro onde iPhones, iPads, laptops e headsets colaborarão juntos, algo que as empresas como a Microsoft e Qualcomm apontaram como uma ponte entre fones de ouvido e dispositivos de tela plana. Samsung e Google também estamos discutindo esses tipos de pontos de conexão com o Android XR. Maçã tem um ARKit em iPhones e iPads, então as possibilidades já existem.
Norris diz que Personas fora de um fone de ouvido estaria faltando alguma coisa agora. “Para obter a apreciação completa da experiência, você precisa ter tanto os recursos de detecção quanto os incríveis recursos de exibição. Eles realmente precisam se unir para criar um momento mágico como este.”
À medida que a Apple avança em direção a uma linha esperada de óculos inteligentes no futuro, e inevitavelmente em direção a iPhones e iPads mais avançados, essa filosofia poderá evoluir. Personas são o início de uma mudança basic na forma como lidamos com a colaboração e a conexão.
No momento, porém, você nunca experimentará isso, a menos que esteja dentro de um Imaginative and prescient Professional. Estou ansioso por um momento em que o ingresso para este mundo mágico da telepresença seja muito mais acessível e melhor distribuído, para que mais pessoas possam embarcar.
No momento, minha Persona está principalmente sozinha. Eu adoraria se pudesse ter companhia com mais frequência.
Não perca nenhum de nossos conteúdos técnicos imparciais e análises baseadas em laboratório. Adicionar CNET como fonte preferencial do Google.
