Pintura a dedo e escultura 3D em realidade aumentada com ARKit

Muitos leitores do iDownloadBlog realmente gostaram da demonstração de pedidos de alimentos de ontem, que processa alimentos virtuais em um prato, por isso estamos apresentando outro caso de uso novo para o novo quadro ARKit da Apple: pintura a dedo e escultura em objetos 3D através da realidade aumentada.

O desenvolvedor Fabin Rasheed montou um aplicativo chamado Maker Studio que permite esculpir e pintar objetos 3D com o dedo ou o Apple Pencil em um iPad Pro, tudo em realidade aumentada.

Se desejar, você pode se inscrever para a versão beta e atualizações através do site oficial.

"Este é meu trabalho recente explorando escultura e pintura usando o ARKit", ele escreveu. “Foi uma beleza usar o Apple Pencil para esculpir e pintar e o ARKit deu uma perspectiva a ele.”

Não tenho certeza de quão prática é a modelagem 3D em realidade aumentada, mas a demonstração parece divertida.

Um artista 3D pode usar uma plataforma completa de modelagem e pintura do ARKit para visualizar praticamente qualquer coisa. Os arquitetos podiam modelar facilmente extensões para edifícios pré-existentes, os designers podiam vestir modelos virtuais em suas roupas mais recentes e assim por diante.

Outra demonstração vem do desenvolvedor Osama Abdel-Karim, que criou seu aplicativo usando uma combinação das estruturas ARKit e Vision do iOS 11 para criar o efeito de pintura a dedo.

De acordo com Osama:

Uma das bibliotecas legais que a Apple introduziu no iOS 11 é o Vision Framework. Ele fornece algumas técnicas de visão computacional de uma maneira bastante prática e eficiente. Em particular, vamos usar a técnica de rastreamento de objetos.

O rastreamento de objetos funciona da seguinte maneira: Primeiro, fornecemos uma imagem e coordenadas de um quadrado dentro dos limites da imagem para o objeto que queremos rastrear. Depois disso, chamamos alguma função para inicializar o rastreamento. Por fim, alimentamos uma nova imagem na qual a posição desse objeto mudou e o resultado da análise da operação anterior.

Dado isso, ele retornará para nós a nova localização do objeto.

A Apple provavelmente apresentará aplicativos baseados em ARKit em uma seção especial na App Store.

A empresa disse que os aplicativos ARKit exigirão um iPhone ou iPad com o processador A9, A10 ou posterior, o que significa que os proprietários do iPhone 6, iPad Air 2 e dispositivos mais antigos serão deixados de fora no frio.