O artista de código Zach Lieberman aproveitou a nova estrutura ARKit da Apple no iOS 11 para criar um aplicativo de áudio espacial de prova de conceito que pode ser usado para gravar som em realidade aumentada e reproduzi-lo, literalmente, movendo-se através de formas de onda 3D virtuais.
Aqui está um vídeo rápido mostrando isso em ação (certifique-se de ativar o som)
Teste rápido de gravação de som no espaço e reprodução, movendo-se através dele (o vídeo tem áudio!) #Openframeworks pic.twitter.com/GdZcK3rj1L
- zach lieberman (@zachlieberman) 6 de setembro de 2017
Ele o construiu usando o ARKit e o OpenFrameworks, um kit de ferramentas C ++ de código aberto para codificação criativa.
Eu posso ver usos para isso em museus como uma instalação de arte interativa: imagine gravar composições musicais dessa maneira com notas e ritmos ocupando padrões espaciais que as pessoas poderiam reproduzir movendo-se através de formas de onda 3D.
Pode-se até montar uma instalação ou uma pista de ginástica dedicada, onde as pessoas podem correr por um percurso para tocar música pré-gravada. Ou então, que tal uma caçada ao tesouro em realidade aumentada, onde você deve encontrar pistas de áudio por toda a casa?
As possibilidades são infinitas - se você pode fazer áudio espacial com o ARKit, não é demais imaginar palavras de realidade aumentada, tweets, emoji, folhas flutuantes de música e assim por diante.
Aqui estão mais demos do Zach mostrando como o ARKit detecta pontos de objetos em tempo real.
Teste rápido animando os dados da nuvem de pontos pic.twitter.com/34mQvuKXNd
- zach lieberman (@zachlieberman) 1 de setembro de 2017
Mais um pic.twitter.com/5RSFSzSg5N
- zach lieberman (@zachlieberman) 31 de agosto de 2017
É legal olhar para os pontos de recurso e ver o modelo que está construindo (thx @xavitribo) pic.twitter.com/8rqObs8seI
- zach lieberman (@zachlieberman) 31 de agosto de 2017
A demo de Zach lembra a série The Light Barrier, do estúdio Kimchi and Chips, um projeto que cria desenhos volumétricos no ar usando centenas de projeções de vídeo calibradas. Conforme demonstrado no vídeo incorporado abaixo, essas projeções de luz se fundem em um campo de neblina para criar objetos gráficos que se animam através do espaço físico, como acontece com o tempo.
Hoje, mostramos o melhor aplicativo de medição do desenvolvedor Rinat Khanov, chamado MeasureKit, que você pode usar para medir praticamente qualquer coisa - como a altura de uma pessoa, distância a objetos, ângulo entre dois pontos e mais - apontando seu iPhone para objetos.
Como você gosta dessas novas demos do ARKit?
