Identifica um aplicativo que usa o Machine Learning para identificar objetos

Existem inúmeros novos recursos para aproveitar no iOS 11, mas muitos deles estão disponíveis sob a forma de APIs e exigem aplicativos da App Store para obter o efeito total..

Iryss é um novo aplicativo desenvolvido por Florian Hebrard, mais conhecido pela comunidade jailbreak como Ziph0n, que aproveita a nova API CoreML (Machine Learning) da Apple para reconhecer objetos ao seu redor em tempo real.

Usar o Iryss é tão simples quanto apontar sua câmera para alguma coisa. Em apenas milissegundos, o aplicativo adivinha qual é o objeto no quadro por meio de texto na tela. Como alternativa, você pode configurar o aplicativo para anunciar detecções de objetos em voz alta..

Iryss pode reconhecer objetos animados e inanimados. No caso de animais, o aplicativo é inteligente o suficiente para discernir entre raças ou espécies comuns.

Existem algumas configurações que você pode definir no aplicativo Iryss para que ele funcione da maneira que você deseja:

Aqui, você pode forçar o aplicativo a anunciar o que ele detecta em voz alta, em vez de apenas exibi-lo como texto, e também pode ativar o feedback háptico para indicar uma identificação bem-sucedida do objeto. Como o aplicativo é compatível com anúncios, você também encontrará uma compra no aplicativo nesse painel de preferências para comprar os anúncios.

Então, quão bem o aplicativo funciona? Está tudo bem, mas não é perfeito. Talvez com mais frequência do que você gostaria, o aplicativo identificará incorretamente um objeto como algo que não é. Como um excelente exemplo, essa máquina de chicletes é detectada como um "frasco de comprimidos", provavelmente devido aos pontos coloridos no interior:

Uma coisa que achei um obstáculo significativo à funcionalidade do aplicativo são as más condições fotográficas. Para garantir que você obtenha as leituras mais precisas, recomendo garantir que você tenha as melhores condições de iluminação possíveis e que esteja longe o suficiente de um objeto para que tudo esteja no quadro.

O desenvolvedor me diz que, embora as detecções de objetos não possam estar corretas o tempo todo, elas sempre podem ser melhoradas. Graças à simplicidade do Machine Learning para os desenvolvedores criarem aplicativos dessa natureza, as atualizações regulares do Iryss devem ser capazes de melhorar sua precisão ao longo do tempo.

O Iryss certamente parece um truque para a maioria dos usuários à primeira vista, mas, pensando bem, posso pensar em pelo menos dois usos no mundo real em que o aplicativo pode ser útil, como:

  1. Quando alguém é difícil de ver e precisa do iPhone para vê-lo, Iryss pode fazer anúncios por voz para dizer a essa pessoa o que está ao seu redor.
  2. Quando os pais desejam facilitar a aprendizagem de objetos / nomes para seus filhos desde cedo, a criança pode brincar com Iryss para aprender sobre os objetos ao seu redor e como são chamados.

Para outros usuários, o Iryss é realmente apenas um aplicativo de prova de conceito com o qual você pode brincar por diversão.

Se você está interessado em experimentar o Iryss, é um download gratuito da App Store. É uma ótima maneira de ver do que o Machine Learning é capaz no iOS 11, e você pode esperar que essa API torne possíveis muitos outros aplicativos incríveis no futuro.

Você gosta do conceito por trás do Iryss? Compartilhe seus pensamentos nos comentários abaixo.