É um campo novo quem vem ganhando espaço chamado de Realidade Aumentada:
Azuma define a realidade aumentada como um sistema que:
- combina elementos virtuais com o ambiente real;
- é interativa e tem processamento em tempo real;
- é concebida em três dimensões.
Com o grande poder de processamento e memória crescendo exponencialmente em dispositivos móveis iterações entre ambiente real e virtual por câmera/áudio é uma realidade, vide Pokemon Go
, claro é um game utilizando o poder de processamento do seu smart phone para construir em tempo real combinações de elementos reais(imagens da sua câmera) com elementos virtuais("bichinhos" que parecem estar na sua frente quando você olha as imagens geradas pela câmera).
A Realidade Aumentada é um conceito, a linguagem pra fazer isso pode ser qualquer uma, claro no caso de Pokemon Go, e aplicativos para celulares Android, a maioria é escrita em java
combinando códigos C/C++
com o JNI
(Java Native Interface).
O Exemplo que você deu sobre o APP que consegue traduzir palavras e frases em tempo real apontando o celular possui alguns passos, parece mágica, mas não é, se você se dedicar você pode construir um protótipo desse tipo de algoritmo usando o seu smart phone, anote a receita:
Você precisa aprender sobre processamento de imagens
Álgebra linear(cálculo básico sobre dimensões x,y,z)
Aprenda linguagem C
para escrever os códigos que identifique OCR(Optical
Character Recognition), simmmm é claro que você vai precisar
segmentar cada palavra/frase/letra, você só vai conseguir isso
desenvolvendo um OCR que terá a função de extrair as letras de uma imagem/camera e retornar em modo texto, essa é uma parte complexa do código, geralmente é
escrito em C
para ganhar desempenho, você pode usar uma biblioteca
chamada OpenCV
, ela possui muitas funções prontas para trabalhar com
processamento de imagens, quer saber em detalhes como construir um
OCR
? os passos estão nesta minha resposta ou aqui, se precisar de algo mais prático escrevi um código com algum conceito sobre como separar cada letra usando python aqui
Aprenda linguagem Java(android)
Aprenda como integrar códigos C
com Java usando JNI
Treinar uma grande base de dados utilizando todo o alfabeto com
diferente tipos de fonte (você quer que o seu algoritmo seja robusto ?
quer que ele consiga ler e identificar a maior quantidade de fontes
né? Arial/italic/times new roman/etc, etc, etc)
Dicionário para traduzir cada palavra convertida em texto ( ou seja
você vai basicamente precisar de um tradutor de palavras/frases)
Após você ter capturado o texto e traduzido, você agora vai precisar
substituir o texto original com o novo texto, você sabe quais são as
coordenadas no plano que a sua câmera está capturando, certamente
você deve ter guardado as posições x,y,z no momento que segmentou a
palavra/frase utilizando o OCR
agora vc só tem que sobrepor a frase
original pela frase traduzida... Pronto lol
Claro que é complexo rsrs, mas os passos estão ai ...