Você vai ficar completamente engessado se utilizar API's de OCR prontas, não vai ter como grifar muito menos colocar pontos ao redor de uma palavra específica, nada neste sentido será possível, um OCR tem apenas a função de tentar extrair as letras de uma imagem e retornar em modo texto.
Como comentado pelo @LuizVieira o OpenCV vai ser o teu braço direito para este tipo de projeto, você realmente pode treinar cada letra e número do alfabeto para fazer comparações em real-time, este treino tem que possuir escala invariante ou seja não importa o tamanho da fonte, não importa a escala, mesmo assim ele terá que saber de qual letra se trata.
Eu posso te dar os passos básicos de como isso pode ser feito utilizando o OpenCV
para extrair os pixels e sem usar o OpenCV
para treinar
Crie vetores com os padrões de todas as letras e números, você vai
precisar recortar cada letra e número, extraia os pixels de cada um,
use o OpenCV
ele tem funções prontas para extração de pixels, armazene da maneira que achar conveniente.
Agora você tem a base para comparação, você vai querer comparar cada
letra capturada em tempo real com os padrões extraídos, use o
OpenCV
para recortar cada letra de seus textos em tempo real, como
saber onde cada letra começa e termina enquanto você aponta a câmera
do seu celular ? Este algorítimo pode ser feito comparando
horizontalmente cada pixel até encontrar o inicio e fim de cada
letra, estamos falando de algo básico aqui, 99% dos textos estão em
preto com fundo branco (é super importante definir qual é a cor
predominante do fundo do texto, você pode conseguir isso escrevendo
um histograma RGB), ou simplesmente forçar tudo a ficar em preto e branco o que é realmente uma ótima ideia, vamos focar no fundo branco pra caráter de
exemplo, caminhe até o pixel branco acabar marque a posição, neste
ponto vai começar o novo pixel (preto neste caso), caminhe até o
pixel preto acabar marque a posição, isso vai te falar onde recortar
cada letra ou número (inicio e fim), você acabou de
segmentar(separar) letras em tempo real.
- Perfeito recortou a letra do texto, agora extraia os pixels dela,
assim como no primeiro passo feito para construir seu banco.
- Agora compare o que foi extraído do texto com o seu banco de dados,
em álgebra linear tem um conceito chamado espaço linear, neste caso
teremos quais pixels aparecem com mais frequência, é uma maneira
simples que pode ser usada para mensural qual é a letra mais
parecida.
- Monte cada palavra baseado neste rank (quanto maior o cosseno
retornado pelo espaço linear melhor) e surpresa se essa palavra for uma
específica
você terá a posição dela inteira (inicio, fim) e poderá utilizar o OpenCV
novamente para inserir alguma arte desejada já que agora você sabe a posição exata dela dentro do texto.
Eu acabei de descrever uma maneira simples de criar um OCR
, sem utilizar escala invariante
, ao invés de usar espaço linear
você pode treinar cada letra e número usando o OpenCV
, Existe a função SURF no OpenCV
que aplica escala invariante e é mais rápido que o seu antecessor SIFT, o básico o grosso de como tudo funciona é isso ai.