11

Tenho essa imagem abaixo. Como podem ver, elas estão juntas. No caso desta, é um "7", "h" e "a". É possível fazer um rastreio pela imagem para encontrá-las e depois cortá-las onde exatamente as encontrou?

inserir a descrição da imagem aqui

Estou usando a biblioteca OpenCV, OCR e Tesseract no Java. Já procurei algo a respeito como o findcontours, convexHull... mas não obtive o resultado que quero.

8
  • Muito me interessa uma resposta para isso! Algum tempo atrás tive que implementar uma importação de dados e o que quebrava era justamente esse token de segurança! De forma paliativa (resolveu o meu problema) apresentei essa imagem para o usuário do meu sistema digitar. Commented 7/08/2017 às 18:07
  • 5
    Esse tipo de imagem foi produzida dessa forma com o exato propósito de que você não conseguisse fazer o que você quer fazer. Aparentemente, o sistema que a gerou atingiu seu objetivo. Commented 7/08/2017 às 18:41
  • Na verdade, essa imagem eu mesmo que montei em Photoshop.
    – L.Th
    Commented 8/08/2017 às 13:43
  • Prezados, e a todos que vierem me perguntar a mesma coisa. Meu interesse é apenas acadêmico, Estou estudando essas bibliotecas a um tempo, e estou testando todos os métodos que as mesmas podem me oferecer
    – L.Th
    Commented 9/08/2017 às 12:49
  • Esse é justamente o principal propósito dos CAPTCHAS: Não permitir que uma máquina (ou algoritmo de processamento) seja capaz de decifra-los. Porém, existem algumas técnicas baseadas em "Human-Based Computing" e "Inteligência Artificial" que se mostraram bem eficientes para a solucionar o problema. De toda forma, a resposta para a sua pergunta ainda é um grande desafio.
    – Lacobus
    Commented 9/08/2017 às 14:11

1 Resposta 1

2

Esse problema é tipico de um OCR. Conhecido como segmentação de caracteres (char segmentation algorithms, se você procurar no google), esse problema é estudado desde os anos 50.

No geral, o algoritmo que tanto o tesseract e o ocropus usam (os 2 mais conhecidos OCRs opensources) faz o seguinte:

  1. Encontra os componentes conectados - Varre a imagem e encontra todos os pixels que tem vizinhos. Assim os caracteres que não grudam entre si podem ser facilmente separados.

  2. Para cada componente conectado, calcula uma caixa que enquadra todos os pixels do componente (bounding box).

Só que, como você citou, esse algoritmo falha em 2 casos. Quando os caracteres grudam e quando um carácter se quebra em 2.

Para resolver esse problema, os ocrs usam uma técnica chamada Seam Carving. Em termos gerais, é um algoritmo que calcula um caminho que gaste menos "energia", ou passe por menos obstáculos. No caso da segmentação de caracteres, um caminho com menos obstaculos é um caminho vertical que menos encoste no contorno do caracter.

Por exemplo, imaginemos que temos a seguinte imagem:

Flight Engineer

Os caminhos com menos obstáculos são os seguintes:

inserir a descrição da imagem aqui

Nessa imagem, os possíveis cortes estão em preto na frase e na parte de baixo um gráfico mostrando a quantidade de obstáculos calculado pelo algoritmo para cada coluna de pixels.

O resultado desse algoritmo não são os cortes em si, mas sim as possibilidades de corte. Alguns estão certos e outros não. A próxima etapa do OCR se propõe a resolver esse problema.

Nessa etapa, o OCR gera varias possibilidades de recorte, juntando ou separando os segmentos encontrados, como na imagem abaixo:

inserir a descrição da imagem aqui

Isso gera dezenas de possibilidades para o OCR. Mas como o OCR sabe qual é o recorte correto? Simples, ele joga cada possibilidade em um reconhecedor de caracteres, que vai retornar um grau de confiança daquele recorte ser uma letra.

O OCR então pega todos os recortes no qual a soma dos graus de confiança seja a maior possível.

PS: Eu não vou detalhar cada algoritmo aqui, porque daria um post de 5 mil palavras, mas você pode estudar todos esses algoritmos implementados no OCRopus.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .