3

estou implementando algumas funcionalidades para realizar OCR em imagens e até momento tudo está indo muito bem. O problema é; o OCR funciona bem se a imagem estiver na rotação correta, caso ela esteja de cabeça para baixa ou em rotação de 90° o OCR acaba pegando textos que eu chamaria de lixo, pois não fariam sentido no momento de trabalhar com eles.

Imaginem está imagem: inserir a descrição da imagem aqui

Veja que ela está de cabeça para baixo. Fazer a rotação dela é tranquilo, mas como checar se ela está de cabeça para baixo, para poder rotacioná-la?

17
  • Esses documentos possuem algum padrão? Commented 18/08/2017 às 18:28
  • @JoãoPauloMassa não possuem padrão, o OCR faz a leitura em qualquer imagem Commented 18/08/2017 às 18:37
  • demora muito o processo ? e se lesse... se tiver lixo, roda, lê de novo... até encontrar o correto. Não entendo de OCR, apenas uma sugestão Commented 18/08/2017 às 18:38
  • A leitura não demora, ele lê o texto mesmo estando virado... Mas ai o texto vem algo como SOMAV (ao invés de VAMOS)... @RovannLinhalis também pensei em ficar lendo o texto até ter um acerto maior, mas ai o processamento leva mais tempo e imagine que posso ler mais de 1000 imagens a cada 10 minutos... Commented 18/08/2017 às 18:40
  • Os documentos são gerados por você? Você pode tentar ler algum trecho do documento e ver se ele é algo "válido" como uma data. Commented 18/08/2017 às 19:01

2 Respostas 2

3

As tecnologias OCR mais recentes possuem configurações de rotação automática. A Computer Vision API contém essa configuração por meio da propriedade detectOrientation. De acordo com os testes que fiz essa propriedade por default é true, ou seja, ao realizar a verificação da imagem a API já rotaciona a imagem para capturar as informações.

Atribuindo parametros a requisição:

var requestParameters = "language=pt&detectOrientation=true";

Utilizando a imagem abaixo: inserir a descrição da imagem aqui

Resultado com o detectOrientation igual a true

{
    "language": "pt",
    "textAngle": 0.0,
    "orientation": "Down",
    "regions": [{
        "boundingBox": "5,14,503,202",
        "lines": [{
            "boundingBox": "9,14,498,40",
            "words": [{
                "boundingBox": "9,14,27,32",
                "text": "If"
            }, {
                "boundingBox": "46,22,59,32",
                "text": "you"
            }, {
                "boundingBox": "118,22,59,23",
                "text": "can"
            }, {
                "boundingBox": "191,15,73,31",
                "text": "read"
            }, {
                "boundingBox": "276,15,59,31",
                "text": "this"
            }, {
                "boundingBox": "348,15,70,31",
                "text": "with"
            }, {
                "boundingBox": "431,22,76,31",
                "text": "easy"
            }]
        }, {
            "boundingBox": "5,70,503,37",
            "words": [{
                "boundingBox": "5,77,59,30",
                "text": "you"
            }, {
                "boundingBox": "79,77,52,24",
                "text": "are"
            }, {
                "boundingBox": "143,70,131,31",
                "text": "twisted!"
            }, {
                "boundingBox": "296,70,67,32",
                "text": "And"
            }, {
                "boundingBox": "378,70,79,32",
                "text": "have"
            }, {
                "boundingBox": "470,77,38,24",
                "text": "an"
            }]
        }, {
            "boundingBox": "10,124,493,34",
            "words": [{
                "boundingBox": "10,132,156,26",
                "text": "awesome"
            }, {
                "boundingBox": "179,125,105,33",
                "text": "talent!"
            }, {
                "boundingBox": "310,124,71,32",
                "text": "This"
            }, {
                "boundingBox": "391,126,27,30",
                "text": "is"
            }, {
                "boundingBox": "432,125,71,31",
                "text": "both"
            }]
        }, {
            "boundingBox": "15,175,485,41",
            "words": [{
                "boundingBox": "15,175,175,34",
                "text": "backwards"
            }, {
                "boundingBox": "204,178,59,32",
                "text": "and"
            }, {
                "boundingBox": "278,179,108,37",
                "text": "upside"
            }, {
                "boundingBox": "399,179,101,30",
                "text": "down!"
            }]
        }]
    }]
}

Agora o mesmo teste setando o valor da propriedade para false

var requestParameters = "language=pt&detectOrientation=false";

Resultado com o detectOrientation igual a false

{
    "language": "pt",
    "textAngle": 0.0,
    "orientation": "NotDetected",
    "regions": [{
        "boundingBox": "4,15,503,202",
        "lines": [{
            "boundingBox": "12,15,485,41",
            "words": [{
                "boundingBox": "12,22,101,30",
                "text": "-iUMOP"
            }, {
                "boundingBox": "126,15,108,37",
                "text": "ap!Sdn"
            }, {
                "boundingBox": "249,21,59,32",
                "text": "pue"
            }, {
                "boundingBox": "322,22,175,34",
                "text": "sp]ewpeq"
            }]
        }, {
            "boundingBox": "9,73,493,33",
            "words": [{
                "boundingBox": "9,75,71,31",
                "text": "l.poq"
            }, {
                "boundingBox": "94,75,27,30",
                "text": "s!"
            }, {
                "boundingBox": "346,73,156,26",
                "text": "awosame"
            }]
        }, {
            "boundingBox": "4,124,503,37",
            "words": [{
                "boundingBox": "4,130,38,24",
                "text": "ue"
            }, {
                "boundingBox": "149,129,67,32",
                "text": "puv"
            }, {
                "boundingBox": "238,130,131,31",
                "text": "ipaF!Ma"
            }, {
                "boundingBox": "381,130,52,24",
                "text": "ae"
            }, {
                "boundingBox": "448,124,59,30",
                "text": "noÁ"
            }]
        }, {
            "boundingBox": "5,177,498,40",
            "words": [{
                "boundingBox": "5,178,76,31",
                "text": "Ásea"
            }, {
                "boundingBox": "94,185,70,31",
                "text": "qa!M"
            }, {
                "boundingBox": "248,185,73,31",
                "text": "pea]"
            }, {
                "boundingBox": "335,186,59,23",
                "text": "ueo"
            }, {
                "boundingBox": "407,177,59,32",
                "text": "noÁ"
            }, {
                "boundingBox": "476,185,27,32",
                "text": "JI"
            }]
        }]
    }]
}

Aqui você pode visualizar as propriedades e realizar testes utilizando a Ocp-Apim-Subscription-Key.

Utilizei para o meu teste o exemplo disponibilizado aqui.

Realizei também o teste com a sua imagem, na minha opinião funcionou como esperado, porém a distribuição dos textos não ajudam. (Não coloquei o Json todo porque passou do limite de caracteres de uma resposta)

{
"language": "pt",
"textAngle": 0.0,
"orientation": "Down",
"regions": [{
    "boundingBox": "1113,32,57,20",
    "lines": [{
        "boundingBox": "1113,32,57,20",
        "words": [{
            "boundingBox": "1113,32,57,20",
            "text": "-Dep-"
        }]
    }]
}, {
    "boundingBox": "198,59,228,18",
    "lines": [{
        "boundingBox": "198,59,228,18",
        "words": [{
            "boundingBox": "198,61,47,16",
            "text": "Nome"
        }, {
            "boundingBox": "257,60,24,17",
            "text": "do"
        }, {
            "boundingBox": "296,59,130,18",
            "text": "Funcionario"
        }]
    }]
}, {
    "boundingBox": "572,58,129,22",
    "lines": [{
        "boundingBox": "572,58,129,22",
        "words": [{
            "boundingBox": "572,58,129,22",
            "text": "Cargo-Nivel"
        }]
    }]
}, {
    "boundingBox": "777,33,319,94",
    "lines": [{
        "boundingBox": "1017,33,58,20",
        "words": [{
            "boundingBox": "1017,33,58,20",
            "text": "Carga"
        }]
    }, {
        "boundingBox": "1005,57,82,17",
        "words": [{
            "boundingBox": "1005,57,82,17",
            "text": "Horaria"
        }]
    }, {
        "boundingBox": "777,107,319,20",
        "words": [{
            "boundingBox": "777,108,34,17",
            "text": "054"
        }, {
            "boundingBox": "825,107,190,18",
            "text": "GLES-L.4.620-FMS"
        }, {
            "boundingBox": "1030,107,66,20",
            "text": "111,11"
        }]
    }]
}, {
    "boundingBox": "1363,29,106,47",
    "lines": [{
        "boundingBox": "1364,29,105,18",
        "words": [{
            "boundingBox": "1364,29,57,18",
            "text": "Total"
        }, {
            "boundingBox": "1435,29,34,17",
            "text": "das"
        }]
    }, {
        "boundingBox": "1363,56,106,20",
        "words": [{
            "boundingBox": "1363,56,106,20",
            "text": "Vantagens"
        }]
    }]
}, {
    "boundingBox": "66,60,1430,1191",
    "lines": [{
        "boundingBox": "66,60,106,18",
        "words": [{
            "boundingBox": "66,60,106,18",
            "text": "Matricula"
        }]
    }, {
        "boundingBox": "1401,180,70,21",
        "words": [{
            "boundingBox": "1401,180,70,21",
            "text": "302,36"
        }]
    }]
}
2
  • Estou nesta linha também, por enquanto vem dando certo (mesmo a documentação indicando apenas 30°) ela esta lendo bem o que está sendo preciso. Obrigado pela contribuição, foi de grande ajuda nossa discussão! Commented 21/08/2017 às 17:37
  • @ThiagoAraújo, Tmj :D Commented 21/08/2017 às 17:45
1

Se a imagem conter o padrão EXIF você consegue identificar e rotacionar se necessário.

O EXIF (Exchangeable Image File Format) é um padrão especificado e seguido pelos fabricantes de câmaras digitais que gravam informações sobre as características técnicas da captura de determinada imagem em formato JPG ou TIFF.

Pegando uma imagem que contem o EXIF atraves de uma URL:

WebClient wc = new System.Net.WebClient();
byte[] bytes = wc.DownloadData("https://github.com/recurser/exif-orientation-examples/blob/master/Portrait_3.jpg?raw=true");
MemoryStream ms = new MemoryStream(bytes);
System.Drawing.Image img = System.Drawing.Image.FromStream(ms);

Pegando a orietanção e rotacionando:

int idOrientacao = 0x0112; // id da propridade que contem a orientação, 247 hex.
if (img.PropertyIdList.Contains(idOrientacao)) { // verificando se a imagem possui a propridade que contem a informação da orientação, imagens sem EXIF não possuem.
    int valorOrientacao =  (int) img.GetPropertyItem(idOrientacao).Value[0]; // valor que representa a orientação da imagem, tabela explicava logo abaixo.
    switch (valorOrientacao) {
            case 1:
                // Não precisa rotacionar
                break;
            case 2:
                img.RotateFlip(RotateFlipType.RotateNoneFlipX);
                break;
            case 3:
                img.RotateFlip(RotateFlipType.Rotate180FlipNone);
                break;
            case 4:
                img.RotateFlip(RotateFlipType.Rotate180FlipX);
                break;
            case 5:
                img.RotateFlip(RotateFlipType.Rotate90FlipX);
                break;
            case 6:
                img.RotateFlip(RotateFlipType.Rotate90FlipNone);
                break;
            case 7:
                img.RotateFlip(RotateFlipType.Rotate270FlipX);
                break;
            case 8:
                img.RotateFlip(RotateFlipType.Rotate270FlipNone);
                break;
        }
    // Aqui você remove a propridade que contem a orientação, já que ela foi alterada.
    img.RemovePropertyItem(idOrientacao);
}

Valores possíveis para a variavel valorOrientação: documentação aqui.

Opções de rotação: documentação aqui.

2
  • As imagens que faço a leitura são .png ou .jpg, se eu converter elas para EXIF elas vão passar a ter estas propriedades? Commented 18/08/2017 às 20:21
  • Vai ter a propriedade, mas na conversão não é identificado o tipo de rotação, vai vir como se não estivesse rotacionado. Commented 18/08/2017 às 22:46

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .