3

A coleta de dados web, ou Web Scraping, é uma forma de mineração que permite a extração de dados de sites da web convertendo-os em informação estruturada para posterior análise. Exponham aqui suas ideias e alternativas mais eficiente para a realização dessa tarefa.

0

1 Resposta 1

8

A melhor forma de se obter dados de um documento é fazendo uso da Classe Regex. Usando expressões regulares imutáveis para obter os dados desejados podemos realizar consultas em documentos ou até mesmo em uma página-web.

Para demonstração criaremos um programa que obtém a quantidade de votos que sua pergunta recebeu no stackoverflow.

Print - Votos

Antes de tudo vamos encontrar no código fonte de nossa página web onde está a quantidade de votos e em seguida criaremos a expressão regular para encontrá-la em qualquer pergunta presente no stackoverflow.

REALIZANDO WEB SCRAPING MANUALMENTE

No navegador Google Chrome clique com o botão direito do mouse no lugar onde deseja obter as informações. Clique em Inspecionar para abrir o Inspecionador de Elementos do navegador.

Como abrir o Inspecionador de Elementos

No inspecionador de elementos clique com o botão direito do mouse e copie o a string do texto desejado.

Copie o a string do trecho de texto desejado

Como resultado obteremos a seguinte string: <span itemprop="upvoteCount" class="vote-count-post ">0</span>

Podemos atestar que o número correspondente a quantidade de votos na pergunta atualmente é zero (0) e está entre duas Strings.
Primeira String: <span itemprop="upvoteCount" class="vote-count-post ">
Segunda String: </span>

CRIANDO A EXPRESSÃO REGULAR

Com essas informações em mãos agora já podemos desenvolver nossa expressão regular. Para facilitar o nosso trabalho utilizaremos um site para testar nossa expressão em funcionamento.

Abra o site regexstorm.net e cole a nossa string em Input. Em Pattern da mesma maneira, substituiremos apenas o número zero pela expressão regular \d+ conforme é possível observar na imagem.

Regexstorm.net

EXPLICANDO AS EXPRESSÃO REGULARES

Expressões regulares são como o próprio nome sugere expressões que sinalizam determinados padrões que se repetem em um texto. Nesse caso usamos a expressão \d que corresponde a qualquer dígito decimal juntamente com um quantificador + sinalizando que ele deve pesquisar o elemento decimal anteriormente descrito, uma ou mais vezes. Assim se esse valor viesse a ser incrementado ou decrementado ele não deixaria de ser encontrado.

Para analisarmos o seu funcionamento simularemos o incremento desses dados em Input e o que podemos atestar no rodapé da pagina na aba Table é que o Regex foi capaz de fato de encontrar os diferentes valores na string com sucesso.

Exemplo de Regex

Para ler uma lista das expressões regulares disponíveis e obter exemplos de uso das mesmas veja as referencias do Regex.

DESENVOLVENDO NOSSO WEB SCRAPING

Crie um projeto Console Application com o nome Simple Web Scraping. Com o intuito de organizar o nosso trabalho criaremos uma pasta em nosso projeto chamada Tools e dentro dela criaremos duas classes: DownloadWebPage.cs e RegexTools.cs.

Print do Gerenciador de Soluções

REALIZANDO O DOWNLOAD DE UMA PÁGINA-WEB

A classe DownloadWebPage será responsável por fazer o download de uma página web e retornar o resultado em uma String. Usaremos a classe WebClient para baixar a pagina web.

class DownloadWebPageString
{
    static public String Run(String _url)
    {
        try
        {
            WebClient webClient = new WebClient();
            return webClient.DownloadString(_url);
        }
        catch (Exception)
        {
            return "Não foi possivel baixar a pagina web.";
        }
    }

}

OBTENDO DADOS DE UMA STRING USANDO REGEX

A classe RegexTools será responsável por coletar dados de uma String correspondente a página-web que obteremos posteriormente. Não apenas isso, mas também implementaremos um sistema de substituição de dados para recebermos apenas a informação que de fato desejamos.

Faremos isso através da função Replace disponível para manipulação de Strings em C#. A mesma é capaz de substituir um determinado trecho de texto por outra coisa que em nosso caso será simplesmente uma string vazia para a remoção das partes do texto não relevantes.

class RegexTools
{
    String text;

    public void NewDocument(String _text)
    {
        text = _text;
    }

    public String Run(String _regularExpression)
    {
        var regex = new Regex(_regularExpression);
        var match = regex.Match(text);
        String resultRegex = match.ToString();
        Console.WriteLine(resultRegex);
        return resultRegex;
    }

    public String Run(String _regularExpression, String _replaceClearFirst)
    {
        var regex = new Regex(_regularExpression);
        var match = regex.Match(text);
        String resultRegex = match.ToString();
        String resultReplaceFirst = resultRegex.Replace(_replaceClearFirst, "");

        return resultReplaceFirst;
    }

    public String Run(String _regularExpression, String _replaceClearFirst, String _replaceClearSecond)
    {
        var regex = new Regex(_regularExpression);
        var match = regex.Match(text);
        String resultRegex = match.ToString();
        String resultReplaceFirst = resultRegex.Replace(_replaceClearFirst, "");
        String resultReplaceSecond = resultReplaceFirst.Replace(_replaceClearSecond, "");

        return resultReplaceSecond;
    }
}

EXECUTANDO O PROGRAMA

Na classe Program gerada automaticamente quando criamos nosso projeto adicionaremos ao método Main presente na mesma, o seguinte código comentado explicando o funcionamento do programa.

static void Main(string[] args)
    {
        Console.WriteLine("WEB SCRAPING – COMO FAZER COLETA DE DADOS WEB?");
        // DEFINIÇÕES DE PESQUISA NO DOCUMENTO
        String paginaWeb = DownloadWebPageString.Run("https://pt.stackoverflow.com/questions/302606/");
        String regularExpression = "<span itemprop=\"upvoteCount\" class=\"vote-count-post \">\\d+</span>"; // ENCONTRA NA STRING NÚMEROS DECIMAIS USANDO A EXPRESSÃO REGULAR: \d+ 
        String replaceClearFirst = "<span itemprop=\"upvoteCount\" class=\"vote-count-post \">"; // DEFINE O INÍCIO DO TEXTO PARA APAGAR
        String replaceClearSecond = "</span>"; // DEFINE O FINAL DO TEXTO PARA APAGAR

        // OBTENDO OS DADOS
        RegexTools regexTools = new RegexTools();
        regexTools.NewDocument(paginaWeb); // CARREGANDO O REGEXTOOLS COM O DOCUMENTO            
        String countVotes = regexTools.Run(regularExpression, replaceClearFirst, replaceClearSecond); // OBTEMOS A QUANTIDADE DE VOTOS.
        Console.WriteLine("Quantidade de votos: " + countVotes);
        Console.ReadKey();
    }

Agora para compilar o projeto na IDE Visual Studio 2017 clique em ▶ Iniciar. Compilar no Visual Studio 2017

Após compilarmos obteremos o resultado da imagem a seguir na tela do Console da Aplicação.

Resultado

O projeto está disponível para download em meu GitHub: Simple-Web-Scraping

3

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .