A coleta de dados web, ou Web Scraping, é uma forma de mineração que permite a extração de dados de sites da web convertendo-os em informação estruturada para posterior análise. Exponham aqui suas ideias e alternativas mais eficiente para a realização dessa tarefa.
1 Resposta
A melhor forma de se obter dados de um documento é fazendo uso da Classe Regex
. Usando expressões regulares imutáveis para obter os dados desejados podemos realizar consultas em documentos ou até mesmo em uma página-web.
Para demonstração criaremos um programa que obtém a quantidade de votos que sua pergunta recebeu no stackoverflow.
Antes de tudo vamos encontrar no código fonte de nossa página web onde está a quantidade de votos e em seguida criaremos a expressão regular para encontrá-la em qualquer pergunta presente no stackoverflow.
REALIZANDO WEB SCRAPING MANUALMENTE
No navegador Google Chrome clique com o botão direito do mouse no lugar onde deseja obter as informações. Clique em Inspecionar para abrir o Inspecionador de Elementos do navegador.
No inspecionador de elementos clique com o botão direito do mouse e copie o a string do texto desejado.
Como resultado obteremos a seguinte string: <span itemprop="upvoteCount" class="vote-count-post ">0</span>
Podemos atestar que o número correspondente a quantidade de votos na pergunta atualmente é zero (0) e está entre duas Strings.
Primeira String: <span itemprop="upvoteCount" class="vote-count-post ">
Segunda String: </span>
CRIANDO A EXPRESSÃO REGULAR
Com essas informações em mãos agora já podemos desenvolver nossa expressão regular. Para facilitar o nosso trabalho utilizaremos um site para testar nossa expressão em funcionamento.
Abra o site regexstorm.net e cole a nossa string em Input
. Em Pattern
da mesma maneira, substituiremos apenas o número zero pela expressão regular \d+
conforme é possível observar na imagem.
EXPLICANDO AS EXPRESSÃO REGULARES
Expressões regulares são como o próprio nome sugere expressões que sinalizam determinados padrões que se repetem em um texto. Nesse caso usamos a expressão \d
que corresponde a qualquer dígito decimal juntamente com um quantificador +
sinalizando que ele deve pesquisar o elemento decimal anteriormente descrito, uma ou mais vezes. Assim se esse valor viesse a ser incrementado ou decrementado ele não deixaria de ser encontrado.
Para analisarmos o seu funcionamento simularemos o incremento desses dados em Input
e o que podemos atestar no rodapé da pagina na aba Table
é que o Regex
foi capaz de fato de encontrar os diferentes valores na string com sucesso.
Para ler uma lista das expressões regulares disponíveis e obter exemplos de uso das mesmas veja as referencias do Regex.
DESENVOLVENDO NOSSO WEB SCRAPING
Crie um projeto Console Application
com o nome Simple Web Scraping
. Com o intuito de organizar o nosso trabalho criaremos uma pasta em nosso projeto chamada Tools e dentro dela criaremos duas classes: DownloadWebPage.cs
e RegexTools.cs
.
REALIZANDO O DOWNLOAD DE UMA PÁGINA-WEB
A classe DownloadWebPage
será responsável por fazer o download de uma página web e retornar o resultado em uma String. Usaremos a classe WebClient
para baixar a pagina web.
class DownloadWebPageString
{
static public String Run(String _url)
{
try
{
WebClient webClient = new WebClient();
return webClient.DownloadString(_url);
}
catch (Exception)
{
return "Não foi possivel baixar a pagina web.";
}
}
}
OBTENDO DADOS DE UMA STRING USANDO REGEX
A classe RegexTools
será responsável por coletar dados de uma String correspondente a página-web que obteremos posteriormente. Não apenas isso, mas também implementaremos um sistema de substituição de dados para recebermos apenas a informação que de fato desejamos.
Faremos isso através da função Replace
disponível para manipulação de Strings em C#
. A mesma é capaz de substituir um determinado trecho de texto por outra coisa que em nosso caso será simplesmente uma string vazia para a remoção das partes do texto não relevantes.
class RegexTools
{
String text;
public void NewDocument(String _text)
{
text = _text;
}
public String Run(String _regularExpression)
{
var regex = new Regex(_regularExpression);
var match = regex.Match(text);
String resultRegex = match.ToString();
Console.WriteLine(resultRegex);
return resultRegex;
}
public String Run(String _regularExpression, String _replaceClearFirst)
{
var regex = new Regex(_regularExpression);
var match = regex.Match(text);
String resultRegex = match.ToString();
String resultReplaceFirst = resultRegex.Replace(_replaceClearFirst, "");
return resultReplaceFirst;
}
public String Run(String _regularExpression, String _replaceClearFirst, String _replaceClearSecond)
{
var regex = new Regex(_regularExpression);
var match = regex.Match(text);
String resultRegex = match.ToString();
String resultReplaceFirst = resultRegex.Replace(_replaceClearFirst, "");
String resultReplaceSecond = resultReplaceFirst.Replace(_replaceClearSecond, "");
return resultReplaceSecond;
}
}
EXECUTANDO O PROGRAMA
Na classe Program
gerada automaticamente quando criamos nosso projeto adicionaremos ao método Main
presente na mesma, o seguinte código comentado explicando o funcionamento do programa.
static void Main(string[] args)
{
Console.WriteLine("WEB SCRAPING – COMO FAZER COLETA DE DADOS WEB?");
// DEFINIÇÕES DE PESQUISA NO DOCUMENTO
String paginaWeb = DownloadWebPageString.Run("https://pt.stackoverflow.com/questions/302606/");
String regularExpression = "<span itemprop=\"upvoteCount\" class=\"vote-count-post \">\\d+</span>"; // ENCONTRA NA STRING NÚMEROS DECIMAIS USANDO A EXPRESSÃO REGULAR: \d+
String replaceClearFirst = "<span itemprop=\"upvoteCount\" class=\"vote-count-post \">"; // DEFINE O INÍCIO DO TEXTO PARA APAGAR
String replaceClearSecond = "</span>"; // DEFINE O FINAL DO TEXTO PARA APAGAR
// OBTENDO OS DADOS
RegexTools regexTools = new RegexTools();
regexTools.NewDocument(paginaWeb); // CARREGANDO O REGEXTOOLS COM O DOCUMENTO
String countVotes = regexTools.Run(regularExpression, replaceClearFirst, replaceClearSecond); // OBTEMOS A QUANTIDADE DE VOTOS.
Console.WriteLine("Quantidade de votos: " + countVotes);
Console.ReadKey();
}
Agora para compilar o projeto na IDE Visual Studio 2017 clique em ▶ Iniciar
.
Após compilarmos obteremos o resultado da imagem a seguir na tela do Console da Aplicação.
O projeto está disponível para download em meu GitHub: Simple-Web-Scraping
-
1
-
Faça bom uso e quê lhe seja de alguma forma útil algum dia. Estou apenas começando no stackoverflow, espero criar mais conteúdos relevantes em breve. Obrigado @W.Faustino. 👍🏻 Commented 28/05/2018 às 20:14
-
2Vale a pena uma lida em Por que Regex não deve ser utilizado para tratar HTML?.– Largato ♦Commented 30/07 às 15:20