3

Caros, não foi a primeira em nem ultima vez que precisei implementar uma rotina automática que acessa um site ou sistema criado na plataforma WebForms para captura de informação.

Tem sido extremamente custoso conseguir fazer qualquer forma de automação para captura e navegação automática neste tipo de aplicação web apenas com WebRequests(C#) e/ou WebClient (C#).

Repare que aqui estou desconsiderando totalmente a possibilidade de usar um InternetExplorer.Application dado que não pretendo usar objetos que dependam de interface para executarem (rodem em servidores, services, etc)

Existe algum modo mais prático que eu não esteja vislumbrando ?

1
  • Não é nas linguagens solicitadas, mas pra quase tudo que eu preciso, faço as requisiçoes http normalmente, simulando os cabeçalhos do browser e armazenando os cookies em variáveis. Tem funcionado muito bem, inclusive pra sites que usam ajax e similares (o segredo é olhar os pontos de entrada das APIs). Para extrair os dados das páginas criei uma simples função extract( &sourcedapagina, stringinicial, stringfinal ) - se eu passar a página por referência, o extraido some da string, bom para extrair dados repetitivos. É na força bruta, mas é rápido e leve.
    – Largato
    Commented 4/04/2014 às 20:10

2 Respostas 2

3

Você também pode utilizar o Selenium com o Selenium Toolkit for .NET.

Assim como o PhantomJs, citado pelo Miguel Angelo, é uma ferramenta de automação de navegadores. Da homepage deles

EN:

Selenium automates browsers. That's it! What you do with that power is entirely up to you.

PT:

Selenium automatiza navegadores. É isto! O que você faz com este poder é completamente por sua conta.

Segue um link com os comandos mais utilizados: http://docs.seleniumhq.org/docs/02_selenium_ide.jsp#commonly-used-selenium-commands

Um exemplo de sua utilização, retirado do SO internacional: https://stackoverflow.com/questions/6187863/sample-tutorial-of-using-selenium-2-0-web-driver-in-net

using OpenQA.Selenium.Firefox;
using OpenQA.Selenium;

class GoogleSuggest
{
    static void Main(string[] args)
    {
        IWebDriver driver = new FirefoxDriver();

        //Notice navigation is slightly different than the Java version
        //This is because 'get' is a keyword in C#
        driver.Navigate().GoToUrl("http://www.google.com/");
        IWebElement query = driver.FindElement(By.Name("q"));
        query.SendKeys("Cheese");
        System.Console.WriteLine("Page title is: " + driver.Title);
        driver.Quit();
    }
}
1
  • +1 o Selenium é realmente bem bacana, já o usei antes, mas nunca em escala de produção. Usava ele para realização de testes de interface dentro da empresa, pois ele é capaz de controlar vários browseres, e nesse contexto isso é uma vantagem. Uma desvantagem é que requer a instalação do browser em separado. Commented 8/04/2014 às 17:57
2

Use o PhantomJs

Você pode usar o PhantomJs para simular um browser, e fazer quase de tudo com ele:

  • tirar screenshots

  • converter página para PDF

  • automação de navegação

  • testes de websites

O projeto usa o código do webkit, e permite fazer várias coisas usando scripts em javascript. Não é necessário ter nenhum navegador instalado.

Para usar no C#

Basta incluir o pacote nuget PhantomJs:

PM> Install-Package PhantomJS

Eu sei que não é nativo do C#, mas será que isso importa realmente. É possível construir robôs de verdade com isso. Inclusive robôs que funcionam em ambiente de produção.

1
  • de fato eu nao conhecia este projeto, parece ser uma saída interessante usar um headless browser. Vou aguardar que outros apresentem mais possíveis soluções! Commented 4/04/2014 às 19:19

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .