0

Estou fazendo um WebCrawler, no seguinte fluxo

  1. Acesso uma URL de busca
  2. Coleto as informações
  3. Executo paginação (aqui esta o erro)

Por o click pra próxima pagina, recarrega a mesma (ai tentei forçar um wait), mas mesmo assim não funciona de jeito nenhum.

Segue um trecho

Puppter.ts

export class PuppeteerChrome {
public browser : Promise;
public page : EventEmitter;

constructor() {
}

async initializeBrowser() {
    this.browser = await puppeteer.launch({ headless: false, ignoreHTTPSErrors: true, args: ['--no-sandbox', '--disable-setuid-sandbox']});
    this.page = await this.browser.newPage();
    this.page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')
    this.page.setViewport({
        width: 1920,
        height: 1080
    });   
}

async navigateTo(url) {
    if (!url)
      throw new Error('Missing URL');
      return await this.page.goto(url, {
        waitUntil: 'networkidle',
        timeout: 180000
    });
}

destroy() {
    if (this.browser)
      this.browser.close();
}

async closeBrowser() {
    return await this.browser.close();
}

async pages() {
    return await this.browser.pages();
}

async executeScript(jQueryExpression) {
    try {
      const scriptResult = await this.page.evaluate(jQueryExpression);
      return scriptResult;
    } catch (err) {
      console.error(err);
      return {};
    }
}

async waitPageLoad() {
    let pageready =  false;
    do {
    let readyState = await this.executeScript('document.readyState;');
    pageready = readyState == 'complete' || readyState == 'interactive';
    } while (!pageready)
    return pageready;
} }

client.ts

//browser
this.chrome = new PuppeteerChrome ();

// Next Page
await this.chrome.executeScript(scripts["ScriptNextPageBrowser"]);

// tentztiva 2
this.chrome.executeScript(scripts["ScriptNextPageBrowser"]).then(() => {
   this.chrome.waitPageLoad();
});

Alguém tem alguma dica?

1
  • um paliativo foi fazer ``` await this.chrome.waitFor(4000); await this.chrome.executeScript(scripts["ScriptNextPageBrowser"]) .then(() => {this.chrome.waitPageLoad()}, (err) => {nextPage = false; throw new Error("no page next")}) .catch(() => {nextPage = false; throw new Error("no page next")}); ```
    – bgsouza
    Commented 18/01/2018 às 21:10

1 Resposta 1

0

Acabei resolvendo com um waitforTimeout() após a execução do clique.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .