Skip to main content
Bumped by Community user
Bumped by Community user
Bumped by Community user
Bumped by Community user
formatação
Fonte Link
NoobSaibot
  • 9,8mil
  • 6
  • 29
  • 53

Estou fazendo um webcrawlerWebCrawler, no seguinetseguinte fluxo

  1. acessoAcesso uma urlURL de busca
  2. coletoColeto as informações
  3. executoExecuto paginação (aqui esta o erro)

porPor o click pra próxima pagina, recarrega a mesma (ai tentei forçar um wait), mas mesmo assim não funciona de jeito nenhum.

segueSegue um trecho

Puppter.ts

    Puppter.ts

    export class PuppeteerChrome {
    public browser : Promise;
    public page : EventEmitter;

    constructor() {
    }

    async initializeBrowser() {
        this.browser = await puppeteer.launch({ headless: false, ignoreHTTPSErrors: true, args: ['--no-sandbox', '--disable-setuid-sandbox']});
        this.page = await this.browser.newPage();
        this.page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')
        this.page.setViewport({
            width: 1920,
            height: 1080
        });   
    }

    async navigateTo(url) {
        if (!url)
          throw new Error('Missing URL');
          return await this.page.goto(url, {
            waitUntil: 'networkidle',
            timeout: 180000
        });
    }

    destroy() {
        if (this.browser)
          this.browser.close();
    }

    async closeBrowser() {
        return await this.browser.close();
    }

    async pages() {
        return await this.browser.pages();
    }

    async executeScript(jQueryExpression) {
        try {
          const scriptResult = await this.page.evaluate(jQueryExpression);
          return scriptResult;
        } catch (err) {
          console.error(err);
          return {};
        }
    }

    async waitPageLoad() {
        let pageready =  false;
        do {
        let readyState = await this.executeScript('document.readyState;');
        pageready = readyState == 'complete' || readyState == 'interactive';
        } while (!pageready)
        return pageready;
    } }
 

client.ts

     client.ts

    //browser
    this.chrome = new PuppeteerChrome ();

    // Next Page
    await this.chrome.executeScript(scripts["ScriptNextPageBrowser"]);

    // tentztiva 2
     this.chrome.executeScript(scripts["ScriptNextPageBrowser"]).then(() => {
       this.chrome.waitPageLoad();
     });

alguemAlguém tem alguma dica?

Estou fazendo um webcrawler, no seguinet fluxo

  1. acesso uma url de busca
  2. coleto as informações
  3. executo paginação (aqui esta o erro)

por o click pra próxima pagina, recarrega a mesma (ai tentei forçar um wait), mas mesmo assim não funciona de jeito nenhum

segue um trecho

    Puppter.ts

    export class PuppeteerChrome {
    public browser : Promise;
    public page : EventEmitter;

    constructor() {
    }

    async initializeBrowser() {
        this.browser = await puppeteer.launch({ headless: false, ignoreHTTPSErrors: true, args: ['--no-sandbox', '--disable-setuid-sandbox']});
        this.page = await this.browser.newPage();
        this.page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')
        this.page.setViewport({
            width: 1920,
            height: 1080
        });   
    }

    async navigateTo(url) {
        if (!url)
          throw new Error('Missing URL');
          return await this.page.goto(url, {
            waitUntil: 'networkidle',
            timeout: 180000
        });
    }

    destroy() {
        if (this.browser)
          this.browser.close();
    }

    async closeBrowser() {
        return await this.browser.close();
    }

    async pages() {
        return await this.browser.pages();
    }

    async executeScript(jQueryExpression) {
        try {
          const scriptResult = await this.page.evaluate(jQueryExpression);
          return scriptResult;
        } catch (err) {
          console.error(err);
          return {};
        }
    }

    async waitPageLoad() {
        let pageready =  false;
        do {
        let readyState = await this.executeScript('document.readyState;');
        pageready = readyState == 'complete' || readyState == 'interactive';
        } while (!pageready)
        return pageready;
    } }
 
     client.ts

    //browser
    this.chrome = new PuppeteerChrome ();

    // Next Page
    await this.chrome.executeScript(scripts["ScriptNextPageBrowser"]);

    // tentztiva 2
     this.chrome.executeScript(scripts["ScriptNextPageBrowser"]).then(() => {
       this.chrome.waitPageLoad();
     });

alguem tem alguma dica?

Estou fazendo um WebCrawler, no seguinte fluxo

  1. Acesso uma URL de busca
  2. Coleto as informações
  3. Executo paginação (aqui esta o erro)

Por o click pra próxima pagina, recarrega a mesma (ai tentei forçar um wait), mas mesmo assim não funciona de jeito nenhum.

Segue um trecho

Puppter.ts

export class PuppeteerChrome {
public browser : Promise;
public page : EventEmitter;

constructor() {
}

async initializeBrowser() {
    this.browser = await puppeteer.launch({ headless: false, ignoreHTTPSErrors: true, args: ['--no-sandbox', '--disable-setuid-sandbox']});
    this.page = await this.browser.newPage();
    this.page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')
    this.page.setViewport({
        width: 1920,
        height: 1080
    });   
}

async navigateTo(url) {
    if (!url)
      throw new Error('Missing URL');
      return await this.page.goto(url, {
        waitUntil: 'networkidle',
        timeout: 180000
    });
}

destroy() {
    if (this.browser)
      this.browser.close();
}

async closeBrowser() {
    return await this.browser.close();
}

async pages() {
    return await this.browser.pages();
}

async executeScript(jQueryExpression) {
    try {
      const scriptResult = await this.page.evaluate(jQueryExpression);
      return scriptResult;
    } catch (err) {
      console.error(err);
      return {};
    }
}

async waitPageLoad() {
    let pageready =  false;
    do {
    let readyState = await this.executeScript('document.readyState;');
    pageready = readyState == 'complete' || readyState == 'interactive';
    } while (!pageready)
    return pageready;
} }

client.ts

//browser
this.chrome = new PuppeteerChrome ();

// Next Page
await this.chrome.executeScript(scripts["ScriptNextPageBrowser"]);

// tentztiva 2
this.chrome.executeScript(scripts["ScriptNextPageBrowser"]).then(() => {
   this.chrome.waitPageLoad();
});

Alguém tem alguma dica?

Fonte Link
bgsouza
  • 129
  • 8

Ajuda Chrome Puppeteer Paginação

Estou fazendo um webcrawler, no seguinet fluxo

  1. acesso uma url de busca
  2. coleto as informações
  3. executo paginação (aqui esta o erro)

por o click pra próxima pagina, recarrega a mesma (ai tentei forçar um wait), mas mesmo assim não funciona de jeito nenhum

segue um trecho

    Puppter.ts

    export class PuppeteerChrome {
    public browser : Promise;
    public page : EventEmitter;

    constructor() {
    }

    async initializeBrowser() {
        this.browser = await puppeteer.launch({ headless: false, ignoreHTTPSErrors: true, args: ['--no-sandbox', '--disable-setuid-sandbox']});
        this.page = await this.browser.newPage();
        this.page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')
        this.page.setViewport({
            width: 1920,
            height: 1080
        });   
    }

    async navigateTo(url) {
        if (!url)
          throw new Error('Missing URL');
          return await this.page.goto(url, {
            waitUntil: 'networkidle',
            timeout: 180000
        });
    }

    destroy() {
        if (this.browser)
          this.browser.close();
    }

    async closeBrowser() {
        return await this.browser.close();
    }

    async pages() {
        return await this.browser.pages();
    }

    async executeScript(jQueryExpression) {
        try {
          const scriptResult = await this.page.evaluate(jQueryExpression);
          return scriptResult;
        } catch (err) {
          console.error(err);
          return {};
        }
    }

    async waitPageLoad() {
        let pageready =  false;
        do {
        let readyState = await this.executeScript('document.readyState;');
        pageready = readyState == 'complete' || readyState == 'interactive';
        } while (!pageready)
        return pageready;
    } }

     client.ts

    //browser
    this.chrome = new PuppeteerChrome ();

    // Next Page
    await this.chrome.executeScript(scripts["ScriptNextPageBrowser"]);

    // tentztiva 2
     this.chrome.executeScript(scripts["ScriptNextPageBrowser"]).then(() => {
       this.chrome.waitPageLoad();
     });

alguem tem alguma dica?