0

Estou tentando automatizar um processo de obtenção de dados via web usando JS. No meu caso, preciso puxar as informações da página https://sistema.justwebtelecom.com.br/adm.php. No entanto, antes de ir a essa página, precisa-se logar em https://sistema.justwebtelecom.com.br/login.php. Depois que eu já login, ou seja, estou na página .../adm.php .

const request = require('request-promise')
const cheerio = require('cheerio')

const URL2 = 'https://sistema.justwebtelecom.com.br/adm.php'

async function acesso(){
    const response = await request(URL2)

    let $ = cheerio.load(response)
    let title = $('title').text()
    console.log(title)

}
acesso()

No entanto, printando com console.log(title), eu obtenho o título da página https://sistema.justwebtelecom.com.br/login.php, ou seja, antes de logar. Sendo que eu peço o print da página depois de logar e eu tenho acesso ao painel .../adm.php .

Usando o puppeteer:

const puppeteer = require('puppeteer')

const getInfo = async() => {

        const browser = await puppeteer.launch()
        const page = await browser.newPage()
        await page.goto('https://sistema.justwebtelecom.com.br/adm.php')

        const info = await page.evaluate(() => {
            return {
                Tag: document.title
            }
        })
        console.log(info)
        await browser.close()

    }
    getInfo()

Gostaria de saber se tem como eu pegar essas informações da página .../adm.php, com esses pacotes, ou preciso de outros ?

1 Resposta 1

0

Cara, algumas páginas tem redirecionamentos e recaptcha, que é ruim pra qualquer módulo que use, mas acredito que é melhor você fazer o seu webscraping com o módulo puppeteer do node js. Um exemplo de scraping com puppeteer:

const puppeteer = require('puppeteer')

let scrape = async () => {
 const browser = await 
 puppeteer.launch()
 const page = await browser.newPage()
 await page.goto('http://books.toscrape.com/')

const result = await page.evaluate(() => {
const books = []
document.querySelectorAll('section > div > ol > li img')
        .forEach(book => books.push(book.getAttribute('alt')))
return books
})

browser.close()
return result
};
 scrape().then((value) => {
console.log(value)
    })
4
  • Olá DKNS,obrigado pela ajuda. Eu até tentei usar esse puppeteer tb, mas não tive sucesso. Saberia me informar como eu poderia pegar os dados usando ele ? 5/05/2020 às 10:19
  • Os dados seria uma texto em uma pagina ou ... ??
    – user187547
    5/05/2020 às 18:22
  • Isso. Mas a principio eu só quero pegar o título, pq se eu conseguir pegar o título, ai eu consigo pegar o restante das informações da página. 5/05/2020 às 22:20
  • Sugiro dar uma olhada na documentação, irá entender melhor e eles dão exemplo com o códico.
    – user187547
    9/05/2020 às 19:08

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .