1

Estou usando o código abaixo para acesso e fazer o scrapp dos e-mails que, pelo menos até onde vi, estão em três URLs idênticos que variam apenas o Numconsulta_cadastro=. Ao executar o código abaixo ele consegue pegar os e-mails apenas da primeira página repetindo-os três vezes.

from bs4 import BeautifulSoup
import urllib2
import re
num=0
while num < 3:
strnum = str(num)
html_page = urllib2.urlopen("http://www.fiepb.com.br/industria/pesquisa.php?page=Numconsulta_cadastro="+strnum+"&totalRows_consulta_cadastro=3372&empresa=&cidade=&atividade=&produto=&materiaprima=&classificador=RAZAOSOCIAL&dados=on&Submit=Enviar+Consulta")
num+=1
soup = BeautifulSoup(html_page)
for link in soup.findAll('a', attrs={'href': re.compile("^mailto:")}):
print link.get('href')
3
  • já tentou repetir os links em vez de usar um loop com os valores ? Commented 17/10/2014 às 0:14
  • Olá bigown, obrigado por sua atenção. São 68 links. Como fazer?
    – Alandey
    Commented 17/10/2014 às 13:13
  • Conseguiu resolver seu problema?
    – durtto
    Commented 8/12/2015 às 11:26

1 Resposta 1

0

Entendo sua "pergunta" como: "como posso generalizar o código abaixo?" A versão abaixo simplifica a execução do seu código usando str.format(), um método dos objetos str que permite preencher uma string com qualquer valor, substituindo os pares de chaves com o parâmetro de número informado dentro do par (ex:"{0}").

Você também deveria evitar a estrutura while: counter, em que um loop WHILE é executado enquanto uma variável é incrementada. Seria o equivalente a usar uma Ferrari em um serviço de entrega de pizza: teoricamente possível, mas um belo (e caro) desperdício de recursos. No lugar, utilize a estrutura "for X in range(limit):", em que Python irá gerar todos os elementos entre 0 e limit, armazenar o elemento atual em X, e executar o bloco de codigo seguinte para cada possível valor de X, em ordem.

Por fim, você também deveria definir suas constantes no início do código, facilitando modificar as mesmas no futuro. Isso grandemente facilita a manutenção pois melhora a legibilidade.

from bs4 import BeautifulSoup
import urllib2
import re
WEBSERVICE = "http://www.fiepb.com.br/industria/pesquisa.php"
QUERY_VARIAVEL = "page=Numconsulta_cadastro="
QUERY_CONSTANTE = "&totalRows_consulta_cadastro=3372&empresa=&cidade=&atividade=&produto=&materiaprima=&classificador=RAZAOSOCIAL&dados=on&Submit=Enviar+Consulta"

for email_num in range(3):
    html_page = urllib2.urlopen("{0}?{1}{2}{3}".format(WEBSERVICE,
                                                       QUERY_VARIAVEL,
                                                       email_num,
                                                       QUERY_CONSTANTE))

    soup = BeautifulSoup(html_page)

    for link in soup.findAll('a', attrs={'href': re.compile("^mailto:")}):
        print link.get('href')

PRO tip: de uma olhada no módulo requests :)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .