2

Estou precisando baixar o conteúdo de um site. Fiz um código em python 3.5. Quando eu o rodo apenas para uma única pagina o código funciona muito bem porém quando eu o coloco em um loop ou função ele dá erro.

O código como função é o seguinte:

from bs4 import BeautifulSoup
from selenium import webdriver
import html2text


def getPEP(strg):
    driver = webdriver.Firefox()
    driver.page_source = driver.get(strg)
    html = driver.page_source
    driver.close()
    text=html2text.html2text(html)
    return(text);

def salva():
    peps = open('PEP.txt', 'r')
    lines = tuple(peps)
    peps.close()
    for i in range(1):
        strg=lines[i].replace('\n','') 
        print(strg + '\n')
        str(strg)
        getPEP(strg)
        start = '#  '
        end = ', \n\n[ ![Join us on'
        cleaned=(text.split(start))[1].split(end)[0]
        file = open(str(i)+'.txt', 'w')
        file.write(cleaned.replace(' ** ','').replace('**',''))
        file.close()
        print('arquivo ' + str(i) + 'gravado com sucesso' )
    return;

salva()

Quando eu coloco apenas na linha de comando como a seguinte:

>>> strg='http://www.mtsamples.com/site/pages/sample.asp?type=3-Allergy%20/%20Immunology&sample=386-Allergic%20Rhinitis, Allergic Rhinitis'
>>> driver = webdriver.Firefox()
>>> driver.page_source = driver.get(strg)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: can't set attribute
>>> html = driver.page_source
>>> driver.close()
>>> text=html2text.html2text(html)

Por mais que retorne esse erro eu ainda consigo recuperar o texto do site. agora quando eu coloco como função:

>>> def getPEP(strg):
...     driver = webdriver.Firefox()
...     driver.page_source = driver.get(strg)
...     html = driver.page_source
...     driver.close()
...     text=html2text.html2text(html)
...     return(text);
... 
>>> text=getPEP()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: getPEP() missing 1 required positional argument: 'strg'

Então o programa para no erro e não retorna o texto que eu preciso! Alguém pode me ajudar?


A fucao getPEP() funcionou, obrigada! Agora o meu código está assim:

from bs4 import BeautifulSoup
from selenium import webdriver
import html2text



# driver.page_source = driver.get())#
def getPEP(strg):
    driver = webdriver.Firefox()
    driver.get(strg)
    html = driver.page_source
    driver.close()
    text=html2text.html2text(html)
    return(text);

def salva(arqv):
    peps = open(arqv, 'r')
    lines = tuple(peps)
    peps.close()
    for i in range(len(lines)):
        strg=lines[i].replace('\n','') 
        text=getPEP(strg)
        start = '#  '
        end = ', \n\n[ ![Join us on'
        cleaned=(text.split(start))[1].split(end)[0]
        file = open(str(i)+'.txt', 'w')
        file.write(cleaned.replace(' ** ','').replace('**',''))
        file.close()
        print('arquivo ' + str(i) + 'gravado com sucesso' )
    return;

getPEP('PEP.txt')

A função getPEP(strg) esta funcionando perfeitamente, obrigada! Porám quando chamo a função salva(arqv) que era para ler as urls que eu quero baixar, coletar o texto que eu quero salvar por meio da função getPEP(strg) e gravar em um arquivo, está dando o seguinte erro:

Traceback (most recent call last):
  File "crawlerPEP.py", line 35, in <module>
    getPEP('PEP.txt')
  File "crawlerPEP.py", line 10, in getPEP
    driver.get(strg)
  File "/home/angelica/Documents/PyEnv3/lib/python3.5/site-packages/selenium/webdriver/remote/webdriver.py", line 248, in get
    self.execute(Command.GET, {'url': url})
  File "/home/angelica/Documents/PyEnv3/lib/python3.5/site-packages/selenium/webdriver/remote/webdriver.py", line 236, in execute
    self.error_handler.check_response(response)
  File "/home/angelica/Documents/PyEnv3/lib/python3.5/site-packages/selenium/webdriver/remote/errorhandler.py", line 192, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: Target URL PEP.txt is not well-formed.
Stacktrace:
    at FirefoxDriver.prototype.get (file:///tmp/tmpiag201lm/extensions/[email protected]/components/driver-component.js:10636)
    at DelayedCommand.prototype.executeInternal_/h (file:///tmp/tmpiag201lm/extensions/[email protected]/components/command-processor.js:12661)
    at DelayedCommand.prototype.executeInternal_ (file:///tmp/tmpiag201lm/extensions/[email protected]/components/command-processor.js:12666)
    at DelayedCommand.prototype.execute/< (file:///tmp/tmpiag201lm/extensions/[email protected]/components/command-processor.js:12608)

1 Resposta 1

2
>>> driver = webdriver.Firefox()
>>> driver.page_source = driver.get(strg)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: can't set attribute

O erro indica que não foi possível definir um atributo, page_source é usado para retornar o conteúdo da página, você não pode sobrescrevê-lo. Coloque o resultado em uma variável:

>>> driver = webdriver.Firefox()
>>> driver.get(strg)
>>> conteudo = driver.page_source

O segundo erro:

>>> text=getPEP()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: getPEP() missing 1 required positional argument: 'strg'

A função getPEP espera um argumento, que neste caso é a URL que você quer obter o conteúdo. Passe a URL para a função:

>>> strg = 'http://www.mtsamples.com/site/pages/......'
>>> text = getPEP(strg)

A função getPEP deve ficar assim:

>>> def getPEP(strg):
...     driver = webdriver.Firefox()
...     driver.get(strg)
...     html = driver.page_source
...     driver.close()
...     text = html2text.html2text(html)
...     return (text)
4
  • Obrigada! Agora esta apresentando outro erro coloquei na pergunta acima poderia me ajudar novamente? Commented 20/09/2016 às 18:42
  • @user2535338 Você está passando o nome do arquivo para getPEP (ele pede uma URL), não era para usar a função salva? assim: salva('PEP.txt').
    – stderr
    Commented 20/09/2016 às 18:58
  • Sao varias URLs que estao nesse arquivo 'PEP.txt' Commented 20/09/2016 às 19:00
  • @user2535338 Na função salva você chama getPEP para cada linha (URL) presente no arquivo e salva o resultado num novo arquivo tendo como nome o número da linha.
    – stderr
    Commented 20/09/2016 às 19:03

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .