Estou precisando baixar o conteúdo de um site. Fiz um código em python 3.5. Quando eu o rodo apenas para uma única pagina o código funciona muito bem porém quando eu o coloco em um loop ou função ele dá erro.
O código como função é o seguinte:
from bs4 import BeautifulSoup
from selenium import webdriver
import html2text
def getPEP(strg):
driver = webdriver.Firefox()
driver.page_source = driver.get(strg)
html = driver.page_source
driver.close()
text=html2text.html2text(html)
return(text);
def salva():
peps = open('PEP.txt', 'r')
lines = tuple(peps)
peps.close()
for i in range(1):
strg=lines[i].replace('\n','')
print(strg + '\n')
str(strg)
getPEP(strg)
start = '# '
end = ', \n\n[ ![Join us on'
cleaned=(text.split(start))[1].split(end)[0]
file = open(str(i)+'.txt', 'w')
file.write(cleaned.replace(' ** ','').replace('**',''))
file.close()
print('arquivo ' + str(i) + 'gravado com sucesso' )
return;
salva()
Quando eu coloco apenas na linha de comando como a seguinte:
>>> strg='http://www.mtsamples.com/site/pages/sample.asp?type=3-Allergy%20/%20Immunology&sample=386-Allergic%20Rhinitis, Allergic Rhinitis'
>>> driver = webdriver.Firefox()
>>> driver.page_source = driver.get(strg)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: can't set attribute
>>> html = driver.page_source
>>> driver.close()
>>> text=html2text.html2text(html)
Por mais que retorne esse erro eu ainda consigo recuperar o texto do site. agora quando eu coloco como função:
>>> def getPEP(strg):
... driver = webdriver.Firefox()
... driver.page_source = driver.get(strg)
... html = driver.page_source
... driver.close()
... text=html2text.html2text(html)
... return(text);
...
>>> text=getPEP()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: getPEP() missing 1 required positional argument: 'strg'
Então o programa para no erro e não retorna o texto que eu preciso! Alguém pode me ajudar?
A fucao getPEP() funcionou, obrigada! Agora o meu código está assim:
from bs4 import BeautifulSoup
from selenium import webdriver
import html2text
# driver.page_source = driver.get())#
def getPEP(strg):
driver = webdriver.Firefox()
driver.get(strg)
html = driver.page_source
driver.close()
text=html2text.html2text(html)
return(text);
def salva(arqv):
peps = open(arqv, 'r')
lines = tuple(peps)
peps.close()
for i in range(len(lines)):
strg=lines[i].replace('\n','')
text=getPEP(strg)
start = '# '
end = ', \n\n[ ![Join us on'
cleaned=(text.split(start))[1].split(end)[0]
file = open(str(i)+'.txt', 'w')
file.write(cleaned.replace(' ** ','').replace('**',''))
file.close()
print('arquivo ' + str(i) + 'gravado com sucesso' )
return;
getPEP('PEP.txt')
A função getPEP(strg) esta funcionando perfeitamente, obrigada!
Porám quando chamo a função salva(arqv)
que era para ler as urls que eu quero baixar, coletar o texto que eu quero salvar por meio da função getPEP(strg)
e gravar em um arquivo, está dando o seguinte erro:
Traceback (most recent call last):
File "crawlerPEP.py", line 35, in <module>
getPEP('PEP.txt')
File "crawlerPEP.py", line 10, in getPEP
driver.get(strg)
File "/home/angelica/Documents/PyEnv3/lib/python3.5/site-packages/selenium/webdriver/remote/webdriver.py", line 248, in get
self.execute(Command.GET, {'url': url})
File "/home/angelica/Documents/PyEnv3/lib/python3.5/site-packages/selenium/webdriver/remote/webdriver.py", line 236, in execute
self.error_handler.check_response(response)
File "/home/angelica/Documents/PyEnv3/lib/python3.5/site-packages/selenium/webdriver/remote/errorhandler.py", line 192, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: Target URL PEP.txt is not well-formed.
Stacktrace:
at FirefoxDriver.prototype.get (file:///tmp/tmpiag201lm/extensions/[email protected]/components/driver-component.js:10636)
at DelayedCommand.prototype.executeInternal_/h (file:///tmp/tmpiag201lm/extensions/[email protected]/components/command-processor.js:12661)
at DelayedCommand.prototype.executeInternal_ (file:///tmp/tmpiag201lm/extensions/[email protected]/components/command-processor.js:12666)
at DelayedCommand.prototype.execute/< (file:///tmp/tmpiag201lm/extensions/[email protected]/components/command-processor.js:12608)