-1

Estou tentando fazer um scrap no site de uma faculdade, costumo fazer em JavaScript com o CasperJS e até aí tudo ok. Porém agora estamos tentando usar Python pra isso e estou tendo problemas com esse erro:

/usr/lib/python3/dist-packages/apport/report.py:13: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import fnmatch, glob, traceback, errno, sys, atexit, locale, imp
Traceback (most recent call last):
  File "unicsul-ead.py", line 38, in <module>
    polos=polos+r['https://www.cruzeirodosulvirtual.com.br/webservice/nossos-polos.php?polos='+str(p)]['polos']
TypeError: 'NoneType' object is not subscriptable

Eu estou utlizando esses imports:

from me.robot import Execution
import multi_req
from bs4 import BeautifulSoup
from money_parser import price_str
import sys
import glob
# import pp
# import json

Como sou bastante leigo com isso, eu notei que ele dá um TypeError mas mesmo assim retorna algo sobre algum import, porém não entendo bem. Alguém saberia me dizer sobre? Estou pesquisando e não entendi quase nada.

Bom, este é o código completo:

from me.robot import Execution
import multi_req
from bs4 import BeautifulSoup
from money_parser import price_str
import sys
import glob
# import pp
# import json

if len(sys.argv)<2:
    raise Exception('Passar o nome do arquivo é necessário!')


if(len(sys.argv)==4):
    exe=Execution(sys.argv[1], int(sys.argv[3]))
else:
    exe=Execution(sys.argv[1])

exe.start()

keepgoing_local=True
keepgoing_course=True

if(len(sys.argv) > 2 and sys.argv[2]!='-'): #tem keepgoing
    l=sys.argv[2].split(';')
    keepgoing_course_name=l[3]
    keepgoing_uf_name=l[7]
    keepgoing_city_name=l[9]
    keepgoing_local_name=l[11]

    keepgoing_local=False
    keepgoing_course=False

polos_urls,polos=[],[]

for p in range(1, 1000, 100):
    r=multi_req.scrap(['https://www.cruzeirodosulvirtual.com.br/webservice/nossos-polos.php?polos='+str(p)], resp_type='json')
    polos=polos+r['https://www.cruzeirodosulvirtual.com.br/webservice/nossos-polos.php?polos='+str(p)]['polos']

for p in polos:

    # print(keepgoing_uf_name.encode('UTF-8', 'surrogateescape').strip().lower()+b' == '+p['uf'].encode('UTF-8', 'surrogateescape').strip().lower())
    # print(keepgoing_city_name.encode('UTF-8', 'surrogateescape').strip().lower()+b' == '+p['cidade'].encode('UTF-8', 'surrogateescape').strip().lower())
    # print(keepgoing_local_name.encode('UTF-8', 'surrogateescape').strip().lower()+b' == '+p['nome'].encode('UTF-8', 'surrogateescape').strip().lower())

    if(not keepgoing_local and keepgoing_uf_name.encode('UTF-8', 'surrogateescape').strip().lower()==p['uf'].encode('UTF-8', 'surrogateescape').strip().lower() and keepgoing_city_name.encode('UTF-8', 'surrogateescape').strip().lower()==p['cidade'].encode('UTF-8', 'surrogateescape').strip().lower() and keepgoing_local_name.encode('UTF-8', 'surrogateescape').strip().lower()==p['nome'].encode('UTF-8', 'surrogateescape').strip().lower()):
        keepgoing_local=True
        exe.log('keepgoing polo: '+p['nome'].lower())

    if(keepgoing_local):
        if(p['classes'].find(' graduacao ')>-1):
            rp=multi_req.scrap(['https://www.cruzeirodosulvirtual.com.br'+p['polo']])
            psoup=BeautifulSoup(rp[next(iter(rp))], 'html.parser')

            curls=[]
            for c in psoup.select(".cursos .titulo-curso-sl"):
                curls.append(c.parent.a['href'])
                if(len(curls) % 10 == 0):
                    course_scrap=multi_req.scrap(curls)

                    for rc in course_scrap.keys():
                        csoup=BeautifulSoup(course_scrap[rc], 'html.parser')

                        if(not keepgoing_course and keepgoing_course_name.encode('UTF-8', 'surrogateescape').strip().lower()==csoup.h1.text.strip().encode('UTF-8', 'surrogateescape').strip().lower()):
                            keepgoing_course=True
                            exe.log('keepgoing course: '+keepgoing_course_name.lower())
                            continue

                        if(keepgoing_course):
                            if(len(csoup.find_all(id="investimento-hide"))):
                                exe.add_price(
                                    ies_sigle='UNICSUL EAD',
                                    course_name=csoup.h1.text.strip(),
                                    price=price_str(csoup.find_all(id="investimento-hide")[0].h3.text),
                                    state_name=p['uf'],
                                    city_name=p['cidade'],
                                    local_name=p['nome'],
                                    modality='EAD'
                                )

                    curls=[]

exe.end()
3
  • O problema não está no import - ele só dá um aviso de "deprecated" - o erro é que a variável "r" que você tenta usar com uma sintaxe de dicionário contém None - mas como você não colou o código todo é impossível orientar a correção.
    – jsbueno
    1/04/2019 às 18:16
  • Vou editar e colocar o código, to na correria e esqueci. Só um minutinho! 1/04/2019 às 18:19
  • Eu recomendo que você use o Scrapy: scrapy.org. 2/04/2019 às 19:34

1 Resposta 1

-1

Sobre o problema "DeprecationWarning:" tente instalar a biblioteca cloudpickle.

pip install cloudpickle ou pip3 install cloudpickle

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .