tudo bem? Pois bem, sou um entusiasta de programção, e peguei um tutorial para fazer webscraping. A lógica eu até entendi, porém estou enfrentando um problema quando um dos dados estão faltando no site, abaixo deixo o código e minha analise do problema enfrentado:
import requests
from bs4 import BeautifulSoup
URL = "https://www.classcentral.com/subject/data-science"
page = requests.get(URL)
soup = BeautifulSoup(page.content, "html.parser")
Course = []
Duration = []
Start_Date = []
Offered_By = []
No_Of_Reviews = []
Rating = []
def find_2nd(string, substring):
return string.find(substring, string.find(substring) + 1)
def find_1st(string, substring):
return string.find(substring, string.find(substring))
for i in soup.findAll("span",{'class' : 'text-1 weight-semi line-tight'}):
b = str(i)
#print(b [ find_1st(b,'>')+1 : find_2nd(b,'<') ] )
Course.append(b[find_1st(b,'>')+1:find_2nd(b,'<')])
course = []
for i in Course:
i = i.strip()
print(i)
course.append(i)
# # Num of Reviews
for i in soup.findAll("span",{'class' : 'large-down-hidden block line-tight text-4 color-gray'}):
b = str(i)
print(b[find_1st(b,'>')+1:find_2nd(b,'<')])
No_Of_Reviews.append(b[find_1st(b,'>')+1:find_2nd(b,'<')])
Pois bem, entrando no site e fazendo uma busca, existe um curso que encontra-se sem reviews. O problema disso tudo, é que quando vou transformar isso em um DataFrame, ocorre o erro de length. Ou seja, não consigo gerar o DataFrame, por causa desse valor faltante. Não coloquei o código completo para não ficar mais extenso, por que o restante esta dando certo.
Alguém saberia me ajudar ? Como faria para que o código entendensse que essa informação não existe, coloque o valor de 0 e continue com a implementação do código.