Há um tempo venho estudando como usar BeautifulSoup para conseguir encontrar conteúdo de tags etc.
Mas me deparei com um problema no qual o conteúdo que quero encontrar fica dentro de uma tag <script type="text/javascript">
e apenas utilizando find("script")
, ele encontra apenas as tags <script>
, e, caso eu tente colocar find("script type="text/javascript")
, o código dá erro.
def get_cod_produto(url):
response = requests.get(url)
data = response.text
soup = bs(data, 'html.parser')
body = soup.body
localizaScript = body.find('script type="text/javascript"')
texto = localizaScript.string
array = re.split('"', texto)
print(array)
get_cod_produto("https://www.kabum.com.br/cgi-local/site/listagem/listagem.cgi?string=rtx+2060&btnG=&pagina=2&ordem=3&limite=30&prime=false&marcas=[]&tipo_produto=[]&filtro=[]")
Ele retorna este erro quando eu coloco qualquer informação que não seja apenas script
:
AttributeError Traceback (most recent call last) <ipython-input-565-dfa6bc29cef9> in <module> ----> 1 get_cod_produto("https://www.kabum.com.br/cgi-local/site/listagem/listagem.cgi?string=rtx+2060&btnG=&pagina=2&ordem=3&limite=30&prime=false&marcas=[]&tipo_produto=[]&filtro=[]") <ipython-input-564-5e17a520cf0d> in get_cod_produto(url) 5 body = soup.body 6 localizaScript = body.find('script type="text/javascript"') ----> 7 texto = localizaScript.string 8 array = re.split('"', texto) 9 print(array) AttributeError: 'NoneType' object has no attribute 'string'
Como posso fazer para puxar as informações dessa tag?
find
for baseado em seletores CSS válidos, consigo explicar o porquê do problema. Basicamente,script type="text/javascript"
não é um seletor CSS válido. Se você quiser limitar a busca de uma tag a um certo atributo (como o atributotype
), deve envolver o nome deste entre colchetes. Assim:script[type="text/javascript"]
.