1

Eu estava estudando sobre WebScraping com Python e comecei a utilizar a bilioteca bs4 (BeautifulSoup). Quando comecei a pegar as tags a e o atributo href, percebi que eu não poderia acessar o link se no href tivesse algo como:

href="/alguma_pagina.php"

No caso acima, não posso simplesmente fazer um request para o valor "/alguma_coisa.php", pois isso não é uma url válida.

Eu preciso pegar a verdadeira url para onde eu irei ao clicar no link, não apenas o valor que está no href. Como eu consigo pegar essa url completa?

Lembrando que existe a possibilidade da url ser do tipo "url.com.br/" com ou sem a barra no final. Já os valores de href pode ser do tipo:

"#"
"#alguma_coisa"
"cadastro.php"
"/cadastro.php"
"http://outra_url.com"
"outra_url.com"

e cada um desses, pode começar ou terminar com um espaço.

3
  • Acredito que o problema seja com o seu tratamento/validação dos dados, a principio você esta conseguindo pegar a URL que deseja porém ela não esta formatada como você quer. Já tentou utilizar regex para validar as possíveis variações?
    – RFL
    Commented 7/11/2017 às 11:28
  • Quando eu tenho outraurl.com ou qualquercoisa.jsp não tem como usar regex pra determinar se é um link ou um arquivo. Eu pensei em criar um vetor com todos os domínios possíveis e ver se a string terminava com um deles, mas é muita gambiarra. Commented 8/11/2017 às 15:37
  • com regex você consegue sim ver se é uma URL tudo depende de como você aplicar as regras, e ao meu vêr não existe gambiarra no seu caso, se você precisa realizar uma validação muito especifica isso chega a ser normal, o que você pode fazer é procurar um package que faça uma validação mais limpa pra economizar linhas de código.
    – RFL
    Commented 8/11/2017 às 15:47

1 Resposta 1

1

Todas as vezes em que você está em uma página e nela há um link relativo o link corresponde a própria página mais a sua url.

Você pode usar a lib urlparse para que seja feia uma concatenação e fazer um novo request.

Porém, como você mesmo disse, as vezes a url não é relativa. Vamos tentar resolver esse caso:

import urllib
urllib.parse.urljoin('http://google.com', 'http://ddg.gg')

Nesse caso, como as duas urls são absolutas, ele vai usar sempre a segunda, para que você consiga manter uma url fixa no início e variar a segunda.

Um outro caso seria adicionar com a mesma função uma absoluta e uma relativa, por exemplo:

urllib.parse.urljoin('http://ddg.gg/', 'teste.php')

O retorno seria 'http://ddg.gg/teste.php' o que mata o caso das urls relativas.

O único caso em que essa função não vai resolver é o caso de não haver o prefixo 'http' na segunda string, o que faria o mesmo juntar as duas strings:

urllib.parse.urljoin('http://ddg.com/', 'teste.com')

O retorno seria 'http://ddg.com/teste.com' aí vai caber a você saber se a url é válida ou não.

Outra opção de usar o urlparse

import urllib
urllib.parse.urlparse('teste.com') 
# ParseResult(scheme='', netloc='', path='teste.com', params='', query='', fragment='')

Que nesse caso vai te devolver uma tupla nomeada que pode ser usada para ver o atributo netloc. Caso o mesmo não exista, significa que a url não é uma url absoluta. Isso resolve o mesmo caso do anterior, embora eu ache a primeira implementação mais pythonica.

No caso de a url ter um valor absurdo, porém sem o prefixo http, vai caber a você novamente. O que eu recomendaria, você pode criar uma lista com badwords. Uma lista que contenha os valores de sufixo da string, por exemplo, ['.com', '.net', '.br', '.de'] e fazer uma validação simples para ver se algum dos elementos dessa lista está contido na string, assim você saberia também que ela não é relativa e poderia usar isso de critério para fazer o request ou não.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .