Todas as vezes em que você está em uma página e nela há um link relativo o link corresponde a própria página mais a sua url.
Você pode usar a lib urlparse
para que seja feia uma concatenação e fazer um novo request.
Porém, como você mesmo disse, as vezes a url não é relativa. Vamos tentar resolver esse caso:
import urllib
urllib.parse.urljoin('http://google.com', 'http://ddg.gg')
Nesse caso, como as duas urls são absolutas, ele vai usar sempre a segunda, para que você consiga manter uma url fixa no início e variar a segunda.
Um outro caso seria adicionar com a mesma função uma absoluta e uma relativa, por exemplo:
urllib.parse.urljoin('http://ddg.gg/', 'teste.php')
O retorno seria 'http://ddg.gg/teste.php'
o que mata o caso das urls relativas.
O único caso em que essa função não vai resolver é o caso de não haver o prefixo 'http' na segunda string, o que faria o mesmo juntar as duas strings:
urllib.parse.urljoin('http://ddg.com/', 'teste.com')
O retorno seria 'http://ddg.com/teste.com'
aí vai caber a você saber se a url é válida ou não.
Outra opção de usar o urlparse
import urllib
urllib.parse.urlparse('teste.com')
# ParseResult(scheme='', netloc='', path='teste.com', params='', query='', fragment='')
Que nesse caso vai te devolver uma tupla nomeada que pode ser usada para ver o atributo netloc
. Caso o mesmo não exista, significa que a url não é uma url absoluta. Isso resolve o mesmo caso do anterior, embora eu ache a primeira implementação mais pythonica.
No caso de a url ter um valor absurdo, porém sem o prefixo http
, vai caber a você novamente. O que eu recomendaria, você pode criar uma lista com badwords. Uma lista que contenha os valores de sufixo da string, por exemplo, ['.com', '.net', '.br', '.de']
e fazer uma validação simples para ver se algum dos elementos dessa lista está contido na string, assim você saberia também que ela não é relativa e poderia usar isso de critério para fazer o request ou não.
URL
que deseja porém ela não esta formatada como você quer. Já tentou utilizarregex
para validar as possíveis variações? – RFL 7/11/17 às 11:28outraurl.com
ouqualquercoisa.jsp
não tem como usar regex pra determinar se é um link ou um arquivo. Eu pensei em criar um vetor com todos os domínios possíveis e ver se a string terminava com um deles, mas é muita gambiarra. – Eron Medeiros 8/11/17 às 15:37regex
você consegue sim ver se é umaURL
tudo depende de como você aplicar as regras, e ao meu vêr não existe gambiarra no seu caso, se você precisa realizar uma validação muito especifica isso chega a ser normal, o que você pode fazer é procurar umpackage
que faça uma validação mais limpa pra economizar linhas de código. – RFL 8/11/17 às 15:47