Todas as vezes em que você está em uma página e nela há um link relativo o link corresponde a própria página mais a sua url.
Você pode usar a lib urlparse
para que seja feia uma concatenação e fazer um novo request.
Porém, como você mesmo disse, as vezes a url não é relativa. Vamos tentar resolver esse caso:
import urllib
urllib.parse.urljoin('http://google.com', 'http://ddg.gg')
Nesse caso, como as duas urls são absolutas, ele vai usar sempre a segunda, para que você consiga manter uma url fixa no início e variar a segunda.
Um outro caso seria adicionar com a mesma função uma absoluta e uma relativa, por exemplo:
urllib.parse.urljoin('http://ddg.gg/', 'teste.php')
O retorno seria 'http://ddg.gg/teste.php'
o que mata o caso das urls relativas.
O único caso em que essa função não vai resolver é o caso de não haver o prefixo 'http' na segunda string, o que faria o mesmo juntar as duas strings:
urllib.parse.urljoin('http://ddg.com/', 'teste.com')
O retorno seria 'http://ddg.com/teste.com'
aí vai caber a você saber se a url é válida ou não.
Outra opção de usar o urlparse
import urllib
urllib.parse.urlparse('teste.com')
# ParseResult(scheme='', netloc='', path='teste.com', params='', query='', fragment='')
Que nesse caso vai te devolver uma tupla nomeada que pode ser usada para ver o atributo netloc
. Caso o mesmo não exista, significa que a url não é uma url absoluta. Isso resolve o mesmo caso do anterior, embora eu ache a primeira implementação mais pythonica.
No caso de a url ter um valor absurdo, porém sem o prefixo http
, vai caber a você novamente. O que eu recomendaria, você pode criar uma lista com badwords. Uma lista que contenha os valores de sufixo da string, por exemplo, ['.com', '.net', '.br', '.de']
e fazer uma validação simples para ver se algum dos elementos dessa lista está contido na string, assim você saberia também que ela não é relativa e poderia usar isso de critério para fazer o request ou não.
URL
que deseja porém ela não esta formatada como você quer. Já tentou utilizarregex
para validar as possíveis variações?outraurl.com
ouqualquercoisa.jsp
não tem como usar regex pra determinar se é um link ou um arquivo. Eu pensei em criar um vetor com todos os domínios possíveis e ver se a string terminava com um deles, mas é muita gambiarra.regex
você consegue sim ver se é umaURL
tudo depende de como você aplicar as regras, e ao meu vêr não existe gambiarra no seu caso, se você precisa realizar uma validação muito especifica isso chega a ser normal, o que você pode fazer é procurar umpackage
que faça uma validação mais limpa pra economizar linhas de código.