0

Tenho uma API REST em Python que recebe 2 argumentos, uma lista de Url e uma palavra. Sou iniciante em Python e gostaria de saber se é possível fazer um split na string da URl para aceitar mais de uma URL qdo for fazer a requisição pelo body da URL. Por exemplo, atualmente consigo fazer a requisição em http://127.0.0.1/?urls=globo.com&word=google

Só que gostaria de incluir mais de um url no body como http://127.0.0.1/?urls=globo.com&urls=terra.com.br&urls=uol.com.br&word=google

Segue o código:

from flask import Flask
from flask_restful import Resource, Api, reqparse, abort
import requests

app = Flask(__name__)
api = Api(app)

parser = reqparse.RequestParser()
parser.add_argument('urls', action='append')
parser.add_argument('word')
parser.add_argument('ignorecase')

# Função que faz um GET para a URL e retorna quantas vezes a palavra word aparece no conteudo


def count_words_in(url, word, ignore_case):
    try:
        r = requests.get(url)
        data = str(r.text)
        if (str(ignore_case).lower() == 'true'):
            return data.lower().count(word.lower())
        else:
            return data.count(word)
    except Exception as e:
        raise e

# Função que inclui 'http://' na url e retorna a URL valida


def validate_url(url):
    if not(url.startswith('http')):
        url = 'http://' + url
    return url


class UrlCrawlerAPI(Resource):
    def get(self):
        try:
            args = parser.parse_args()
            valid_urls = [validate_url(url)  for url in args['urls']]
            lista = []
            for valid_url in valid_urls:
                lista.append({valid_url: {args['word']: count_words_in(valid_url, args['word'], args['ignorecase'])}})
                # return {valid_url: {args['word']: count_words_in(valid_url, args['word'], args['ignorecase'])}}
            return lista    
        except AttributeError:
            return {'message': 'Please provide URL and WORD arguments'}
        except Exception as e:
            return {'message': 'Unhandled Exception: ' + str(e)}


api.add_resource(UrlCrawlerAPI, "/")

if __name__ == '__main__':
    app.run(debug=True) 
5
  • for valid_url in valid_urls: return .... Aqui você está lendo apenas a primeira URL e saindo da função Commented 1/10/2018 às 19:20
  • sim, mas se valid_urls é um array o for não deveria percorrer todo o array ? está quase certo, pelo postman a função está correta retornando um json com a ocorrência de palavras encontraadas, entretanto só está retornando a primeira url. Commented 1/10/2018 às 19:42
  • No momento que você dá um return dentro de um for, ele sai da execução do for. Você teria que criar uma lista com o resultado que você quer e, fora do for, retorna esta lista Commented 1/10/2018 às 19:57
  • amigo muitíssimo obrigado, funcionou!! vc me ajudou demais, segue o código editado funcionando 100% e mostrando todas Urls. Commented 1/10/2018 às 20:17
  • Que bom que funcionou! Você pode marcar a resposta como correta se te ajudou. :D Commented 1/10/2018 às 20:23

2 Respostas 2

1

Segundo a documentação do Flask Restful basta configurar o parâmetro da URL corretamente para que o framework faça o append dos parâmetros repetidos, ao invés de sobrescrever os existentes:

parser.add_argument('urls', action='append')

E depois para pegar o valor:

args = parser.parse_args()
args['urls']    # seria uma lista com todas as urls passados por parâmetro.
# aplicando `validate_url` para todas as URLs recebidas
valid_urls = [validate_url(url) for url in args['url']]
# ou
valid_urls = map(validate_url, args['url'])
2
  • obrigado jovem, mas qdo eu insiro action='append' nos argumentos ele entra na última exceção inesperada. No caso eu não deveria fazer um split na string das urls ? Editei meu código atual. Commented 1/10/2018 às 18:47
  • mas args['urls'] é uma lista e tu está chamado validate_urls direto nela como se fosse uma string, está certo lançar uma exceção mesmo. Acho que tu quer aplicar a função em todas urls recebidas, talvez usando map(validate_urls, args['urls']) ou uma list comprehension resolva. Commented 1/10/2018 às 19:01
1

Se o que for retornado pelo parser.parse_args() for um dicionário, é impossível. De outra maneira, você pode passar as urls todas juntas...

Por exemplo: urls=globo.com,terra.com,uol.com

E separá-las usando str.split()

urls = args.split(',')

ou algo parecido

3
  • obrigado amigo, mas no caso a atribuição seria depois de args ? pois está dando erro na sintaxe. Segue o código completo editado. Commented 1/10/2018 às 14:35
  • Você deveria usar urls = args['urls'].split(',') em vez de urls = args.split(',').
    – Ken
    Commented 1/10/2018 às 14:40
  • obrigado amigo mas continua dando erro de sintaxe. esta atribuição de urls eu devo inserir em qual função ? editei o código novamente. Commented 1/10/2018 às 18:38

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .