0

Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL.

Entretanto, gostaria de passar uma lista de URL. Gostaria também de fazer o request com o AsyncIO. Alguma sugestão ?

Segue o código:

from flask import Flask
from flask_restful import Resource, Api, reqparse, abort
import requests

app = Flask(__name__)
api = Api(app)

parser = reqparse.RequestParser()
parser.add_argument('url')
parser.add_argument('word')
parser.add_argument('ignorecase')
	
# Função que faz um GET para a URL e retorna quantas vezes a palavra word aparece no conteudo
def count_words_in(url, word, ignore_case):
	try:
		r = requests.get(url)
		data = str(r.text)
		if (str(ignore_case).lower() == 'true'):
			return data.lower().count(word.lower())
		else:
			return data.count(word)
	except Exception as e:
		raise e
		
# Função que inclui 'http://' na url e retorna a URL valida
def validate_url(url):
	if not(url.startswith('http')):
		url = 'http://' + url
	return url
	

class UrlCrawlerAPI(Resource):
	def get(self):
		try:
			args = parser.parse_args()
			valid_url = validate_url(args['url'])
			return { valid_url : { args['word'] : count_words_in(valid_url, args['word'], args['ignorecase']) }}
		except AttributeError:
			return { 'message' : 'Please provide URL and WORD arguments' }
		except Exception as e:
			return { 'message' : 'Unhandled Exception: ' + str(e) }

		
api.add_resource(UrlCrawlerAPI, "/")

if __name__ == '__main__':
	app.run(debug=True)

1 Resposta 1

1

Você fez duas perguntas em uma:

gostaria de passar uma lista de URL.

Parece que você não precisa fazer nada, só passar a lista.

Talvez mudar o nome do seu parâmetro de url para urls só pra ser consistente?

args = parser.parse_args()
valid_urls = [validate_url(url) for url in args['urls'])    
for valid_url in valid_urls: 
    ...

Gostaria também de fazer o request com o AsyncIO. Alguma sugestão ?

Você está utilizando o flask, que é um framework síncrono, baseado no padrão WSGI, não combina muito com asyncio. Os métodos flask não cedem controle para o loop de eventos como é requerido pelo asyncio e para atender a múltiplas solicitações ao mesmo tempo o flask usa threads.

Portanto você terá certa dificuldade para integrar o asyncio ao flask, e não terá muito ganho, uma vez que parte do seu IO não é assíncrono. Se preferir ir por esse caminho sugiro dar uma olhada no projeto flask-aiohttp que faz essa "cola" mas não recomendo a não ser que seu projeto tenha uma necessidade muito grande de aproveitar código já escrito pra flask e para asyncio.

Caso esteja começando, e quiser utilizar programação assíncrona, sugiro dispensar também o flask por um framework web que também seja assíncrono. Existem vários, um exemplo que vem fazendo sucesso na comunidade python é o sanic, que é feito para ser parecido com o flask, portanto não terá muita diferença.

1
  • valeu, muito obrigado! vou testar o sanic. Commented 29/09/2018 às 1:53

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .