Estou brincando em um projeto solo para fazer um site para mostrar a cotação atual do café junto com um gráfico de linha da variação diária desse preço em função do tempo.
Eu obtenho o valor do preço do café fazendo "webscraping" (sim, eu sei que não é legal mas enquanto eu não encontrar uma API que faça isso pra mim vou usar webscraping, mesmo pq o site está longe de ficar no ar, só estou fazendo testes por enquanto).
O que eu quero que aconteça é: Dado um período de atualização (10, 15 sei la quantos segundos), o gráfico deve ser atualizado com o último valor (vindo de webscraping) coletado e o horário atual.
O código atual é o seguinte:
class CafeView(TemplateView):
def get_context_data(self, **kwargs):
class AppURLopener(urllib.request.FancyURLopener): # Usado para simualar um browser e conseguir obter o html da pagina
version = "Mozilla/5.0"
opener = AppURLopener()
response = opener.open('https://www.investing.com/commodities/us-coffee-c-contracts').read()
soup = BeautifulSoup(response, 'html.parser')
price = float(soup.find("td", {"class": "pid-8832-last"}).get_text()) # Extrai a cotação atual.
price_var_points = float(soup.find("td", {"class": "pid-8832-pc"}).get_text()) # Extrai a variação referente à abertura da bolsa.
context = super(CafeView, self).get_context_data(**kwargs)
context['preco'] = price # Passa a cotação para o template
# Abaixo estão os parâmetros necessários para plotar o gráfico, x e y são duas listas que tem que ser preenchidas com os valores de preço/hora.
trace1 = go.Scatter(x=x, y=y, marker={'color': 'red', 'symbol': 104, 'size': "10"},
mode="lines", name='1st Trace')
data=go.Data([trace1])
layout=go.Layout(title="Coffee Price", xaxis={'title':'x1'}, yaxis={'title':'x2'})
figure=go.Figure(data=data,layout=layout)
div = opy.plot(figure, auto_open=False, output_type='div')
context['graph'] = div
return context
template_name = 'cafe.html'
O que eu tentei fazer e não deu certo foi criar 2 listas dentro da minha Class based view CafeView
uma para guardar os horários e outra para guardar as cotações, então cada vez que é dado um refresh na página era pro grafico ser criado com valores das listas incrementados, porém as listas são zeradas cada vez que o template é executado e ai não tem como guardar os valores anteriores. Uma solução que pensei foi em guardar os valores no banco de dados e a cada vez que o usuário atualizar a tela a view usa os valores guardados no banco pra montar a lista.
Não tentei essa abordagem ainda, provavelmente funciona, gostaria da opinião de alguém que tem mais conhecimento para me dizer qual o melhor caminho pra resolver esse problema.
OBS.: O gráfico é gerado usando a biblioteca plotly, ela gera o html na variavel div
e eu mando esse html pro template na variavel de contexto graph
.