1

Estou brincando em um projeto solo para fazer um site para mostrar a cotação atual do café junto com um gráfico de linha da variação diária desse preço em função do tempo.

Eu obtenho o valor do preço do café fazendo "webscraping" (sim, eu sei que não é legal mas enquanto eu não encontrar uma API que faça isso pra mim vou usar webscraping, mesmo pq o site está longe de ficar no ar, só estou fazendo testes por enquanto).

O que eu quero que aconteça é: Dado um período de atualização (10, 15 sei la quantos segundos), o gráfico deve ser atualizado com o último valor (vindo de webscraping) coletado e o horário atual.

O código atual é o seguinte:

class CafeView(TemplateView):
    def get_context_data(self, **kwargs):
        class AppURLopener(urllib.request.FancyURLopener):  # Usado para simualar um browser e conseguir obter o html da pagina
            version = "Mozilla/5.0"
        opener = AppURLopener()
        response = opener.open('https://www.investing.com/commodities/us-coffee-c-contracts').read()
        soup = BeautifulSoup(response, 'html.parser')
        price = float(soup.find("td", {"class": "pid-8832-last"}).get_text())  # Extrai a cotação atual.
        price_var_points = float(soup.find("td", {"class": "pid-8832-pc"}).get_text())  # Extrai a variação referente à abertura da bolsa.
        context = super(CafeView, self).get_context_data(**kwargs)
        context['preco'] = price  # Passa a cotação para o template
        # Abaixo estão os parâmetros necessários para plotar o gráfico, x e y são duas listas que tem que ser preenchidas com os valores de preço/hora.
        trace1 = go.Scatter(x=x, y=y, marker={'color': 'red', 'symbol': 104, 'size': "10"},
                        mode="lines",  name='1st Trace')
        data=go.Data([trace1])
        layout=go.Layout(title="Coffee Price", xaxis={'title':'x1'}, yaxis={'title':'x2'})
        figure=go.Figure(data=data,layout=layout)
        div = opy.plot(figure, auto_open=False, output_type='div')
        context['graph'] = div
        return context
    template_name = 'cafe.html'

O que eu tentei fazer e não deu certo foi criar 2 listas dentro da minha Class based view CafeView uma para guardar os horários e outra para guardar as cotações, então cada vez que é dado um refresh na página era pro grafico ser criado com valores das listas incrementados, porém as listas são zeradas cada vez que o template é executado e ai não tem como guardar os valores anteriores. Uma solução que pensei foi em guardar os valores no banco de dados e a cada vez que o usuário atualizar a tela a view usa os valores guardados no banco pra montar a lista.

Não tentei essa abordagem ainda, provavelmente funciona, gostaria da opinião de alguém que tem mais conhecimento para me dizer qual o melhor caminho pra resolver esse problema.

OBS.: O gráfico é gerado usando a biblioteca plotly, ela gera o html na variavel div e eu mando esse html pro template na variavel de contexto graph.

1 Resposta 1

1

Sim, a ideia de guardar os dados no banco é boa, mas se voce não precisa persisti-los, visto que os mesmos são temporários, essa estrategia consumiria recursos do banco, desnecessariamente. Eu optaria por criar um banco em memoria que além de evitar acessos desnecessários ao banco, provavelmente teria melhor performance.

Para definir um database in memory, veja esse link.

Como o Sqlite é "built-in" no python, é fácil criar um banco em memoria, com "pure python":

sqlite3.connect(database[, timeout, detect_types, isolation_level, check_same_thread, factory, cached_statements])¶

Opens a connection to the SQLite database file database. You can use ":memory:" to open a database connection to a database that resides in RAM instead of on disk.

Especificamente para django, vc pode fazer:

DATABASES = {
  'default': {
    'ENGINE': 'django.db.backends.sqlite3',
    'NAME': ':memory:',
  }
}
1
  • vou testar assim que possível e volto pra dar um feedback, obrigado mais uma vez Sidon Commented 8/06/2017 às 22:55

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .