2

Na busca por como fazer paginação usando psycopg2 descobri os atributos cursor.itersize e cursor.arraysize, e os métodoscursor.fetchmany() e cursor.scroll()

Queria verificar com o pessoal aqui se meu entendimento está correto sobre esses métodos e atributos. fetchmany() retorna muitas linhas, cuja quantidade pode ser passado como parâmetro. scroll() pelo que entendi serve para rolar o cursor para alguma posição dentre as linhas carregadas pela consulta, mas não entendi o parâmetro que ele recebe. Já o atributo itersize pelo que entendi, controla a quantidade de linhas que o cursor deve receber do banco. Talvez por trás o driver esteja fazendo uso do parâmetro LIMIT do postgresql que limita a quantidade de linhas que deve ser retornada pela consulta. O atributo arraysize define a quantidade de linhas que será retornado pelo método fetchmany(). Não entendi a finalidade desse atributo no objeto sendo que o método fetchmany() já recebe um parâmetro para definir isso.

Eu preciso exibir as linhas de uma tabela em um componente gui table, de alguma api gráfica que não decidi ainda. Mas acho que é mais indicado que eu faça uso desses atributos e métodos para criar uma paginação, pois criar um objeto cursor com todos os dados de uma tabela que tenha muitos registros pode consumir muitos recursos.

1 Resposta 1

1

em Python usamos uma máxima: "premature optimization is the root of all evil": Você não sabe, e não tem como saber a priori, antes de seu sistema funcionar se vai ter um gargalo de memória ou de I/O aí.

Mais ainda, você está usando um conector de banco que está sendo desenvolvido há varios anos, e tem grande potencial para usar as melhores práticas em Python, que envolvem sim, buscar resultados de forma "lazy" - isso é, busca resultados apenas a medida que são necessários.

Então a recomendação é acreditar que os parâmetros padrão do fetchmany vão ser bons na maior parte dos casos, e usar seus resultados da forma recomendada no Python: como um iterador.

for result in cursor.fetchmany():
      # your code here

Dessa forma, você deixa o trabalho de trazer uma quantidade ótima de registros para o conector, e trabalha com um resultado por vez. Depois de pronto o código, vocẽ pode fazer testes de benchmark, carga e uso de memória para ver como isso está indo - e aí sim se preocupar com esses parâmetros.

Disclaimer: já vi gente ter problemas com o fetchmany numa versão antiga de um conector para o MySQL - naquele caso, a implementação interna era realmente infantil e foi muito melhor para a pessoa pegar todos os resultados de uma única vez, numa lista do que usar uma interação como a acima. Mas acredito que no caso do psycopg2, o fetchmany esteja melhor.

Se você desejar uma paginação do seu lado, pode fazer isso de forma simples criando um iterator de Python, que independa da paginação do lado do banco: pode fazer assim:

def get_paged_results(cursor, limit=50):
    while True:
        page = list(cursor.fetchmany(limit))
        if not page:
              break
        yield page

...
for page in get_paged_results(cursor):
     ....
5
  • Então, eu não tenho preferência por onde fazer a paginação. Pensei em nível de banco para não gerar um cursor monstruoso cheio de registros, levando em conta que será uma aplicação cliente servidor o consumo na rede também será grande no caso de uma tabela muito inchada. Você tem razão quanto a otimização prematura, porém estou certo que os registros nessa tabela serão muitos, já que um novo registro será inserido a cada transação. Então ela crescerá gradativamente e logo, terá milhares de registros. Queria deixar isso tratado para não ter que mexer depois. Commented 4/02/2016 às 14:52
  • Eu poderia fazer essa paginação através de SQL direto, mas se o psycopg2 tem features para fazer isso eu prefiro. Por isso queria conhecer melhor esses métodos e atributos que citei, pois me parece que eles servem justamente para isso. Se possível com exemplos. Commented 4/02/2016 às 14:54
  • Especial o atibuto itersize e o metodo scroll() pois eles parecem ser exatamente o que procuro. Commented 4/02/2016 às 15:14
  • Opa joão, relendo seu comentário e lendo novamente a doc acho que talvez entendi o que você quis dizer. Pelo que entendi, por padrão psycopg2 trás 2000 registros do banco, numero esse definido no atributo Cursor.itersize. Quando você diz "buscar resultados de forma "lazy" - isso é, busca resultados apenas a medida que são necessários." Vc quer dizer que se eu precisar de mais registros o próprio driver se encarregará de buscar? Commented 4/02/2016 às 15:27
  • 1
    Exatamente - o próprio driver pega mais resultados a medida que você os consome (acabei de checar o código fonte do Psicopg2 e ele faz isso mesmo)
    – jsbueno
    Commented 4/02/2016 às 15:31

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .