1

sou novo com o Python e estou tendo dificuldade com meu algorítimo, a função do mesmo é verificar palavras em um conjunto de arquivos no formato PDF e analisar a recorrência de cada palavra gerando com essas informações um gráfico da lei de zipf(a segunda palavra mais recorrente repete em quantidade a raiz quadrada da primeira palavra mais recorrente) em fim, estou usando a biblioteca matplotlib para plotar gráficos em barras, porém o número de palavras que aparecem no gráfico é muito grande(no eixo x) e estão se sobrescrevendo.

obs: todo crítica é bem vinda, desde já agradeço a todos. segue o algorítimo e o gráfico gerado.

    #!/usr/bin/env python3.6
import os
import re
from operator import itemgetter
import matplotlib.pyplot as plt
import numpy as np
import math

from tkinter import *
def io_pasta():
        def on_press():
            if not (os.path.exists(entrada.get())):
                lb["fg"]="red"
                lb["text"] = "Pasta inexistente/inacessivél"
                lb["font"]= "Bold"
            else:
                zipf(entrada.get(),janela)

        janela = Tk()
        lb=Label(janela, text = "Onde estão os asquivos?", font = "arial")
        lb.pack()
        entrada = Entry(janela, width = 40)
        entrada.place(x=40,y=40)
        b = Button(janela,text="OK",width = 10, command=on_press)
        b.place(x=150,y=75)

        janela.geometry("400x120")
        janela.title("Distribuição ZIPF")

        janela.mainloop()


def zipf(pasta,win):
    win.destroy()
    if not pasta[-1]=="/":
          pasta+="/"
    palavra=[]
    repetic=[]
    for nome in os.listdir(pasta):
        os.system("pdftotext -enc UTF-8   "+pasta+""+str(nome)+"  "+pasta+""+str(nome)+".txt")
    print("arquivos convertidos ......................ok!")
    os.system("mkdir "+pasta+"arquivos_originais && mv "+pasta+"*pdf "+pasta+"arquivos_originais")
    os.system("mkdir "+pasta+"convertidos_txt && mv "+pasta+"*txt "+pasta+"convertidos_txt/")
    os.system("mkdir "+pasta+"zipf")
    print("pasta ARQUIVOS_MOVIDOS criada .................ok!")
    print("Arquivos Movidos.............................ok!")
    frequency = {}
    for arq in os.listdir(""+pasta+"convertidos_txt/"):
        open_file = open(""+pasta+"convertidos_txt/"+str(arq)+"", "r", encoding='latin-1')
        file_to_string = open_file.read()
        w1 = re.findall(r'(\b[A-Za-z][a-z]{4,20}\b)', file_to_string)
        control = True
        for word in w1:
            count = frequency.get(word,0)
            frequency[word] = count + 1

        for key, value in reversed(sorted(frequency.items(), key = itemgetter(1))):
            if control == True:
                    j=value
                    control=False
            else:
                if abs(math.sqrt(j)-value)<4:
                        palavra.append(key)
                        repetic.append(value)

        plt.title("Distribuição zipf")
        plt.grid(True)
        plt.xticks(repetic,palavra,rotation=90,size='small')
        pos = np.arange(len(palavra)) + .5 
        plt.bar(pos,repetic,align='center',color='#b8ff5c')
        plt.savefig(''+pasta+'zipf/grafico_'+str(arq)+'.png')      

io_pasta()
5
  • Não é possível gerar um Exemplo Mínimo, Completo e Verificável?
    – Woss
    Commented 11/09/2017 às 19:43
  • vou fazer e logo posto. Commented 11/09/2017 às 19:50
  • Dei uma olhada no seu código, mas não rodei ele pois ele quer ler, criar e mover arquivos e pastas (meus arquivos). Porém, isso não é diretamente relevante para o problema descrito (problemas com barras, número e palavras). Mesmo se eu resolver rodar, este código, não tenho certeza de vou repetir o seu problema pois são meus pdfs (voltando ao comentário inicial de reproduzir o problema). Seria bom ter apenas a lista de palavras e repeticões, assim como a parte para plotar do código que reproduz o seu problema.
    – Guto
    Commented 20/09/2017 às 10:40
  • Opa, consegui resolver, o meu problema era que não estava passando o parâmetro "palavras" em plt.bar. Commented 22/09/2017 às 3:01
  • Neste caso, você pode responder a sua pergunta e aceitar a resposta. Colocar uma figura do problema/resultado seria interessante também. Assim tem uma resposta para outros usuários que tenham um problema similar.
    – Guto
    Commented 23/09/2017 às 12:02

1 Resposta 1

0

Sugestão 1: use o método tightlayout

Adicione a função tightlayout antes de salvar a sua imagem:

plt.bar(pos,repetic,align='center',color='#b8ff5c')
plt.tightlayout()
plt.savefig(''+pasta+'zipf/grafico_'+str(arq)+'.png')      

Sugestão 2: instancie uma figure e ajuste seu tamanho

  1. Processe seu texto e tenha ao final um número X de palavras.
  2. Crie uma figura com a função figure (ou função análoga) e especifique o tamanho dela de acordo com o tamanho do seu número X de palavras:

    import matplotlib.pyplot as plt
    fig = plt.figure(figsize=(0.5 * x, 10))
    

(ajuste o fator de 0.5 para um número maior/menor).

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .