3

Como contar o número de ocorrências em colunas?

Arquivo:

luz NC  luz
mas ADV más
blanquita   ADJ blanco
que CQUE    que
las ART el
que CQUE    que
traía   VLfin   traer
de  PREP    de
serie   NC  serie
mi  PPO mi|mío
coche   NC  coche

Script:

from collections import Counter

with open ("corpus_TreeTagger.txt", "r") as f:
    texte = f.read()
    colunas = texte.split("\n")

    def frequencia(colunas):
        for linhas in colunas:
            lexema = linhas.split('\t')[0]
            pos = linhas.split('\t')[1]
            lema = linhas.split('\t')[2]

        return Counter(lexema)
        return Counter(pos)
        return Counter(lema)

print(frequencia(colunas))

Erro:

Traceback (most recent call last):
  File "FINALV2.py", line 72, in <module>
    print(frequencia(colunas))
  File "FINALV2.py", line 23, in frequencia
    pos = linhas.split('\t')[1]
IndexError: list index out of range

Alguém poderia me ajudar?

6
  • 1
    Que tipo de arquivo é esse? o que divide as colunas? não há um caracter para separa-las? Vc cria o arquivo ou recbe de outra fonte? a terminação original é .txt mesmo?
    – Sidon
    Commented 30/08/2017 às 13:57
  • É um software que faz etiquetagem morfo-sintáxica. Nós damos um texto e ele faz a análise dividindo o arquivo de saída em três colunas: a palavra, a etiqueta morfológica e o seu lema.
    – ladybug
    Commented 30/08/2017 às 14:16
  • 1
    Ok! Foi vcs que desenvolveram? se não, não há como configura-lo para que ele crie um caracter pra separar as colunas? do jeito que está, pelo menos visualmente, é impossível identificar as colunas, se pelo menos as mesmas tivessem largura fixa já ajudaria. Veja esse texto (que, embora não nesse contexto, é sobre o assunto) para entender o que estou falando.
    – Sidon
    Commented 30/08/2017 às 14:49
  • Na verdade é uma coluna, uma tabulaçao, outra coluna, tabulaçao e coluna. Eu consigo imprimir toda a segunda coluna, por exmplo, deste jeito: linhas.split('\t')[2]
    – ladybug
    Commented 30/08/2017 às 15:14
  • 1
    Veja se a minha resposta atende o objetivo
    – Sidon
    Commented 30/08/2017 às 16:42

1 Resposta 1

1

[TL;DR]

Pandas

Agora entendi o formato do arquivo, não sei se entendi completamente o objetivo, então fiz uma versão baseado no pandas, que conta as ocorrencias de cada palavra em cada coluna.

Primeiro vamos simular o arquivo, para facilitar inclui uma linha para identificar as colunas, isto pode ser feito facilmente em um sistema em produção.

import io 
import pandas as pd

# Simulando um txt separado por tabs
s = '''
Palavra\tEtiqueta\tLema
luz\tNC\tluz
mas\tADV\tmás
blanquita\tADJ\tblanco
que\tCQUE\tque
las\tART\tel
que\tCQUE\tque
traía\tVLfin\ttraer
de\tPREP\tde
serie\tNC\tserie
mi\tPPO\tmi|mío
coche\tNC\tcoche
'''

Agora vamos ler o arquivo para um dataframe do pandas

# lendo o arquivo para um dataframe
df = pd.read_csv(io.StringIO(s), sep='\t')

Apresentando o dataframe

df
Out[15]: 
      Palavra Etiqueta    Lema
0         luz       NC     luz
1         mas      ADV     más
2   blanquita      ADJ  blanco
3         que     CQUE     que
4         las      ART      el
5         que     CQUE     que
6       traía    VLfin   traer
7          de     PREP      de
8       serie       NC   serie
9          mi      PPO  mi|mío
10      coche       NC   coche

Agora vamos agrupar pela coluna Palavra e apresentar o número de ocorrencias de cada palavra dessa coluna em toda a tabela:

df.groupby('Palavra').count()

           Etiqueta  Lema
Palavra                  
blanquita         1     1
coche             1     1
de                1     1
las               1     1
luz               1     1
mas               1     1
mi                1     1
que               2     2
serie             1     1
traía             1     1

Agrupando pela coluna Etiqueta e apresentando o número de ocorrencias de cada palavra dessa coluna, na tabela:

df.groupby('Etiqueta').count()

          Palavra  Lema
Etiqueta               
ADJ             1     1
ADV             1     1
ART             1     1
CQUE            2     2
NC              3     3
PPO             1     1
PREP            1     1
VLfin           1     1

Finalmente, os resulado do agrupamento pela coluna Lema e o número de ocorrencias de cada palavra dessa coluna em toda a tabela:

df.groupby('Lema').count()

        Palavra  Etiqueta
Lema                     
blanco        1         1
coche         1         1
de            1         1
el            1         1
luz           1         1
mi|mío        1         1
más           1         1
que           2         2
serie         1         1
traer         1         1

Baixe ou veja renderizado em jupyter notebook.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .