0

Parsing: um texto de entrada que vai passar pela gramática e a saída são todas as entradas que a gramática encontrar no texto. O problema é que meus não-terminais são arquivos de listas externos e eu não consigo visualizar uma maneira de fazer.

Exemplo de um pseudo-código:

1) Abrir um texto

2) Passar a gramática (só um exemplo):

grammar("""

S -> NP VP

NP -> DET N

VP -> V N

DET -> lista_det.txt

N -> lista_n.txt

V -> lista.txt""")

3) Printar os resultados do texto que obedecem à gramática

Por exemplo:

with open ("corpus_risque.txt", "r") as f:
    texte = f.read()

    grammar = nltk.parse_cfg("""
    S-> NP VP
    NP -> DET N
    VP -> V N 
    DET -> lista_det.txt
    N -> lista_n.txt
    V -> lista.txt""")

    parser = nltk.ChartParser(grammar)
    parsed = parser.parse(texte)
    print(texte)

Normalmente, as gramáticas se apresentam desta forma, já prontas:

grammar = nltk.parse_cfg("""

S -> NP VP
VP -> VBZ NP PP
PP -> IN NP
NP -> NNP | DT JJ NN NN | NN
NNP -> 'Python'
VBZ -> 'is'
DT -> 'a'
JJ -> 'good'
NN -> 'programming' | 'language' | 'research'
IN -> 'for'
""")

Seria possível?

4
  • 1
    Dá para explicar melhor o que é "passar a gramatica"? o que é "abrir um texto" e que é "meus não terminais"?
    – Sidon
    Commented 31/08/2017 às 14:54
  • Obrigada pela paciência, dei uma editada na minha pergunta. Eu realmente nao me expresso muito bem... Abrir um texto: entrada, um texto que será análisado. Passar a gramática: conceber regras para que o programa as encontre no texto (Ex.: NP -> DET N deve encontrar todas as sequências DET N no texto) Nao terminais: DET -> lista_det.txt, N -> lista_n.txt, V -> lista.txt
    – ladybug
    Commented 31/08/2017 às 15:17
  • 1
    Desculpe, continuo não entendendo. Qual é o problema principal? O que vc nao consegue fazer? O problema é ler os arquivos lista_det.txt, lista_n.txt e lista.txt, é isso?
    – Sidon
    Commented 31/08/2017 às 16:54
  • Uma gramática é fomada por terminais (N, DET, V...) e nao terminais ('o', 'casa', 'é'...). Os terminais sao as minhas listas mas nao é possível colocar uma lista dentro de uma gramática (preciso destas listas porque há muitas entradas e que certamente vao aumentar, entao difícil de colocar num script) . Eu preciso ler estes arquivos para que eu possa aplicar as regras da gramática em um texto (Ex: NP -> DET N vai encontrar todos os DET N no texto. Desculpa, nao se incomode. A verdade é que eu sou iniciante e isso que preciso fazer é mais complexo, eu acho. Muito obrigada por tentar ajudar!! :)
    – ladybug
    Commented 1/09/2017 às 12:31

1 Resposta 1

1

De fato o que vc deseja é impossível. O que ocorre é que vc está criando um nó terminal "DET -> lista_det.txt", no qual a analise ira pedir por este terminal lista_det.txt especificado pelo não-terminal Det na lista. tente criar um arquivo do tipo cfg ou fcfg com os elementos divididos e depois chame em um script, será mais fácil.

Por exemplo.: Eu crio um arquivo chamado tester.fcfg com algumas regras gramáticas e itens lexicais com alguns traços e um script x.py

O meu script terá:

import nltk

from nltk import grammar, parse, FeatStruct

sent = input('Digite uma sentenca ou palavra: ')

cp = parse.load_parser('tester.fcfg', trace=2)

tokens = sent.split()

trees = cp.parse(tokens)

for tree in trees: print(tree)

tree.draw()

E no arquivo tester.fcfg:

##Regras Gramaticas##

Sentence -> SD[AGR=?a] SV[AGR=?a]
Sentence -> SD[AGR=?a]
Sentence -> SV[AGR=?a]
Sentence -> Nome
Sentence -> Verbo
Sentence -> PP[AGR=?a]
Sentence -> Pro[AGR=?a] 
Sentence -> Pro[AGR=?a] SV[AGR=?a]
Sentence -> P[AGR=?a]
Sentence -> P[AGR=?a] N[AGR=?a] | P N
Sentence -> VBar
Sentence -> SD SV

SN[AGR=?a] -> SD[AGR=?a] | N[AGR=?a] | SD[AGR=?a] PP[AGR=?a] | N[AGR=?a]

SD[AGR=?a] -> Det[AGR=?a] N[AGR=?a] | Det[AGR=?a] | PP[AGR=?a] N[AGR=?a] | Det N

PP[AGR=?a] -> P[AGR=?a] SN[AGR=?a]

SV[AGR=?a] -> V[AGR=?a] SN[AGR=?a] | V[AGR=?a] PP[AGR=?a] SN[AGR=?a] | VBar

VBar -> Pro[AGR=?a] SV[AGR=?a] | Pro[AGR=?a] V[AGR=?a]

Nome -> N

Verbo -> V

##Tracos Lexicais##

Det[AGR=[NUM='sg', GND='f'],CAT =[Cat='Artigo']] -> 'a' | 'da' | 'na'

Det[AGR=[NUM='pl', GND='f'], CAT =[Cat='Artigo']] -> 'as' | 'nas'

Det[AGR=[NUM='sg', GND='m'], CAT =[Cat='Artigo']]-> 'o' | 'de' | 'no' | 'um'

Det[AGR=[NUM='pl', GND='m'], CAT =[Cat='Artigo']]-> 'os' | 'nos'

Pro[AGR=[NUM='sg', GND='m', PERS='3']]-> 'ele'

Pro[AGR=[NUM='sg', GND='m', PERS='1']]-> 'eu'

P[AGR=[NUM='sg', GND='m', PERS='3'], CAT =[Cat= 'Pronome', SubCat= Demonstrativo]] -> 'este' | 'aquele' | 'esse'

P[AGR=[NUM='pl', GND='m', PERS='3']] -> 'estes' | 'aqueles' | 'esses'

P[AGR=[NUM='sg', GND='f', PERS='3']] -> 'esta' | 'aquela' | 'essa'

P[AGR=[NUM='pl', GND='f', PERS='3']] -> 'estas' | 'aquelas' | 'essas'

N[AGR=[NUM='sg', GND='f'], CAT =[Cat='Substantivo', SubCAT='Comum']] -> 'biblioteca' | 'doutora' | 'leoa' | 'livraria' | 'professora' | 'lavadeira' | 'aluna' | 'madre' | 'menina' | 'mae' | 'mulher' | 'dentista' | 'juiza'

N[AGR=[NUM='pl', GND='f'], CAT =[Cat='Substantivo', SubCAT='Comum']]-> 'doutoras' |  'meninas' | 'mulheres' | 'juizas' | 'bola' | 'pata'

N[AGR=[NUM='sg', GND='m'],CAT =[Cat='Substantivo', SubCAT='Comum']] -> 'menino' | 'homem' | 'juiz' | 'doutor' | 'professor' | 'livro' | 'carro' | 'jogador'

N[AGR=[NUM='sg', GND='m'], SEMANTICA=[ ANI='animal']]-> 'pato' | 'cachorro' | 'gato'

N[AGR=[NUM='sg', GND='m'],CAT =['Substantivo Proprio'], SEMANTICA=[ ANI='humano']]-> 'Pedro' | 'Carlos' | 'Henrique'

N[AGR=[NUM='sg', GND='f'], CAT =['Substantivo Proprio'], SEMANTICA=[ ANI='humano']]-> 'Maria' | 'Veronica' | 'Lara' | 'Carla'

N[AGR=[NUM='pl', GND='m']] ->  'meninos' | 'homens' | 'livros' | 'carros'

N[AGR=[NUM='sg', GND='n']] ->  'estudante' | 'piloto' | 'presidente' | 'jornalista' | 'jogadora' | 'jornal'

N[AGR=[NUM='pl', GND='n']] -> 'estudantes' | 'pilotos' | 'presidentes' | 'jornalistas'

V[AGR=[NUM='sg'], CAT =['Verbo'], CP=['presente do indicativo']] -> 'comprar' | 'compra' | 'comprou' | 'pegar' | 'pegou' | 'ler' | 'leu' | 'ama' | 'amo' | 'amar' | 'jogar' | 'entrou' | 'amor'

V[AGR=[NUM='sg'], CAT =[Cat='Verbo', SubCat = ' Ligacao e adicao'], CP=['presente do indicativo']] -> 'e'  


"""

Veja que o que será chamado pelo script será os itens lexicais e as regras da gramática especificada no mesmo arquivo. A questão é, quais os modelos linguísticos (neste caso são traços organizados por AVM [Atributo-Valor]) que você está seguindo e para que tipo de implementação computacional deseja...

Não sei se é exatamente isso, mas pelo que vi, vc está tentando criar além de um corpus, formas de etiquetagem e parsing. Veja a documentação do NLTK, além de alguns livros para ajudar melhor.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .