19

As aplicações de dicionários completos e confiáveis são imensas (nem é preciso elencá-las aqui!)... A nossa língua, ao contrário do inglês e outras tantas sem uma "referência oficial", é normatizada, e tem um importante vocabulário de referência, que simplificaria a vida dos programadores e usuários de bases de dados linguísticas.

Pergunta

No Brasil (em Portugal dizem que é similar) os livros escolares, os softwares de correção ortográfica, etc. todos são (indiretamente) obrigados, por Lei, a cumprir com a ortografia expressa no VOLP - Vocabulário Ortográfico da Língua Portuguesa. São ~381.000 verbetes (ver link): onde estão eles?

Alguém sabe onde ou como posso conseguir o VOLP (para download ou em CD) em XML, SQL ou outro formato estruturado? Na verdade não precisa ser "o VOLP", basta ser um vocabulário sério e confiável (ex. bases do Unitex ou do Vero) com um flag nos vocábulos oficiais do VOLP.

10
  • Peter Krauss, não diretamente relacionada a sua pergunta, mas se sua correção não for baseada na VOLP, talvez esta resposta que eu dei em outra pergunta seja útil de alguma forma. Commented 23/03/2014 às 23:30
  • 7
    @Bacco Infelizmente aqui no Brasil é comum a situção em que, por lei, você precisa seguir um certo padrão ou norma técnica, mas as informações sobre esse padrão precisam ser compradas - pois estando sujeitas ao copyright não podem ser copiadas. O mesmo vale para diversos dados oficiais, como os códigos postais. Isso é um baita empecilho ao progresso, pois muitas soluções informatizadas tornam-se inviáveis e/ou proibitivamente caras - pois ainda que os meios técnicos estejam prontamente disponíveis, você fica barrado por aspectos jurídicos.
    – mgibsonbr
    Commented 24/03/2014 às 12:30
  • 1
    @Bacco e mgibsonbr: estou editando a questão... Vejam se com as notas consigo arrancar dos nossos leitores umas respostas, mesmo que apenas para discutir o tema. Commented 24/03/2014 às 18:41
  • 1
    Existem alguns corpora de texto em português extraídos de diversas fontes como jornais e revistas que cientistas usam para fins diversos (como a construção de analisadores de SPAM, por exemplo). Naturalmente não são oficiais como o VOLP, mas talvez sejam uma alternativa útil para outras necessidades além de dicionários. Exemplos: CETEM (PT), CETEM/Folha (BR) e LAEL (BR) Commented 16/04/2014 às 19:33
  • 1
    @LuizVieira, A seleção e organização de corpus linguísticos é muito importantes para estabelecer a relevância (frequência de uso), ainda negligenciada pelo VOLP: nele não encontramos termos relevantes como "meio ambiente" (aparece em leis federais, obras científicas, jornalísticas, etc.) mas encontramos termos arcaicos e de relevância nula como "meio corpo de armas". O foco da minha pergunta, todavia, é a certificação (desculpe apontei isso apenas nas Notas/Contextualização): preciso certificar quais termos de um texto são oficiais e quais não. Commented 17/04/2014 às 11:33

2 Respostas 2

12

(ISSO NÃO É RESPOSTA!)

As notas a seguir são subsídios para as respostas, e também um retorno para aos comentários postados na pergunta. É um texto Wiki: você pode colaborar revisando e ampliando!

NOTAS DE SUBSÍDIO

Este é um texto aberto (Wiki) para subsidiar a questão geral do acesso livre ao VOLP (ou ao VOP), patrimônio das nações e dos falantes da língua portuguesa.

Como a maioria de nós não está familiarizado, é preciso iniciar por uma certa revisão sobre leis, vocabulários e dicionários abertos de confiança. Pode-se reparar pelos comentários que a questão não é meramente técnica. A opção nestas notas de subsídio foi por incentivar o rumo tomado em questões similares, onde se discute mais que se responde. Todos os leitores e respondentes estão convidados a editarem também o texto das presentes notas.

Direito autoral e vigência

(em resposta a @Bacco) Sobre a obrigatoriedade e sua vigência. Segundo a versão consolidada de diversas fontes na Wikipedia e Leis oficiais do LexML:

  • O "Acordo Ortográfico de 1990" foi promulgado pelo Congresso Nacional em 18 de abril de 1995;

  • Para implementar o referido Acordo Ortográfico, editaram-se, aqui no Brasil, os Decretos federais 6.583, 6.584 e 6.585, e se aprovou o Protocolo Modificativo ao mencionado acordo.

    • O Decreto Nº6.583 de 2008 tem como anexo "ACORDO ORTOGRÁFICO DA LÍNGUA PORTUGUESA", que estabelecia no seu artigo 2º que "os Estados signatários tomarão (...) as providências necessárias com vista à elaboração (...) de um vocabulário ortográfico comum da língua portuguesa". Estabelece ainda que "os vocabulários autorizados registrarão grafias alternativas admissíveis (...) é evidente que só a consulta dos vocabulários ou dicionários pode indicar".

    • Decreto 6584, tem como anexo o "PROTOCOLO MODIFICATIVO AO ACORDO ORTOGRÁFICO DA LÍNGUA PORTUGUESA": dá uma nova redação apenas para os artigos 2 e 3, fixando como válidos os vocabulários elaborados "até 1 de janeiro de 1993".

    • O VOLP é editado pela Academia Brasileira de Letras (ABL), a qual supostamente teria a responsabilidade legal de editá-lo: essa suposição e outras tantas sobre grafia, pronúncia, etc. oficiais do português, não constam no Decreto Eduardo Ramos, de n. 726, de 8/12/1900, única norma citada para esse fim. Segundo migalhas.com.br "... essa posição tem sido assim reconhecida sem contestações ao longo de décadas", ou seja, não existe lei escrita, apenas uma "tradição" no preenchimento dessa lacuna.

  • O MEC foi o órgão que mais cobrou pela obrigatoriedade (e quase conseguiu nos livros didáticos brasileiros) a partir de janeiro de 2013... Não por acaso o Brasil havia se feito representar em 1990 pelo Ministro da Educação. Mas (em 2012) o governo federal, pela Lei 7875, adiou a obrigatoriedade para 2016.

(em resposta a @mgibsonbr) Sobre as contradições entre direito de cobrar copyright (não oferecer download) e o Direito Constitucional brasileiro. Parece que a venda do VOLP é, teoricamente, inconstitucional:

  • Os fundamentos do LexML podem ser estendidos ao VOLP: o VOLP é citado em Lei, portanto faz parte dela. O governo tem obrigação de torná-la pública, não pode cobrar do cidadão pelo acesso à Lei.

  • O cidadão brasileiro não pode alegar "ignorância da Lei": a Constituição Federeal (CF) garantiria "obrigatoriedade da publicação" (art. 37), "direito de acesso" (art. 5º, inciso XIV) e "obrigatoriedade da franquia ao acesso" (art. 216, § 2º).

  • Caso precedente: norma ABNT NBR 9050:2005 - Acessibilidade a edificações, e parece que também a NBR-15575-5, são as únicas abertas (o download do texto é oferecido). As reclamações sobre abusos da ABNT já são antigas (ver 1, 2, e dezenas de outras)... As reclamações parecem ter desencadeado uma primeira iniciativa de abertura. O impacto do VOLP sobre todo e qualquer cidadão, todavia, é muito maior do que o impacto da restrição de acesso a uma norma ABNT, portanto mereceria maior atenção.

Contextualização

Existem dezenas de "vocabulários não-oficiais", alguns até confiáveis e melhor estruturados que o VOLP, mas não se prestam à certificação (nenhum dos pesquisados contém um flag indicando quais são as grafias do VOLP):

  • Projeto Unitex: provavelmente o mais rigoroso e sólido "framework para dicionários". O ideal seria trabalhar com ele... Ver Downloads do Unitex3.0.zip com todos os dicionários, em 2013 ainda não estava atualizado para o Acordo Ortográfico de 1990.

  • Projeto Vero do LivreOffice: talvez não tão rigoroso quanto o Unitex, mas certamente hoje o mais completo (volumoso) e o que mais recebeu colaborações, revisões, verificações, etc. O download do aplicativo depende do download da ultima versão do arquivo extensão "oxt", que é em si o dado-fonte do dicionário e tudo mais. O projeto VERO, foi construído com o uso do software Hunspell que implementa o spell-checker do LibreOffice, do Firefox, do Chrome e diversos outros aplicativos. O projeto VERO é a iniciativa que criou os dados linguisticos (afixos, flexões, etc.) que são processados pelo Hunspell: o arquivo mais atual do Vero, por exemplo, VeroptBRV320AOC.oxt, carrega todos os dados. Para acessa-los basta renomear o arquivo para VeroptBRV320AOC.zip e unzipar. Rodando (dica do Raimundo e seus colaboradores)  ./unmunch pt_BR.dic pt_BR.aff | sort -u > listaCompleta.txt  obtemos uma lista completa de todas as palavras do portugues (mais completa e coerente inclusive do que o VOLP). Segundo R.S.Moura,

... o VERO nunca recebeu apoio da ABL. O nosso léxico é resultado do trabalho voluntário de muitos abnegados que vestiram a camisa deste Projeto, disponibilizando seus materiais acadêmicos, pesquisas, listas de termos, apontando falhas e sugerindo novas palavras, durante os oito anos de atividade do VERO" (email pessoal de abril de 2014, reprodução autorizada).

  • Recurso "words" do Unix: no UBUNTU foi apelidado de wordlist e fica em /usr/share/dict/brazilian (listar com more). Pode ajudar a conferir palavras, consolidar com outros dicionarios abertos, mas não parece muito confiável ou tão ativo. Instala-se com sudo apt-get install wbrazilian.

Dicionários propriamente ditos: possuem caráter de "ontologia" (descrição semântica das palavras), mais do que de "vocabulário"... Como em geral abrangem também o vocabulário, se confiáveis e bem completos, podem ser tão úteis quanto vocabolários:

  • Wiktionary.org do Português: fonte colaborativa... Pode-se avaliar pelo download (ptwiktionary-latest-all-titles.gz) que ainda é incompleto, além de não ter "flag VOLP".

  • pt-PT, Docionário de Candido de Figueiredo, de 1913: é um bom ponto de partida para a criação de um dicionário de domínio público... "sendo a edição deste dicionário de 1913, de acordo com a legislação actual sobre direitos de autor, os direitos de cópia do seu conteúdo já prescreveram, tornando-o integrante no Domínio Público"3.

2
  • 1
    Alguém já teve contato com a base de dados do VOC? voc.iilp.cplp.org Aparentemente ele será o "vocabulário do português universal", substituindo o VOLP (!). Commented 2/05/2015 às 20:33
  • ... estamos em 2021 e nada. Um ponto de partida seria mobilizar experts para retomar o projeto Unitex, aparentemente o mais sério e organizado, gerando resultados bastante confiáveis.. Só falta atualizar um pouco. github.com/UnitexGramLab/unitex-lingua/tree/master/pt-BR Commented 1/07/2021 às 22:55
0

Encontrei um material muito bom no site Léxico do Português Brasileiro - LexPorBR.

Baixando o Léxico do Português Brasileiro - Alfa, zip, encontramos dentro dele o arquivo lexporbr_alfa_txt.txt, cuja primeira coluna traz as palavras e a segunda coluna traz a classificação gramatical de cada uma. Como eu procurava uma lista de substantivos, foi fácil filtrar, resultando em 82.097 substantivos. Todas as demais classes gramaticais estão presentes, obviamente.

EDIT

O que fiz pra extrair substantivos do arquivo acima foi, no R:

d = read.csv('lexporbr_alfa_txt_utf8.txt',sep='\t')
n = d[d$cat_gram == 'nom',] # 82097
length(unique(n$ortografia)) # 82097 - só pra conferir

ort = vector()
for (i in 1:nrow(n)) {
  if (i %% 1000 == 0) {
    print(i) # mostrar o progresso, já que é um pouco lento
    flush.console()
  }
  dn = d[d$ortografia == n$ortografia[i],c(1,2,4)]
  if (nrow(dn) == 1 | dn$freq_orto[dn$cat_gram == 'nom'] == max(dn$freq_orto)) {
    ort = c(ort,n$ortografia[i])
  }
}
write.table(ort,'substantivos.txt',row.names=F,col.names=F,quote=F) # 78894 linhas - cheio de lixo, é verdade, mas serve pro meu propósito atual.

Se alguém conseguir fazer isso usando apply, adoraria ver.

Espero que ajude!

7
  • Obrigado Rodrigo por indicar mais essa fonte (!), que de fato parece ser atualizada (2019). Para baixar em Linux o ideal é converter para UTF8, iconv -f ISO-8859-1 -t utf8 lexporbr_alfa_txt.txt > lexporbr_alfa_txtUtf8.txt. Olhando por alto não me parece confiável como vocabulário de referência para certificações, é mais um apanhado estatístico para fins acadêmicos... Aparentemente é uma seleção de achados em algum grande corpus linguistico, por isso apresenta palavras estranhas e valores de frequência. Veja a palavra "mamãe" classificada como verbo por conta de freq_orto=1. Commented 1/07/2021 às 22:38
  • @PeterKrauss Eu usei o Geany pra converter pra UTF-8 (inacreditável ainda usarem ISO-8859 até hoje!). De fato, tem os seus problemas. Estou descartando substantivos que apareçam também como outras classes gramaticais, com isso caiu de 82 pra 73 mil palavras. Pro meu caso de uso vai ser suficiente. Você já encontrou alguma fonte melhor, que inclua classes gramaticais?
    – Rodrigo
    Commented 1/07/2021 às 22:45
  • Olá @Rodrigo! Sim, encontrei anos atrás e usei na época com o LexML, é o Unitex. Hoje um pouco mais atualizado, é ainda o mais sério e organizado. É mantido neste git, mas para quem não conhece talvez melhor partir do software deles, UnitexGramLab.org . A USP/NILC parou de atualizar em 2015, cuidado são apenas históricos nilc.icmc.usp.br/nilc/projects/unitex-pb/web/dicionarios.html Commented 1/07/2021 às 23:02
  • @PeterKrauss Eu já tinha baixado esse Unitex, mas o maior arquivo que encontrei nele é DELAS_PB_2018.dic, que só tem 75 mil termos, verbos incluídos. O site da USP fala em "67.500 canônicas associadas a suas regras de flexão" (ou seja, também com verbos). Isso é bem menos que os 73 mil substantivos do link que passei. Mas se estiver melhor curado, vale a pena. O arquivo a usar é o DELAS_PB_2018.dic mesmo? Pelo que estou vendo, os substantivos estão seguidos por ,Nxxx. Filtrar isso no R não vai ser difícil. Se for, depois coloco aqui o script. E obrigado!
    – Rodrigo
    Commented 2/07/2021 às 0:38
  • Olá @Rodrigo, mesmo o DELAS_PB_2018.dic, sendo um arquivo expandido, ele tem apenas as canônicas, não contem as flexões que são geradas pelo software que indiquei. O projeto Unitex é bacana porque dá consistência à lingua, tal como no voc.iilp.cplp.org/ ele gera as flexões por regra lógica (grafos de flexão), não por determinação de corpus linguístico. Apenas as canônicas advem de corpus. Acho que o DELAF (Dicionário de Palavras Simples Flexionadas) tem tudo, precisa usar o software para gerar (ultimo caso no site da USP tem zip antigo). Commented 2/07/2021 às 15:33

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .