3

Eu sei que posso acessar a posição de um match de um regex em uma string usando os métodos start, end e span. Exemplo de um programa que identifica repetições em um texto:

import re
from colorama import Fore,Style

text='''Dorsey was born and raised in St. Louis, Missouri,[8][9] 
the son of Tim and Marcia (née Smith) Dorsey.[10][11][12] He is of English, Irish, and Italian descent.[13] 
His father worked for a company that developed mass spectrometers and his mother was a homemaker.[14] 
He was raised Catholic, and his uncle is a Catholic Catholic priest in Cincinnati.[15] He attended the Catholic 
Bishop DuBourg High School. In his younger days, Dorsey worked occasionally as a fashion model.
[16][17][18][19][20] By age 14, Dorsey had become interested in dispatch dispatch routing. Some of the open-source software he created in the area of dispatch logistics is still used by taxicab companies.[10] Dorsey enrolled at the University of Missouri–Rolla in 1995 and attended for two-plus years[15] before transferring to New York University in 1997, but he dropped out two years later,[21] one semester short of graduating.[15] 
He came up with the idea that he developed as Twitter while studying at NYU.[15][22]
'''

print("Searching for repeated words ...", "\n")
try:
    result=re.search(r'(\w{3,}\s)\1',text)
    start=result.start()
    end=result.end()
    value=result.group()
    print("The word \"{}\" is repeated at: ".format(value.split(' ')[0]),"\n\n")

    print(text[start-100:start]+ Fore.RED + text[start:end]+ Style.RESET_ALL+text[end:end+200])
except:
    print("No repeated words found")

Retorna:

inserir a descrição da imagem aqui

Note que o problema desse programa é que ele identifica apenas uma ocorrência. Eu imaginei que o método start retornaria uma lista ou tuple quando existe mais de um match, mas não é isso que acontece.

Como posso acessar a posição de todos os matchs de uma expressão regular em uma string? Por exemplo, a palavra dispatch também se repete no texto, mas não sei como faço para pegar a posição dela.

2
  • Não diretamente relacionado, mas quando search não encontra nada ele retorna None, então em vez de try/except, bastaria fazer if result: encontrou else: não encontrou
    – hkotsubo
    30/03/2021 às 23:10
  • Só palavras repetidas consecutivamente ex: Catholic Catholic e dispatch dispatch ou todas as palavras repetidas ex: Dorsey 30/03/2021 às 23:21

2 Respostas 2

5

Você está utilizando a função re.search para fazer o match da expressão regular. De acordo com a documentação:

Escaneia através da string procurando pela primeira posição onde a expressão regular produz um match e retorna o match object correspondente. [...]

Portanto, como a função search (assim como match e fullmatch) permitem apenas uma busca, você deve utilizar outra função, que permita realizar múltiplas buscas sucessivas em uma string.

O Python fornece as funções re.findall re.finditer para realizar a busca "completa", indo além da primeira ocorrência se presente. De modo que:

  • re.findall retorna todos os matches sem sobreposição como uma lista de strings.
  • re.finditer retorna um iterador que produz match objects para cada match na string.

Como o seu código utiliza métodos presentes em match objects, finditer me parece mais ideal.

Observe que como finditer retorna um iterador, é necessário utilizar algum tipo de meio para iterar sobre cada match objeto por ele produzido. No caso da string não tiver fornecido nenhum match, o iterador será vazio, de modo que nenhuma iteração ocorrerá.

No exemplo da pergunta, seria algo como:

import re
from colorama import Fore, Style

text = '''Dorsey was born and raised in St. Louis, Missouri,[8][9]
the son of Tim and Marcia (née Smith) Dorsey.[10][11][12] He is of English, Irish, and Italian descent.[13]
His father worked for a company that developed mass spectrometers and his mother was a homemaker.[14]
He was raised Catholic, and his uncle is a Catholic Catholic priest in Cincinnati.[15] He attended the Catholic
Bishop DuBourg High School. In his younger days, Dorsey worked occasionally as a fashion model.
[16][17][18][19][20] By age 14, Dorsey had become interested in dispatch dispatch routing. Some of the open-source software he created in the area of dispatch logistics is still used by taxicab companies.[10] Dorsey enrolled at the University of Missouri–Rolla in 1995 and attended for two-plus years[15] before transferring to New York University in 1997, but he dropped out two years later,[21] one semester short of graduating.[15]
He came up with the idea that he developed as Twitter while studying at NYU.[15][22]
'''

print("Searching for repeated words ...", "\n")

all_matches_iter = re.finditer(r'(\w{3,}\s)\1', text)

for match in all_matches_iter:
    start = match.start()
    end = match.end()
    value = match.group()

    print("The word \"{}\" is repeated at: ".format(
        value.split(' ')[0]), "\n\n")
    print(text[start-100:start] + Fore.RED +
          text[start:end] + Style.RESET_ALL+text[end:end+200])
3

Apenas para dar outra alternativa (pois o que eu usaria mesmo é finditer, conforme a outra resposta já explicou).

Você pode usar search indicando a posição em que a busca deve começar, e fazer um loop até que não haja mais matches:

import re

r = re.compile(r'(\w{3,}\s)\1')
end = 0
print("Searching for repeated words ...", "\n")
while True:
    result = r.search(text, end)
    if not result: break # se não achou, sai do while
    start = result.start()
    end = result.end()
    value=result.group()
    # o resto é igual (print, etc)

Repare que cada busca começa na posição em que a anterior termina (exceto pela primeira, que parte do início da string).

Curiosamente, esta opção de passar a posição inicial como parâmetro só está disponível para o método da classe Pattern (que é o que compile retorna), mas não na função re.search do módulo.


Aproveitando, sua regex pode ser melhorada pois ela tem alguns problemas.

Por exemplo, se o texto tiver algo como "Não seria ria etc...", o trecho "ria ria" será encontrado (o primeiro "ria" é da palavra "seria").

E se tiver algo como "etc etc.", ele não é encontrado, pois você colocou o espaço dentro do grupo de captura, então \1 só vai encontrar a palavra se também tiver um espaço depois.

Para arrumar isso, a regex deveria ser: r'(\b\w{3,}\b)\s\1' - no caso, o \b serve para delimitar a palavra (leia aqui para mais detalhes) e coloquei o espaço fora dos parênteses (assim, result.group() retornará a palavra sem o espaço - no seu código, está retornando com o espaço depois, não sei se era essa a intenção).

Vale lembrar que \w pega não só letras, mas também dígitos e o caractere _. Se quiser somente letras (incluindo as acentuadas), pode trocar para r'(\b[^\W\d_]{3,}\b)\s\1'.

2
  • 1
    Essa parte da posição de onde deve começar provavelmente (não confirmei) deve ajudar um pouco (ou muito) em performance, prometo lhes devolver um benchmark comparando em um exemplo bem mais simples isso e o finditer.
    – Syzoth
    31/03/2021 às 0:48
  • 1
    @GuilhermeNascimento Fiz um teste básico com timeit e não houve diferença significativa (às vezes finditer é ligeiramente mais rápido, às vezes não, na prática deu empate técnico): replit.com/@hkotsubo/RegexSearchVsFindIter#main.py | ideone.com/jYfS14 - Acredito que em muitos casos não fará diferença mesmo, talvez um caso ou outro dependendo da string e/ou da regex possa fazer diferença.
    – hkotsubo
    31/03/2021 às 13:22

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .