2

Estou aprendendo linguagem Go na parte de concorrência. Eu tive desafio de usar o padrão generator para obter um channel que leia o título de uma URL através de uma goroutine.

Dentro desta goroutine que eu montei, a leitura é realizada através da http GET para depois obtê-la numa string após a verificação de uma regex. Inicialmente, o código retornou o erro de indexação fora do limite (panic: runtime error: index out of range), e descobri que o erro era por causa da quebra de linha entre as tags <title>, a minha expressão regular não reconheceu essa quebra de linha usando (.*?), pois o ponto (.) desconsidera caracteres de quebra de linha.

Eu descobri isso dando view-source em qualquer site, percebendo que nem todos os títulos são definidos entre as tags <title> na mesma linha, podendo acontecer que estejam em linhas quebradas também, como por exemplo:

<title>
meusite
</title>

em vez de <title>meusite</title>

Até aí, tudo bem.

Com isso, tentei melhorar a minha regex para dar match em títulos que estejam na mesma linha, como também em linhas quebradas, mas infelizmente não obtive sucesso pelo fato do código não retornar títulos da maneira que eu queria.

Segue abaixo o meu código-fonte:

//Padrões de concorrência - Generator
//Para mais informações sobre padrões de concorrência, visitar a documentação
//Google I/O 2012 - Go Concurrency Patterns

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
)

func tituloURL(urls ...string) <-chan string {
    ch := make(chan string)

    for _, url := range urls {
        go func(url string) {
            resp, _ := http.Get(url)
            html, _ := ioutil.ReadAll(resp.Body)

            //r, _ := regexp.Compile("<title>(.*?)<\\/title>")
            // r, _ := regexp.Compile("<title>(.|\n)*?<\\/title>")
            r, _ := regexp.Compile("<title>(.*?)|([^\\d])*?<\\/title>")
            //r, _ := regexp.Compile("<title>([\\s\\S]*?)<\\/title>")
            // r, _ := regexp.Compile("<title>(.|[\\s\\S])*?<\\/title>")

            ch <- r.FindStringSubmatch(string(html))[1]

        }(url)
    }
    return ch
}

func main() {
    t1 := tituloURL("https://www.github.com", "https://www.linkedin.com")
    t2 := tituloURL("https://www.instagram.com", "https://www.youtube.com")
    fmt.Println("Prmeiros títulos:", <-t1, "|", <-t2)
    fmt.Println("Segundos títulos:", <-t1, "|", <-t2)
}

Como puderam perceber, tentei usar alguns padrões da regex, e no RegexPal deu match, mas no código não retornou o resultado esperado.

Alguns de vocês já têm alguma sugestão de uma outra regex que consiga solucionar esse erro?

Conto com a ajuda de vocês!

Estou no aguardo.

1

2 Respostas 2

0

Se você quiser usar a regexp:

var r = regexp.MustCompile(`(?is)<title>(.*?)</title>`)

matches := r.FindStringSubmatch(site)
if len(matches) == 2 {
    fmt.Printf("título: %q\n", matches[1])
} else {
    fmt.Println("sem título!")
}

Playground: https://play.golang.org/p/s5239JVHMQu.

Mas a melhor maneira é analisar HTML:

func getTitle(site string) (title string, err error) {
    resp, err := http.Get(site)
    // Check err.
    defer resp.Body.Close()

    node, err := html.Parse(resp.Body)
    // Check err.

    title, ok := findTitle(node)
    if !ok {
        return "", errors.New("no title")
    }

    return title, nil
}

func findTitle(node *html.Node) (title string, ok bool) {
    if node.DataAtom == atom.Title && node.FirstChild != nil {
        return node.FirstChild.Data, true
    }

    for c := node.FirstChild; c != nil; c = c.NextSibling {
        title, ok = findTitle(c)
        if ok {
            return title, ok
        }
    }

    return "", false
}
0

Para o . casar com \n é necessário adicionar (?s) à regex.

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "strings"
)

func tituloURL(urls ...string) <-chan string {
    ch := make(chan string)

    for _, url := range urls {
        go func(url string) {
            resp, _ := http.Get(url)
            html, _ := ioutil.ReadAll(resp.Body)

            r, _ := regexp.Compile("<title>(?s)(.*?)<\\/title>")

            s := r.FindStringSubmatch(string(html))[1]
            ch <- strings.TrimSpace(s)

        }(url)
    }
    return ch
}

func main() {
    t1 := tituloURL("https://www.github.com", "https://www.linkedin.com")
    t2 := tituloURL("https://www.instagram.com", "https://www.youtube.com")
    fmt.Println("Prmeiros títulos:", <-t1, "|", <-t2)
    fmt.Println("Segundos títulos:", <-t1, "|", <-t2)
}

Você pode encontrar mais informações sobre regexp em https://github.com/google/re2/wiki/Syntax.

A função TrimSpace do pacote strings pode remover os espaços do começo e do fim.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .