2

Gostaria de conseguir os nomes das empresas que aparecem numa pesquisa do tipo "Farmacias em Santo Andre" no Google Maps.

Erro: Exception in thread "main" java.lang.IndexOutOfBoundsException: Index 0 out of bounds for length 0
at java.base/jdk.internal.util.Preconditions.outOfBounds(Preconditions.java:64) 
at java.base/jdk.internal.util.Preconditions.outOfBoundsCheckIndex(Preconditions.java:70) 
at java.base/jdk.internal.util.Preconditions.checkIndex(Preconditions.java:248) 
at java.base/java.util.Objects.checkIndex(Objects.java:372) 
at java.base/java.util.ArrayList.get(ArrayList.java:458) 
at crawlergooglemap.CrawlerGoogleMap.main(CrawlerGoogleMap.java:48)
 C:\Users\Eugene\AppData\Local\NetBeans\Cache\11.1\executor-snippets\run.xml:111: The following error occurred while executing this line:
 C:\Users\Eugene\AppData\Local\NetBeans\Cache\11.1\executor-snippets\run.xml:68: Java returned: 1 BUILD FAILED (total time: 7 seconds)
public static void main(String[] args) throws IOException, XmlPullParserException {

    String url;
    Scanner s = new Scanner(System.in); 
    System.out.println("Cole a URL do maps:"); 
    url = s.next(); 
    Document page = Jsoup.connect(url).get(); 
    for(int i = 0; i < 20; i++){ 
        String empresa = page.getElementsByAttribute("section-result-title").get(0).selectFirst("h3").text(); 
        if(empresa.length() != 0){ 
            System.out.println(empresa); 
        }
       else{ 
           System.out.println("0"); 
       }
    } 
}

Parte do HTML do site:

<div class="section-result-title-container">
  <h3 class="section-result-title">
    <span jstcache="134">Farmácia Nazaré</span>
    <button jstcache="135" style="display:none"></button>
  </h3>
  <span jstcache="136" class="section-ads-placecard" style="display:none">Anúncio</span>
  <span jstcache="137" class="section-hotel-ads-url" style="display:none">Anúncio</span> 
4
  • 1
    Se deu esse erro é porque getElementsByAttribute não encontrou nada e retornou uma lista vazia. Neste caso, bastaria verificar antes se a lista é vazia (usando isEmpty(), por exemplo)
    – hkotsubo
    Commented 15/08/2019 às 11:41
  • Blz, isso "resolveu", agora eu percebi que o programa não pega nenhuma informação, o isEmpty() sempre da 1 Commented 15/08/2019 às 14:19
  • Se está vazio, então não existe nenhum elemento com o atributo section-result-title. Mas se quer obter os resultados, talvez seja melhor usar a API do Google Maps em vez de acessar o HTML e tentar extrair dados do mesmo. Obs: não testei esse link, foi um que apareceu nos resultados de busca, mas vc pode procurar outros, caso queira. Acessar a API diretamente me parece mais simples que destrinchar o HTML (mesmo que a API possua limite de acessos e a partir de certa quantidade passe a cobrar)
    – hkotsubo
    Commented 15/08/2019 às 14:34
  • No caso eu tava pegando uma classe com esse nome e usando get Attribute, mas ja mudei pra get class e não vai tb, e a classe ta la sim, olha ai uma parte do site, (e valeu pela API): <div class="section-result-title-container"> <h3 class="section-result-title"> <span jstcache="134">Farmácia Nazaré</span> <button jstcache="135" style="display:none"></button> </h3> <span jstcache="136" class="section-ads-placecard" style="display:none">Anúncio</span> <span jstcache="137" class="section-hotel-ads-url" style="display:none">Anúncio</span> Commented 15/08/2019 às 14:57

1 Resposta 1

1

Segundo a documentação do Jsoup, o método getElementsByAttribute recebe o nome do atributo a ser buscado. No caso do seu HTML, você parece estar querendo buscar este elemento:

<h3 class="section-result-title"> 

Repare que o nome do atributo é class, e o valor é section-result-title. O método getElementsByAttribute recebe o nome do atributo, mas você estava passando o valor, por isso ele não encontra nada (e a lista de elementos é vazia, por isso get(0)IndexOutOfBoundsException, pois você está tentando acessar um elemento que não existe).

O que você precisa nesse caso é do método getElementsByAttributeValue:

// procura os elementos que possuem class="section-result-title"
Elements results = page.getElementsByAttributeValue("class", "section-result-title");
if (!results.isEmpty()) {
    String empresa = results.get(0).text();
    if (empresa.length() != 0) {
        System.out.println(empresa);
    } else {
        System.out.println("0");
    }
}

Repare também que eu verifico se a lista de elementos retornada é vazia, pois se for, o get(0) continuará dando erro. Se a lista não for vazia, eu prossigo com o restante do código.


Outra alternativa é usar o método select:

Elements results = page.select("h3[class=section-result-title]");
if (!results.isEmpty()) {
    ....
}

No caso, estou procurando os elementos h3 que possuem o atributo class com o valor section-result-title (mais sobre esta sintaxe na documentação).


Outro detalhe é que não entendi porque você só está pegando o primeiro elemento da lista. Se quiser percorrer todos os elementos encontrados, basta fazer um for simples:

Elements results = page.select("h3[class=section-result-title]");
for (Element el : results) {
    String empresa = el.text();
    if (empresa.length() != 0) {
        System.out.println(empresa);
    } else {
        System.out.println("0");
    }
}

Assim, se a lista for vazia, ele nem entra no for, e você não precisa ficar verificando se ela é vazia. Mas a intenção era pegar apenas o primeiro elemento, então use os códigos anteriores.

3
  • Tentei das maneiras que vc mostrou e o Results continua Empty, será que a Google tem alguma proteção contra crawler? Commented 15/08/2019 às 23:11
  • Faça System.out.println(page) e veja como está o HTML
    – hkotsubo
    Commented 15/08/2019 às 23:12
  • É, o arquivo que salva é muito diferente do site, cheio de partes com null, creio que eles usem alguma proteção, até porque eles tem uma api que vendem. Valeu a ajuda Commented 16/08/2019 às 3:00

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .