0

Boa noite. Estou usando o python pela primeira vez a fim de rodar um crawler. Consegui rodar e pegar as aquisições e quero salva-las no MongoDB via pymongo. Tentei seguir a documentação oficial mas por algum motivo não estou conseguindo. Alguém sabe como inserir ou já fez algo parecido? Abraços.

import scrapy
import pymongo
from pymongo import MongoClient


class NameSpider(scrapy.Spider):
    name = 'SpiderName'
    allowed_domains = ['randomDomain']
    start_urls = ['randomDomain Url']

    def parse(self, response):
        data = []
        for selector in response.css("span.style_data"):
            data.append(selector.css("::text").extract()

        print(data)

# O data aparece como desejado,agora desejo salvar seu conteudo no MongoDB.

1 Resposta 1

1

Olá, estão faltando informações sobre o seu problema, mas vou tentar ajudar da melhor forma possível.

Primeiramente seria interessante se você já entendesse os conceitos de um banco não relacional. No MongoDB temos basicamente temos: coleções e documentos, e em resumo:

  • coleções: grupo de documentos armazenados (em comparação bem genérica seria similar a tabela em um banco de dados relacional),
  • documentos: forma de armazenar os dados propriamente dito, no MongoDB os documentos são armazenados no formato JSON (no caso do pymongo são utilizados dicionários para representar documentos).
Operações básicas do pymongo:
  • Criar um client para conexão e conectar a um bd:

    from pymongo import MongoClient

    client = MongoClient()

    #conectar a um bd local

    client = MongoClient('localhost', 8000) ou
    client = MongoClient('mongodb://localhost:8000')

  • Acessar a um banco de dados:

    banco = client.crawler_db ou banco = client['crawler_db']

  • Acessar a uma coleção em específico:

    colecao = banco.dados_crawler ou colecao = banco['dados_crawler']

    obs: coleções e bancos são criados a partir do momento em que é inserido o primeiro documento!

  • Manipulando documentos:

    doc_exemplo = { "dado1" : 123, "dado2" : "teste_bd" }

Esse é o formato esperado de um documento do MongoDB (formato JSON).

  • Inserindo um documento:

    dados_crawler = banco.dados_crawler

    resultado = dados_crawler.insert_one(doc_exemplo)

  • Inserindo vários documentos:

    resultado = dados_crawler.insertMany([doc_exemplo, doc_exemplo2])

Para não me estender mais, acredito que isso seja suficiente para resolver seu problema.

Seguem referências de documentação/tutoriais com exemplos:

  1. Tutorial Básico - inglês
  2. Introdução ao MongoDB - inglês
1
  • Muito obrigado! Eu escrevi com poucas informações porque não conheço muito de python e MongoDB (e nem de progamação em geral) mas com seu post consegui entender mais sobre banco de dados e consegui fazer o que eu queria. Abraços
    – user119916
    Commented 18/07/2018 às 12:47

Você deve fazer log-in para responder a esta pergunta.