4

Tenho uma aplicação .Net C# que pega dados via Web Service e salva em um banco de dados SQL Server 2012. A performance inicial é de 20 registros por segundos. Após ter uns 10000 registros na tabela, a performance começa a cair, gradativamente, chegando a somente 6 inserts por segundo.

A base de dados, tem somente primary key, sem nenhuma constraint ou indexe para atrapalhar o insert.

Como posso melhorar o insert?

Editado

Outro detalhe, se no meio do processo, se a tabela estiver com 15000 registros e eu apagar ela, a performance de insert volta a ser de 20 registros por segundo.

Editado, adicionado DDL das tabelas

CREATE TABLE [dbo].[PRODUTO](
    [PR_CODIGO] [int] NOT NULL,
    [PR_ABREVIATURA] [char](20) NOT NULL,
    [PR_DESCRICAO] [char](80) NOT NULL,
    [PR_DESCNOCUPOM] [char](1) NULL,
    [PR_LOTE] [char](1) NULL,
    [PR_COMPOSICAO] [char](1) NULL,
    [PR_PESAVEL] [char](1) NULL,
    [PR_PRECO] [numeric](15, 4) NULL,
    [PR_CUSTO] [numeric](15, 4) NULL,
    [PR_IMCODIGO] [int] NULL,
    [PR_STCODIGO] [int] NOT NULL,
    [PR_UMSIGLA] [varchar](3) NOT NULL,
    [PR_PSMCODIGO] [int] NULL,
    [PR_MLCODIGO] [int] NULL,
    [PR_REGSUM] [int] NULL,
    [PR_CODIGOPR] [int] NULL,
    [PR_MINIIMG] [int] NULL
) ON [PRIMARY]
SET ANSI_PADDING OFF
ALTER TABLE [dbo].[PRODUTO] ADD [PR_VARIAVEL1] [varchar](250) NULL
ALTER TABLE [dbo].[PRODUTO] ADD [PR_EXPORTADO] [char](1) NULL
ALTER TABLE [dbo].[PRODUTO] ADD [PR_RLCODIGO] [varchar](40) NULL
 CONSTRAINT [PRODUTO_PK] PRIMARY KEY CLUSTERED 
(
    [PR_CODIGO] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]


CREATE TABLE [dbo].[PRODUTO2](
    [PR_PRCODIGO] [int] NOT NULL,
    [PR_OBSERVACAO] [text] NULL,
    [PR_ATIVO] [char](1) NULL,
    [PR_TIPODISPO] [char](1) NULL,
    [PR_STPORESTADO] [char](1) NULL,
    [PR_NOVOPRECO] [numeric](15, 4) NULL,
    [PR_ORIGEM] [char](1) NULL,
    [PR_FUCODIGO] [int] NULL,
    [PR_CFCODIGO] [char](10) NULL,
    [PR_FOCODIGO] [int] NULL,
    [PR_UMCOMPRA] [varchar](3) NULL,
    [PR_DTREGISTRO] [datetime] NULL,
    [PR_DTULTALT] [datetime] NULL,
    [PR_VARIAVEL5] [char](20) NULL,
    [PR_VARIAVEL6] [char](20) NULL,
    [PR_PECOMISSAO] [numeric](15, 4) NULL,
    [PR_VARIAVEL7] [char](20) NULL,
    [PR_VARIAVEL8] [char](20) NULL,
    [PR_VALIDADE] [int] NULL,
    [PR_PESO] [numeric](15, 4) NULL,
    [PR_MOSIGLA] [varchar](3) NULL,
    [PR_DTALTPRECO] [datetime] NULL,
    [PR_PRECOANT] [numeric](15, 4) NULL,
    [PR_PECOMISSAOPRAZO] [numeric](15, 4) NULL,
    [PR_ALFA1] [varchar](40) NULL,
    [PR_ALFA2] [varchar](40) NULL,
    [PR_NUM1] [numeric](15, 4) NULL,
    [PR_NUM2] [numeric](15, 4) NULL,
    [PR_PRECOFUTURO] [numeric](15, 4) NULL
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]
SET ANSI_PADDING OFF
ALTER TABLE [dbo].[PRODUTO2] ADD [PR_EXIBETOUCH] [char](1) NULL
ALTER TABLE [dbo].[PRODUTO2] ADD [PR_VARIAVEL2] [varchar](250) NULL
ALTER TABLE [dbo].[PRODUTO2] ADD [PR_VARIAVEL3] [varchar](250) NULL
ALTER TABLE [dbo].[PRODUTO2] ADD [PR_VARIAVEL4] [varchar](250) NULL
ALTER TABLE [dbo].[PRODUTO2] ADD [PR_PESOBRUTO] [numeric](14, 2) NULL
ALTER TABLE [dbo].[PRODUTO2] ADD [PR_LABORATORIO] [varchar](80) NULL
 CONSTRAINT [PRODUTO2_PK] PRIMARY KEY CLUSTERED 
(
    [PR_PRCODIGO] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]


ALTER TABLE [dbo].[PRODUTO2] ADD  DEFAULT ('N') FOR [PR_ATIVO]
GO

CREATE TABLE [dbo].[BARRAS](
    [BR_BARRAS] [char](20) NOT NULL,
    [BR_PRCODIGO] [int] NOT NULL,
    [BR_LOTE] [int] NULL,
    [BR_UMSIGLA] [varchar](3) NULL,
    [BR_REGSUM] [int] NULL
) ON [PRIMARY]
SET ANSI_PADDING OFF
ALTER TABLE [dbo].[BARRAS] ADD [BR_CODIGOFISCAL] [char](1) NULL
 CONSTRAINT [BARRAS_PK] PRIMARY KEY CLUSTERED 
(
    [BR_BARRAS] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
11
  • 1
    Você está usando prepared statements ou dando um insert por vez?
    – Largato
    9/09/2014 às 20:02
  • As chaves primárias são string ou integer? Você faz o insert no escopo de transação? 9/09/2014 às 20:03
  • 2
    Se tudo é feito numa única transação gigantesca, esta pode ser a causa da lentidão, pois está sobrecarregando o BD. Faça isso em lotes, "comitando" a transação a cada N registros e tendo certeza de reutilizar a mesma conexão a cada inserção, sem ficar colocando e tirando a conexão do pool.
    – utluiz
    9/09/2014 às 20:07
  • Estou usando um insert por vez, tem uma transação para cada insert, pois envolve mais tabelas.
    – Tiedt Tech
    9/09/2014 às 20:12
  • @MarcoAurelio as PK são integer
    – Tiedt Tech
    9/09/2014 às 20:13

1 Resposta 1

2
  • Se a primary key é clusterizada e um novo registro tem um valor anterior aos que já estão na base de dados (exemplo: último registro inserido PK = 10.000, novo registro PK = 10) o servidor precisará reorganizar fisicamente a tabela para acomodar seu novo registro. O servidor costuma deixar uma fragmentação entre os dados para evitar esta reorganização, mas a fragmentação padrão pode não estar atendendo sua necessidade.

  • Se você concatena os valores no seu INSERT em vez de passá-los por parâmetro, o banco não está reaproveitando o plano de execução entre uma execução e outra e com isso você perde oportunidade de ter uma melhor performance.

Editado: Adicionado abaixo um método para identificar o motivo da lentidão.

  • Com as tabelas vazias, execute manualmente cada um dos INSERTs usando o MS SQL Server Management Studio e anote a performance (execute 3 vezes cada comando e anote o tempo total de cada execução).

  • A seguir, encha as tabelas utilizando o processo normal até que a lentidão comece a se manifestar.

  • Agora com as tabelas cheias, execute novamente os comandos comparando a performance com os primeiros testes. Se a lentidão se manifestar, você pode analisar o plano de execução e descobrir o motivo. Se a lentidão não se manifestar, ela está em outra parte que não nos comandos INSERT (processamento de uma grande lista em memória, por exemplo).

7
  • adicionei o DDL das 3 principais tabelas. PRODUTO e PRODUTO2 depois de 8000 registros perde a performance. Apagando elas, volta a performance e depois perde novamente. Ajustei para fazer o insert na ordem da PK e continou a lentidão, cheguei até a tirar as PK para ver se melhorava a velocidade de insert.
    – Tiedt Tech
    10/09/2014 às 14:08
  • @marlon.tiedt Pode postar também o comando INSERT e demais que são executados na mesma rotina (se houver)?
    – Caffé
    10/09/2014 às 14:14
  • @marlon.tiedt A tabela BARRAS tem PK clusterizada por código de barras? Isto poderia estar causando a lentidão que descrevi no primeiro item da minha resposta. Como você fez para remover as PKs? Recriou a tabela? É garantido que BARRAS também foi recriada sem PK durante os testes?
    – Caffé
    10/09/2014 às 16:02
  • 1
    @marlon.tiedt Acho que é melhor descobrir o motivo da lentidão. Atualizei minha resposta com uma sugestão de como identificá-lo.
    – Caffé
    10/09/2014 às 17:07
  • 1
    @marlon.tiedt Cada abrir e fechar de transação tem um custo, então de fato se você fizer isso em lotes, ganhará velocidade. Terá que achar a quantidade ótima pois commitar registros demais de uma vez também tem um custo extra. Bom, se o problema não eram os INSERTs talvez seja melhor remover esta questão. Boa sorte aí com seu desafio.
    – Caffé
    11/09/2014 às 13:44

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .