8

Realizando várias pesquisas em alguns dias não encontrei nada que garanta que o meu arquivo será escrito em um único bloco do disco (sei que bloco é somente uma metáfora para setores do disco criada pelo so).

Pelo que percebi para realizar isso não posso usar um filesystem como o Ansi do C. Procurando mais encontrei lugares dizendo que é possível realizar usando read, pread, write e pwrite do POSIX, porém em nenhum lugar foi dito que é garantido que tudo será lido/escrito em um bloco.

Existe alguma forma de fazê-lo?

15
  • 1
    O que você chama de bloco? Cluster? Tem que ver direito a nomenclatura, pois o significado muda muito de acordo com cada conceito.
    – Largato
    Commented 28/12/2016 às 16:23
  • 1
    Isso, seriam clusters então. Agora a duvida é, você mesmo entendeu o que esse link seu fala? Pq pra caber um arquivo num bloco, ele tem que ser um arquivinho bem pequeno. O bloco padrao da maior parte dos OSes hoje é 4096 bytes.
    – Largato
    Commented 28/12/2016 às 17:12
  • 1
    Os metadados normalmente nao ficam no bloco (que é o mesmo que cluster - em termos gerais, pq vc nao definiu que filesystem está tratando). Se vc escreve 8192 bytes, metade está no 1o bloco e metade no 2o;
    – Largato
    Commented 28/12/2016 às 17:19
  • 1
    Quem determina isso é o filesystem (ext3, NTFS, reiserfs, FAT), e não a linguagem ou API. Se quiser escrever com controle sobre o que cai em cada bloco, precisa fazer algo de nivel mais baixo. Nos sistemas mais comuns, basta manter um multiplo sensato. Mas cá entre nós, antes de mais nada precisa ver se isso te traz algum ganho de fato. Em geral, sobre o jeito que o arquivo vai ficar no disco é o que o @Bigown disse. Acho que pra ficar completa (depois das infos extras aqui) é só ele mencionar dos múltiplos.
    – Largato
    Commented 28/12/2016 às 17:32
  • 2
    Só que eu acho que você deveria editar e explicar melhor a pergunta entao, pq eu só consegui confirmar a dúvida depois de esclarecer com vc nos comentários, e é ideal que a pergunta seja autosuficiente. Se achar que realmente precisa bater com a maioria dos FSs e discos, faça multiplo de 512, mas até os HDs estao abandonando essa medida e indo pra uma espécie de "setor grande" de 4k tambem
    – Largato
    Commented 28/12/2016 às 17:33

2 Respostas 2

7

Garantia de manter um arquivo continuamente

nada que garanta que o meu arquivo será escrito em um único bloco do disco

De uma maneira geral não é possível, pelo menos não apenas no seu código de forma simples e universal.

A maioria dos sistemas de arquivos não podem dar essa garantia. Pelo menos nenhum que eu conheço. Em alguns é possível conseguir acessar o sistema em um nível mais baixo para verificar onde estão os setores e reservá-los para aquele arquivo. Além de ser algo complicado de fazer, exigir privilégio especial, a performance seria terrível, onde o pior caso varreria o dispositivo de armazenamento todo e talvez não ache um bloco contínuo. Ainda poderia manipular para tentar criar um bloco contínuo, ou seja, você teria que criar um desfragmentador dentro da sua aplicação. Loucura. Tem sistema de arquivo que nem permitirá fazer isso. Pode ter algum sistema que dê essa garantia controlando o tamanho de todos os blocos livres e fornecendo esta informação.

O que pode fazer é reservar o espaço para o arquivo e não aumentar seu tamanho. Dependendo do caso tem uma chance de conseguir um bloco contínuo. O fato de não mexer mais no tamanho do arquivo não vai fragmentá-lo depois.

Um outro truque seria diminuir o tamanho da partição e aumentar de novo, se o sistema permitir e se conseguir fazer isso sem perder dados e atingir o tamanho que deseja. A área nova deve ser contínua. Mas é maluquice.

Uma outra solução é não usar um sistema de arquivos ou pelo menos ter uma partição só para sua aplicação. Se puder garantir isso, pode controlar a alocação. É raríssimo ter alguma aplicação que precise disso tudo.

Dependendo do dispositivo ter um bloco contínuo não muda nada na performance. É o caso do SSD que é o presente do armazenamento que precisa de performance, o único motivo que imagino necessitar que o bloco seja contínuo.

Blocos pequenos

O que talvez tenha lido é que essas funções fazem leitura ou escrita de uma vez em cada acesso, você não precisa ficar acessando cada byte individualmente. Você acessa sempre cada cluster individualmente, então gravar 1 byte ou 4096 (o tamanho mais típico hoje em dia) dá no mesmo em performance. Esses 4096 (isso pode variar, mas não deve ser menor que 512 que é o tamanho do setor antigamente, ou mesmo 4096, o tamanho do setor em dispositivos mais modernos, e não costuma passar de 65536) serão sempre contínuos. Se o arquivo tiver um tamanho até o tamanho do cluster, então ele ficará contínuo. Se tiver mais que um cluster, mesmo que seja gravado no mesmo momento, nada garante que será contínuo.

Se quer garantias que tudo será gravado continuamente garanta que ele cabe no tamanho do cluster daquela partição.

encontrei lugares dizendo que é possível realizar usando read, pread, write e pwrite do POSIX, porém em nenhum lugar foi dito que é garantido que tudo será lido/escrito em um bloco

Porque não é garantido mesmo, a não ser que esse bloco caiba em um cluster. Aí não só é possível, mas não precisa fazer qualquer coisa.

Por que precisa ser contínuo?

Só consigo imaginar um motivo: performance. Se tiver outro motivo, a pergunta não fala, mas é quase certo que não seria um motivo importante.

De fato em discos é importante os dados estarem contínuos se há um certo padrão de acessá-los sequencialmente. A mecânica do disco pode exigir deslocamento da cabeça de leitura, ou mesmo gravação, para ir para o próximo cluster a ser acessado, pode até mesmo exigir um giro novo do disco. Se estiver tudo junto isso é evitado. Note que o firmware dos discos costumam fazer otimizações na fila para tentar evitar desperdícios, mas se não estiver contínuo sempre terá alguma ineficiência.

Claro que há padrões de acesso que são essencialmente aleatórios. Aí estar tudo contínuo não trará benefícios. É um pouco o caso de bancos de dados tradicionais. Não totalmente porque mesmo ele possui padrões de acesso sequenciais em alguns casos. Não cabe aqui uma explicação completa de como um banco de dados funciona, inclusive por detalhadamente cada um funciona de um jeito, apesar de manter um padrão geral. Cada banco de dados é diferente justamente para tentar aproveitar melhor o que tem disponível.

Se usar um SSD essa necessidade é bastante diminuída, especialmente em banco de dados.

Quando acessava dados em fitas ele era sequencial. O disco tornou o acesso parte sequencial, parte aleatório. O SSD tornou o acesso realmente aleatório.

Há algum ganho em ser sequencial no SSD porque há um custo no processo de acesso que é minimizado se o acesso for sequencial. Esse custo vêm diminuindo com melhores firmwares, e é pequeno.

Bancos de dados por fazerem essencialmente acessos aleatórios encaixam muito bem com SSD e há pouco ganho em ser tudo contínuo. Na maioria dos cenários um banco de dados vai espalhar os dados por todo canto e tentar ser contínuo não ajuda muito. Não estou dizendo que há zero ajuda.

E é claro que não estou falando de arquivos de logs, esses se beneficiam de ser tudo contínuo, mas menos do que pode-se imaginar, já que o normal dele é só escrever, e em geral em pequenas porções de dados, menores que o cluster. Mas em SSD o ganho é baixo até nesse cenário.

Só lembrando que uma parte considerável do trabalho do banco de dados não é o acesso ao dispositivos de armazenamento.

Todos os padrões se beneficiam com a adoção do SSD, alguns brutalmente, e principalmente ele permite que as pessoas pensem menos em ter que achar a melhor solução de acesso porque ele já se aproxima do melhor possível. E nem estou pensando nos SSDs baseados em RAM ou NVRAMs que ainda são muito caros, mas que é a solução se deseja a performance máxima.

Já falei sobre o assunto em Diferença velocidade em HD Sata/SSD.

E já falei sobre fragmentação em A desfragmentação do disco rígido pode auxiliar no desempenho de uma aplicação do meu servidor?

Banco de dados

Eles precisam de alocação contínua menos do que se pensa porque o normal dele é fragmentação. Sua principal estrutura de dados é a árvore que existe justamente pra facilitar a fragmentação.

Alguns, como o SQL Server ou o Oracle (conforme comentário do LINQ) fazem acessos privilegiados ao sistema operacional para obter algumas garantias, mas mesmo eles não fazem milagres.

Em geral não compensa a não ser em cenários muito complexos. Tanto que alguns dos banco de dados mais rápidos não fazem nada disso e usam um jeito tradicional (alguns acessando por memory mapped file).

Conclusão

Se precisa que o cluster individual seja gravado de forma única, o sistema operacional já faz isso por você. Se precisa mais de um cluster contínuo, não há garantias em cenários normais (usar o que já existe pronto), mas isso não é necessário na maioria dos casos, especialmente se usar SSD.

Note que gravações são atômicas, ou grava tudo, ou grava nada em uma única operação requisitada para o sistema de arquivos. Operações separadas não são atômicas, a não ser que use mmap, do jeito certo.

Coloquei no GitHub para referência futura.

7
  • Entendi, porém vamos colocar um programa como um sgdb, ele não tem esse controle? Se sim como ele faz isto? Ele não é um programa especial com privilégios especiais. O que desejo não é o endereço e nem garantir setores e sim blocos, para mexer com setores teria que criar um driver do disco e isso não seria universal. Commented 28/12/2016 às 15:22
  • De uma maneira geral não. Claro que o SQL Server talvez acesse algo não documentado do WIndows. è possível que algum possa fazer o que eu falei e passar por cima do sistema de arquivos, mas é raro fazer isso, em geral não compensa o esforço. Um dos motivos que se costuma dizer que é bom colocar um DB em SSD é justamente porque a fragmentação não vai mudar nada. Embora o DB se fragmenta por si próprio, é quase uma bobagem ele se preocupar com isso (tem alguns casos úteis).
    – Maniero
    Commented 28/12/2016 às 15:32
  • Não irei marcar a pergunta como correta pois a mesma não responde a pergunta. Não gostaria que você tivesse suposto que eu não queria o esforço, para tudo existe um motivo e em nenhum momento eu disse para que aplicação queria esta informação. Eu não uso windows e principalmente sql server, para qualquer um que tenha a mesma dúvida o mysql usa Ansi do C então usarei o mesmo. Commented 28/12/2016 às 15:57
  • 1
    Então foi respondido o que perguntou. Se não gostou da resposta, só posso lamentar.
    – Maniero
    Commented 28/12/2016 às 16:11
  • 1
    Só complementando - de fato, alguns SGBDs fazem isso usando uma partição "crua" - sem filesystem o Oracle que eu saiba - mas nem o PostgreSQL - e aqui está bem explicado por que não vale a pena: dba.stackexchange.com/questions/80036/…
    – jsbueno
    Commented 29/12/2016 às 1:39
2

"Existe alguma forma de fazê-lo?"

Não.

A não ser que você use uma partição crua e implemente, na prática, seu próprio sistema de arquivos.

Em sistemas Linux, as partições podem ser acessadas como arquivos normais na pasta /dev, basta seu programa ter privilégios para isso.

Mas mesmo que você implemente seu próprio sistema de arquivos numa partição crua, isso só permite que você desça até o nível de abstração exposto para o Sistema Operacional em si - a controladora de disco (e possivelmente ainda outras camadas de firmware) pode re-dividir sua partição em outros pedaços e você não terá como saber.

Perceba que em vários file systems do Linux, você pode usar a chamada do sistema fallocate para alterar o tamanho pré-alocado do arquivo - mas mesmo essa função de bastante baixo nível e não padrão tem alguma opção para assegurar que os dados fiquem contíguos no disco.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .