13
As funções do tipo read.csv que o R possui carregam na memória RAM o conteúdo dos arquivos que estão sendo lidos. Assim, há três maneiras principais de se trabalhar com dados grandes que não cabem na memória do R:
Aumente a sua memória RAM
Tome uma amostra dos seus dados
Leia os dados a partir do disco, sem carregá-los na RAM
A solução 1 seria a ideal. ...
respondida 24/09/16 às 16:05
Marcus Nunes
16,6mil77 medalhas de ouro2525 medalhas de prata4848 medalhas de bronze
12
Se fizer um split das linhas e um mapa ou até mesmo uma lista para guardar cada posição não terá problema, depois a cada linha é só fazer um loop interando por cada elemento resultante do split.
O exemplo abaixo é bastante simplificado, mas servirá para te dar um norte de como proceder veja, que posso pegar os ultimos elementos "sem saber" quantos possuem ...
respondida 29/07/14 às 19:36
Mansueli
3.68411 medalhas de ouro1414 medalhas de prata3333 medalhas de bronze
9
Na função read.csv existe as opções de separador. No caso do arquivo com , especifique dentro da função
dados <- read.csv("arquivo.csv", sep = ",")
respondida 27/10/17 às 12:24
Rafael Cunha
4.90422 medalhas de ouro77 medalhas de prata2727 medalhas de bronze
8
Você pode usar a função write.csv ou write.table (documentação), como no exemplo abaixo.
nomes <- c("Scooby", "Salsicha", "Fred", "Velma", "Daphne")
idades <- c(10, 18, 20, 21, 19)
tabela <- data.frame(nome = nomes, idade = idades)
write.csv(tabela, "ScoobyDoo.csv", row.names = FALSE)
respondida 27/04/15 às 15:40
carlosfigueira
7.68511 medalhas de ouro1515 medalhas de prata2929 medalhas de bronze
8
Cara, você pode simplesmente usar o OpenCVS (http://opencsv.sourceforge.net/)
Pra adaptar e usar ele basta usar o seguinte código:
public class ParseCSV {
public static void main(String[] args) {
try {
//csv file containing data
String strFile = "C:\\Users\\rsaluja\\CMS_Evaluation\\Drupal_12_08_27.csv";
CSVReader reader = new CSVReader(new FileReader(...
7
Tive um problema similar algum tempo atrás. Ajustei um pouco para a suas necessidades. Poderá ter que mudar algumas coisas, nomeadamente ao nível do delimiter.
from glob import glob
import csv
"""
este programa tem de ser excutado da directoria onde estão os csv.
o output vai para o ficheiro consolidated.csv
"""
def create_global_header(files):
...
7
Explicação do problema
Normalmente arquivos de texto com caracteres especiais precisam ser salvos em utf-8, da mesma forma os bancos de dados que guardam textos que também possuem caracteres especiais devem ser salvos no mesmo formato.
Desta forma presumo que seu arquivo de texto está no formato ansi, onde o UTF-8 compreende perfeitamente todos os ...
respondida 16/05/14 às 19:17
Erlon Charles
5.23299 medalhas de ouro2525 medalhas de prata4545 medalhas de bronze
7
Primeiro, vamos eliminar essa gambiarra aqui do código:
$results[$idx] = str_replace("\"", "\"\"", $result);
O PHP já tem a função certa pra isso, que é fputcsv, e fora isso, tem um erro no jeito que foi montado esse seu loop.
Além disso, se é pra gerar e mandar pro cliente, não precisa
criar um arquivo em disco, basta mandar pra saída padrão:
$...
respondida 4/06/16 às 23:16
7
Uma solução elegante e que pode ser praticamente independente de recursos computacionais é utilizar um software de pré-processamento linha a linha, filtrando apenas os registros desejados. A ferramenta mais conhecida e popular para esse tipo de tarefa é a AWK - uma linguagem de manipulação de textos -, cuja principal implementação é o gawk. O gawk possui ...
7
Eu sei que você solicitou ajuda para "awk" e "sed" (com base nas tags usadas). Mas, se me permite a sugestão, por que você não faz em Python? É bem simples porque você trata o arquivo como CSV mesmo (o que também te dá flexibilidade para qualquer outra necessidade futura envolvendo o tratamento desses campos).
Eis um exemplo de código:
import csv
import re
...
respondida 7/03/17 às 12:51
Luiz Vieira
33,5mil55 medalhas de ouro7979 medalhas de prata153153 medalhas de bronze
7
O teu erro, pelo menos o que salta mais à vista, é estares a percorrer cada estado do Norte em cada registo, que são dois, e a somar o número da habitantes dessa linha duas vezes. E isso acontece em todas as linhas (norte e outros) porque não estás a filtrar.
O modulo csv é desnecessário em grande parte dos casos que vejo, este é um deles, podes ...
respondida 3/10/18 às 22:13
Miguel
28,8mil55 medalhas de ouro3636 medalhas de prata7373 medalhas de bronze
7
Segundo a documentação do comando rename, o retorno dessa função é um novo DataFrame com a(s) coluna(s) renomeada(s). Para você chegar na resposta desejada, (1) basta atribuir o retorno da função em uma nova variável, ou (2) passar o comando inplace = True que ele atribuirá o novo nome da coluna direto no DataFrame que você possui.
df = df.rename(columns={'...
6
A função a seguir exporta um array em PHP para um arquivo CSV:
function array_para_csv(array &$array)
{
if (count($array) == 0) {
return null;
}
ob_start();
$df = fopen("php://output", 'w');
fputcsv($df, array_keys(reset($array)));
foreach ($array as $row) {
fputcsv($df, $row);
}
fclose($df);
return ob_get_clean();
}...
respondida 17/03/14 às 19:33
Leonel Sanches da Silva
87,8mil88 medalhas de ouro115115 medalhas de prata222222 medalhas de bronze
6
O PHP já tem uma função pronta pra isso:
http://php.net/manual/en/function.fputcsv.php
Um exemplo, aproveitando o código do colega João:
$pdo = new PDO('mysql:host=localhost;dbname=dbactive', 'root', 'senha');
$stmt = $pdo->prepare('SELECT * FROM tbproduct');
$stmt->execute();
$results = $stmt->fetchAll(PDO::FETCH_ASSOC);
$fccd = fopen( '...
respondida 3/06/16 às 4:06
6
Depende de qual codificação salvou o arquivo .csv
Note: no python 2 o csv só suporta ASCII
UTF-8
Se o arquivo .csv estiver salvo como UTF-8 pode fazer conforme a documentação do Python 3:
import csv
with open('teste.csv', encoding='utf-8') as f:
reader = csv.reader(f, delimiter=';')
for row in reader:
print(row)
Se o arquivo .csv não ...
respondida 26/12/16 às 6:07
6
No Python existe o módulo nativo csv para trabalhar com arquivos CSV. Nesse são definidas as classes csv.DictReader e csv.DictWriter que facilitam trabalhar com os dados nomeados.
Veja um exemplo:
import csv
with open('original.csv') as stream, \
open('resultado.csv', 'w') as output:
reader = csv.DictReader(stream, delimiter=';')
writer = csv....
respondida 22/11/18 às 13:36
Woss
70,7mil1111 medalhas de ouro103103 medalhas de prata189189 medalhas de bronze
6
Esse é um trabalho para o readr!
Com o readr você consegue ler a linhas e ele detecta automaticamente o tipo das variáveis. Veja um exemplo:
library(readr)
sc <- read_csv2(file = '/media/backup/Microdados/sc2017.csv')
nrow(sc)
esse arquivo é o arquivo da RAIS relativo a todo o estado de Santa Catarina. Ele se encontra no formato CSV e está disponível ...
5
Pelo resultado que você observou, vou assumir que você está usando uma versão em português do Excel do Windows. Geralmente, quando salvamos uma planilha do Excel do Windows em CSV, ele é salvo com ; como separador. Isso acontece principalmente em versões brasileiras (algumas europeias também) do Excel, pois nosso separador de decimais é a vírgula, e não o ...
5
O código abaixo lê o os registros de um arquivo CSV, utilizando o OpenCSV.
Neste exemplo obtemos uma List<String[]>.
Reader reader = Files.newBufferedReader(Paths.get("nome-do-arquivo.csv"));
CSVReader csvReader = new CSVReaderBuilder(reader)
.withSkipLines(1)//para o caso do CSV ter cabeçalho.
...
5
Csv é um arquivo com os valores separados por virgulas, pode criar um combinando implode() para transformar o array($escrever) em uma string delimitada por virgulas e usar file_put_contents() para escrever o arquivo. Outra opção de saída é formatar o cabeçalho como csv para o navegador e dar um echo na string.
Criar um arquivo:
$str = "";
while ($escrever =...
respondida 10/11/15 às 13:44
5
Faça da seguinte forma:
Leia os dados de ambos os arquivos em um dicionário. A melhor forma de fazer isso é, na minha opinião, usando o DictReader.
Processe cada item do dicionário criado a partir de CSV2, e adicione/atualize o valor sobre o valor da mesma "chave" (coluna POS) em CSV1.
Regrave o arquivo CSV1.
Exemplo de código:
import csv
from collections ...
respondida 2/03/17 às 2:39
Luiz Vieira
33,5mil55 medalhas de ouro7979 medalhas de prata153153 medalhas de bronze
5
Seu erro está aqui, Você está concatentando tudo em uma string só:
fputcsv($output,array($chamado.";".$nome.";".$telefone.";".$tentativa.";".$dataconvertida));
Maneira correta:
// .--- Array de campos
fputcsv($output, array($chamado, $nome, $telefone, $tentativa, $dataconvertida), ';');
// '--- handle do arquivo ...
respondida 11/05/18 às 15:31
5
Você pode fazer isso usando a biblioteca de interoperabilidade do Excel (Microsoft.Office.Interop.Excel.dll), mas para isso o Excel terá que estar instalado no computador que for executar a sua aplicação.
Para usar esse código é necessário primeiro fazer referência ao namespace Microsoft.Office.Interop.Excel. Uma forma fácil para fazer isso é usando o NuGet....
respondida 1/12/18 às 0:44
Pedro Gaspar
3.18911 medalhas de ouro1111 medalhas de prata3333 medalhas de bronze
5
Arquivos CSV sempre são lidos linha a linha. No entanto, a não ser que sejam realmente muito grandes, os dados cabem todos na memória (se não couberem, um sistema especializado é necessário - mesmo a biblioteca Pandas depende de colocar todos os dados na memória).
Em particular, eu não entendi como ter um novo arquivo pode ajudar nesse caso- no exemplo que ...
respondida 11/02/19 às 3:08
jsbueno
29,2mil11 medalhas de ouro3636 medalhas de prata6060 medalhas de bronze
4
Que tal usar uma função que foi criada especificamente para ler CSV?
$array = str_getcsv($string);
Mais detalhes: Documentação
respondida 23/05/14 às 15:05
Guilherme Bernal
19,8mil11 medalhas de ouro4949 medalhas de prata9090 medalhas de bronze
4
Muito boa a solução @CarlosCinelli. Mas uma solução alternativa é utilizando o pacote iterators. A função change_dot() basicamente lê uma linha, troca o ',' pelo '.' e escreve a linha em um arquivo de texto.
library(iterators)
change_dot <- function(file, saida='teste.txt', chunk=1) {
con1 <- file(file, 'r')
con2 <- file(saida, open = 'w')
...
4
Fiz uma solução parcial (que não deve ser a mais eficiente) que lê o arquivo em chunks e vai salvando em um csv, já com o decimal como ponto ao invés de vírgula. Daí é só você definir o tamanho do chunk que cabe na sua RAM. Funcionou com o arquivo de teste do ACRE, em tese funcionaria com arquivos maiores.
chunks <- 40000
acre <- read.csv2("AC2012....
respondida 10/10/14 às 2:42
Carlos Cinelli
16,6mil99 medalhas de ouro5555 medalhas de prata9696 medalhas de bronze
4
Para salvar no formado CSV brasileiro da para usar o write.csv2() (e para ler, read.csv2()). Além do mais, tu pode usar o subset() em um data.frame, simplifica bastante o teu código:
dados <- read.csv2("C:/teste/dados.csv", header=TRUE)
write.csv2(subset(dados, sala == "(T2/14/EI) D01 - Diversidade e Cultura Inclusiva"), "arquivo.csv", row.names = FALSE)...
4
Uma solução muito boa é usar a função read_csv_chunked() do pacote readr. Esta função permite a leitura e aplicação de uma função a cada chunk (número de linhas) iterativamente. Suponha que você quer apenas os dados do estado de São Paulo. Você pode limitar o número de linhas para importar de cada vez e filtrá-las por UF=="SP", antes de proceder ao seguinte ...
4
Conceitos
Foram ótimas respostas até agora mas vou acrescentar aqui meus dois centavos. Eu diria que quando estamos trabalhando com conjuntos de dados que superam bastante o tamanho da memória RAM, para mim, o ideal é sempre trabalhar com sistemas de gerenciamento de banco de dados, como o PostgreSQL, o MySQL ou o MonetDB. Especialmente com microdados ...
Apenas as respostas wiki não pertencentes à comunidade mais votadas e de um tamanho mínimo se qualificam
Tags relacionadas
csv × 321python × 117
php × 67
pandas × 37
mysql × 34
python-3.x × 29
java × 20
excel × 20
r × 19
c# × 13
javascript × 12
banco-de-dados × 12
arquivo × 12
txt × 12
array × 10
sql × 9
c × 5
json × 5
sql-server × 5
importação × 5
android × 4
node.js × 4
string × 4
regex × 4
django × 4