17

Tenho algumas dúvidas em relação a programação paralela:

  • O que é programação paralela?
  • Trata-se de uma técnica ou um paradigma de programação?
  • Existe alguma linguagem específica para programação paralela?
  • Em que casos é melhor de se utilizar programação paralela?
1
  • 3
    Embora isso não tenha sido perguntado, vale a pena mencionar para ajudar a entender as respostas: um programa paralelo pode compartilhar memória entre os processos ou não. Características como as citadas na resposta do Miguel Angelo (funções puras, imutabilidade) são boas principalmente quando a memória é compartilhada - pois de outro modo, um processo não acessaria a memória do outro mesmo, então tanto faz... Já no caso de espaços de endereçamento diferente, não é necessário se preocupar com o acesso da memória, mas o overhead de se transmitir dados de um processo pra outro é maior.
    – mgibsonbr
    Commented 26/03/2015 às 3:41

4 Respostas 4

17

O que é? Quando usar?

Sempre que dois processamentos forem independentes, por definição, se pode usar paralelização. Até aqui nenhuma novidade... o difícil mesmo é garantir um ambiente em que a paralelização não cause um problema maior do que o benefício, e é justamente ai que entram linguagens, estruturas de dados e técnicas que tornam mais fácil programar de forma paralelizável.

Eu não diria que programação paralela é por si só um paradigma, mas sim um conjunto de elementos que tornam mais fáceis a existência de paralelismo e e a obtenção dos benefícios trazidos por ela.

Linguagens

Linguagens funcionais

São exemplos de linguagens que vão mais na direção da paralelização, principalmente com funções chamadas de puras, ou seja, que não causam efeitos colaterais e que não dependem de nada além daquilo que é explicitamente passado para elas.

A paralelização geralmente ocorre sobre funções puras que devem ser aplicadas a uma coleção de dados. Como a função é pura, se pode delegar cada elemento da coleção para um processador em paralelo, seja na mesma máquina ou em máquinas distintas.

Exemplos:

Existe uma lista infindável de linguagens que se aproximam mais da abordagem paralelizável.

Estruturas de dados

Imutabilidade

Existem também arquiteturas de dados que se dão bem com a paralelização, e a mais notável ao meu ver são estruturas imutáveis. Elas permitem que o programador não se preocupe com efeitos colaterais ao manipular dados, pois cada vez que o faz, novas instâncias são criadas ao invés de se modificar o objeto original. As anteriormente apresentadas funções puras se beneficiam muito de estruturas imutáveis, pois assim fica garantido que não haverá efeitos colaterais através dos argumentos passados.

Técnicas/Paradigmas

Map/Reduce

Há também técnicas que se valem de paralelização para fazer enormes processamentos de dados (e.g. processamento de Big Data). Uma notável é a chamada Map/Reduce, que segue o paradigma de dividir para conquistar. Esse paradigma (ou técnica) se vale de funções puras e também de estruturas imutáveis.

Para quem conhece JavaScript, Map e Reduce estão aqui no mesmo sentido que os métodos map e reduce disponível em Arrays:

  • Map: para uma coleção de entrada é produzida uma coleção de saída.
  • Reduce: para uma coleção de entrada é produzido um resultado que agregado dos elementos da coleção original.

Eu dou esse exemplo do JavaScript pois é ago que as pessoas possuem mais familiaridade (eu acho), e assim levo mais para perto delas o que é MapReduce quando elas parecem não entender do que se trata.

Não diria que há grandes diferenças entre técnica e paradigma, além da do paradigma ser aplicado como um fundamento, por isso estou apresentando ambos sob o mesmo título.

Exemplos:

No hardware

Renderização de imagens

Programação paralela também existe na camada de hardware. Por exemplo, na sua placa de vídeo. A renderização de imagens é claramente uma das principais aplicações do paralelismo, uma vez que há milhões de pixels a serem renderizados e todos eles podem ser processados de forma independente uns dos outros (falando de forma bem rasteira só pra dar uma ideia).

0
11

A programação paralela consiste em dividir uma tarefa computacional em duas ou mais instâncias suficientemente independentes a ponto de poderem ser executadas em paralelo - por exemplo em dois núcleos de processamento diferentes, ou mesmo em duas máquinas diferentes. Nem toda tarefa é paralelizável, isso depende muito das características do problema e das relações de dependência entre as tarefas a serem realizadas.

Um exemplo de problema facilmente paralelizável é "incremente em um todos os valores desse vetor enorme" (divida o vetor em N partes e mande cada processo realizar a tarefa em uma das partes). Um exemplo de problema dificilmente paralelizável é "faça com que cada elemento desse vetor enorme tenha seu valor somado a todos os elementos posteriores a ele".

A tarefa de paralelizar um programa e as ferramentas e técnicas usadas não são em si um paradigma, e pode-se adotar essa técnica em qualquer linguagem que permita disparar mais de um processo, que suporte multi-threading (desde que os threads sejam implementados de modo que possam ser distribuídos por mais de um processo), ou que suporte comunicação em rede (para distribuição do processamento por mais de uma máquina). Entretanto, pode-se projetar toda uma linguagem ou framework com o paralelismo em mente (ver "programação concorrente"), como por exemplo a linguagem Erlang. Se na "filosofia" da linguagem/plataforma o paralelismo é a norma, e não a exceção, então creio que se pode falar de paradigma nesses casos...

Sobre quando usar, eu diria que sempre que for possível, necessário e vantajoso. Ou seja, se o problema não é paralelizável (ou se o benefício de paralelizar for negligível) não há o que fazer; se uma alternativa sequencial possui um desempenho pra lá de satisfatório, não compensa a complexidade extra de paralelizar (e pode até piorar a performance); e por fim se o overhead da paralelização (seções críticas/locks, separação de memória e comunicação inter-processos, comunicação em rede, etc) for anular a maior parte do benefício, talvez não compense paralelizar por ora (por outro lado, o que não é vantajoso hoje pode o ser no futuro, quando as condições do hardware e das comunicações mudarem).

2
  • Resposta concisa +1. Só não entendi o começo do último parágrafo. Acho que não é isso mas o texto dá a entender que sempre que for possível eu devo usar paralelismo. Parece que a lista está invertida. Já que paralelismo pode resultar em perda em vez de ganho, eu não deveria usar apenas se for vantajoso (1º)? Já que é complexo e trabalhoso eu não deveria usar apenas se a vantagem for necessária (2º)? E se é vantajoso é porque é possível (ainda que caro, como por ex. mudar a plataforma), e se é necessário, é possível (3º) assumir o custo?
    – Caffé
    Commented 26/03/2015 às 13:37
  • @Caffé Segui sua sugestão, e dei uma redação mais simples. O que quis dizer é que haviam 3 condições que precisam ser simultaneamente satisfeitas, e a ordem que eu as verificaria é primeiro a possibilidade [teórica], segundo a necessidade e terceiro a expectativa de ganho ao fazê-lo.
    – mgibsonbr
    Commented 26/03/2015 às 17:24
7

O que é programação paralela?

Resumidamente, é quando você divide uma computação entre várias máquinas ou processadores que rodam ao mesmo tempo.

Não confunda paralelismo com concorrência. Por exemplo, um sistema operacional vai ter diversos processos rodando concorrentemente mas apenas um deles usa a CPU de cada vez.

Trata-se de uma técnica ou um paradigma de programação?

Acho que está mais pra técnica do que paradigma. Geralmente quando se pensa em paradigma é algo que você pode usar para qualquer programa e programação paralela é algo que é melhor ser usado caso a caso.

Existe alguma linguagem específica para programação paralela?

Programação paralela é um problema muito difícil, especialmente quando os processos paralelos precisam fazer alguma forma de comunicação ou compartilhamento de recursos entre si. Existem diversas linguagens de programação e frameworks que tentam dar suporte a programação paralela mas cada um vai ter seus pontos fortes e fracos. Programação paralela não é como programação orientada a objetos, programação funcional ou programação lógica em que vc pode chegar e falar "olha, a linguagem X é um exemplo do que significa ser uma linguagem de programação paralela".

Dito isso, um exemplo que posso dar é o CUDA e outras linguagens para escrever programas paralelos que rodam em GPUs.

Em que casos é melhor de se utilizar programação paralela?

Programação paralela é algo que você faz quando você quer aproveitar o fato de que você tem mais de um processador disponível para poder tentar achar mais rápido a resposta para o seu problema. Em situaçÕes que a performance não é importante não vale a pena fazer uma implementação paralela complexa e dependendo do algoritmo que você tem que implementar pode ser mais ou menos difícil criar uma versão paralela.

Um exemplo bom do tipo de coisa que se dá bem com paralelismo é quando você tem computações "obviamente paralelizáveis". Por exemplo:

  • Para renderizar imagens 3d cada processador pode ser responsável por um pedaço diferente da tela.
  • Em alguns algoritmos numéricos como multiplicação de vetores e matrizes, cada processador pode ficar responsável por um trecho do vetor ou matriz separado e dá pra juntar as contas parciais no final.
  • Para compilar um programa com vários módulos, é poss;ivel usar paralelismo para compilar mais de um módulo ao mesmo tempo (a opção "-j" do make serve pra isso)
-3

Um programa é considerado programação paralela quando este é visto como um conjunto de partes que podem ser resolvidas concorrentemente. Cada parte é igualmente constituída por uma série de instruções sequenciais, mas que no seu conjunto podem ser executadas

1
  • Sua resposta pode ser melhorada adicionando informações fundamentais. Basta editar para adicionar mais detalhes, como citações ou documentação para que outras pessoas possam confirmar que sua resposta está correta. Você pode encontrar mais informações sobre como escrever boas respostas na Central de Ajuda.
    – Comunidade Bot
    Commented 19/04/2022 às 23:50

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .