O que é Marshaling?
Conhece serialização? É mais ou menos a mesma coisa. Mas o objetivo dele é chamar alguma função do outro lado então você apenas passa parâmetros ou recebe o retorno em um processo de RPC (Remote Process Call). A serialização não tem função específica. A grosso modo podemos dizer que há uma serialização embutida. Pelo menos essa é a forma universal de usar.
Ele é um mecanismo mais para conformar a chamada, não necessariamente precisa serializar, apenas garantir que a chamada está de acordo com o que se espera.
Pode ser usado como IPC (Inter Process Call) também. O .NET usa ambos, embora a parte remota tem havido preferência por outros mecanismos que envolvem serialização. Tirando os mecanismos obsoletos não sei se sobrou algo remoto de uso no .NET.
Em geral o processo adotado é decompor um objeto em seus tipos mais primitivos de forma que possa atender a necessidade do outro lado que não entende exatamente o que precisa. Documentação.
É comum que o tipo usado seja modificado ou interpretado de alguma forma para se conformar com o que precisa do outro lado, por exemplo uma API em C que tem tipos ligeiramente diferentes do CLR em alguns casos.
Assim como existe a desserialização existe o unmarshalling.
Para que servem os atributos, quando usar e quando isso é obrigatório?
Serve justamente para dizer a forma como o objeto será tratado, como os objetos serão usados.
Um exemplo que pode ser dado é um atributo que indica que uma estrutura será usada para comunicar com C então ela não pode passar por alguma otimização que o C# faria. Ou indicar como uma string será formada. Exemplo:
[StructLayout(LayoutKind.Sequential, CharSet = CharSet.Ansi)]
public struct MyPerson {
public string first;
public string last;
[MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
public int[] vals;
[MarshalAs(UnmanagedType.BStr)]
public string str;
}
[DllImport("..\\LIB\\PinvokeLib.dll", CallingConvention = CallingConvention.Cdecl)]
internal static extern int TestStructInStruct(ref MyPerson person);
[DllImport("..\\LIB\\PinvokeLib.dll", CallingConvention = CallingConvention.Cdecl)]
internal static extern int TestArrayOfStructs2([In, Out] MyPerson[] personArray, int size);
Coloquei no GitHub para referência futura.
Existe também uma quantidade imensa de métodos utilitários para conseguir fazer a conversa entre as linguagens fluir mesmo considerando suas diferenças, por exemplo pelo fato do .NET usar memória gerenciada e em C não.
Documentação.
Talvez caiba outra pergunta, mas, o que vem a ser o calling convention?
É a forma de chamada uma função, por exemplo como os parâmetros serão colocados nos registradores, a ordem, o que deve ser copiado, etc., é a forma como o compilador transforma a chamada de função em um código nativo de forma que tudo se encaixe. A chamada feita em si e a função sendo chamada devem ter sempre a mesma convenção de chamada para funcionar. Os atributos podem estar indicando algo sobre isso.
Veja algumas.
Falei sobe algo relacionado em O que é ABI? Tem alguma relação com API?.
As versões mais novas do Visual Studio geram avisos sobre ausência de definição de Marshaling, qual o efeito colateral de não definir explicitamente esses atributos?
Se a chamada e a função a ser chamada são incompatíveis haverá uma quebra da aplicação ou ter um resultado indesejado sem aviso. Não tenho experiência e não vou tentar responder melhor que isso.
Isso afeta a performance?
Se realmente usar o mecanismo sem dúvida que afeta. Só porque ele está preparado para usar não quer dizer que use. Só porque indica que algo deve ser em um formato quer dizer que haverá conversão.
Esse conceito é geral em computação ou é um pipeline de memória específico do .NET?
É geral. A forma como o .NET usa é específica dele. Não quer dizer que todas linguagens usem isso.
Algumas usam sem usar o termo, é bem curioso. Eu sempre usei uma linguagem (era o Clipper, agora é o Harbour) que sempre fez isso sem nunca usar o termo. Essa eu posso até explicar melhor porque conheço bem, mas não vai ajudar muito porque as outras pessoas não a conhece. Mas não é tão diferente das outras linguagens de script do mercado, tais como PHP, Python, Ruby, Lua, etc.
Essas linguagens possuem bytecodes que formam os algoritmos organizados em funções. Quando você vai conversar com C por exemplo, que costuma ser a base de todas essas linguagens (tem implementações diferentes), os parâmetros e a forma de chamar função é muito diferente e é preciso um marshalling para adaptar a chamada. As funções de C são endereços de memória bruta e as funções dessas linguagens são tabelas com bytecodes, e os parâmetros são estruturas de dados mais complexas para gerenciar a dinamicidade da linguagem, C não entende isso, precisa de um mecanismo de tradução. Essas linguagem exigem que tenha uma função em C para tratar isso, em C# não exige você consegue chamar qualquer função C diretamente, ela se encarrega de resolver.
Não precisa ser C essa comunicação toda, só é o mais comum. Precisa ser uma linguagem nativa sem maiores exigências (até pode não ser, mas aí teria que ter uma cola, até C++ precisa de uma cola em alguns casos, pra isso existe a CX).
É possível essas linguagens usarem algo parecido para alguma forma de RPC também.
Sempre que eu vejo assinaturas de P/Invoke cheias de atributos de Marshaling eu sempre vou removendo uma por uma e testando se isso causa algum erro, na maioria das vezes eu acabo ficando com uma assinatura sem nenhum atributo, sem efeito colateral.
Precisaria ver a situação específica, mas provavelmente não está usando ele de fato, pelo menos não de forma que cause problema. Pode ser que ali não precisava de marshalling, mas é improvável. Pode ser que só precisa de um jeito específico de chamada. Então esses atributos são úteis só nesse caso.
Alguns casos o marshalling pode ocorrer de forma automática pelo runtime sem nada ser dito adotando um default, mas há risco de não ser o desejado. Se o tipo for blittable não precisa indicar nada porque ele já é o que deveria ser do outro lado. Pode ser que o façam para ficar mais explícito ou calar alguma ferramenta.
Não conheço o cenário específico, nem sou especialista no mecanismo já que nunca precisei usá-lo efetivamente (tenho um projeto pessoal que usaria, mas não acho tempo para fazer).
O assunto todo é bastante complexo. Acho que essa resposta serve mais como uma curiosidade sobre o assunto e saber do que se trata. Nem perto de pegar cada detalhe.