Primeiro: pesquisei para dar uma resposta mais fundamentada e concluí que algumas pessoas discordam pelo menos dos detalhes do que é cada coisa, não é fácil achar uma definição formal, e isto é menos desejável, desde que o que use resolva bem o problema. Vou colocar minhas conclusões.
O Access Control List costuma ser um termo usado genericamente sem indicar a implementação disto. Mas algumas pessoas o confundem com o DAC (Discretionary Access Control) e acho que é isto que está perguntando. Vou responder a diferença entre o DAC (que chamou de ACL) e o RBAC (Role-Based Access Control).
Quem manda
Pra mim a principal diferença se dá em que tipo de recurso está se dando privilégio. O DAC costuma fazer isso objeto por objeto. Pode ser um arquivo, uma mensagem, uma entrada em um banco de dados genérico ou especializado, qualquer coisa individual. O RBAC costuma dar acesso a recursos mais gerais, a entidades genéricas que possuem vários objetos. Pode ser acessar páginas de documentos (mas não a página individual), clientes cadastrados, dispositivo, etc.
Em geral pode ter alguma granularidade do que pode fazer ali como criar, editar, apagar, ver, baixar, aprovar, etc. Alguns privilégios gerais só fazem sentido em um deles. Por exemplo se pode dar propriedade para alguém isso costuma ser interessante no DAC, mas não necessariamente no RBAC.
Onde está definido
Outro ponto importante é que o RBAC costuma ser definido em código ou se tiver alguma flexibilidade pode ser controlado por um administrador do sistema de forma geral. O DAC costuma ser controlado pelos donos dos objetos.
Em um sistema operacional costumamos ver um DAC e como o usuário daquela máquina costuma ser o administrador as duas se confundem. E de fato em alguns casos algumas implementações costumam ser híbridas, ou pelo menos emprestam características.
Quando o RBAC começa ficar mais dinâmico e menos codificado, quando vai podendo dar privilégio condicionalmente até mesmo por fórmulas complexas ele começa se transformar em Attribute-Based Access Control (ABAC).
Papel
O Role Based Access Control costuma ter 3 entidades:
- Papel (role) - que indica uma função que pode ser exercida no sistema
- Usuário - que está associado à uma pessoa que usa o sistema
- Privilégio - que indica algo que pode ser feito no sistema (em geral existe uma associação com um recurso porque senão é só chamado de permissão), até porque a permissão é dada sempre para um recurso, então poder alterar um cliente é diferente de poder alterar um produto. Alterar é um privilégio genérico, e cliente e produto são recursos, então o privilégio não é único, existem dois, um para cada recurso. Alguns chamam de ação.
O papel é o foco desta modalidade.
No RBAC um novo privilégio é dado para o papel e todos os usuários que estão associados àquele papel ganham o privilégio. Assim como se adicionar um usuário você o associa à papéis e ele ganha os privilégios destes. E quando cria um novo papel diz quais privilégios ele terá e quem são os usuários que estão associados.
Fica bem mais fácil gerenciar desta forma. Mas nem tudo são flores porque tem casos que um usuário deve ter um privilégio específico que as pessoas de um papel não devem ter. A solução em um RBAC puro é criar um papel só para isso.
Em última análise você poderia ter tantos papéis quantos forem a combinação de privilégios possíveis, ou seja, poderia ter zilhões de papéis com alguns poucos privilégios existentes. Claro que isso seria em caso exagerado mas dá uma ideia que pode complicar.
Para fins de entendimento e comparação com o DAC pode-se considerar que o dono do recurso nesses casos é o administrador do sistema ou o desenvolvedor.
Feito corretamente é mais escalável.
Ele pode criar um paradoxo. Um papel pode ser restrito a uma ação, outro papel a uma outra. E ainda, uma pessoa tem o papel de atender o cliente, se ela que é a menos especializada e talvez menos confiável (muitas vezes até terceirizada) não deve ter o privilégio dos dois papéis anteriores para resolver tudo o cliente o precisa. Se não tiver esses privilégios o cliente precisa falar com várias pessoas para resolver seus problemas e vai xingar sua empresa, e se tiver, a restrição não faz sentido. Mas claro que isso é uma questão de organização.
ABAC
Algumas pessoas dizem que se tiver papéis não é ABAC, mas não sei, talvez só mude o nome porque usuário ou grupo podem ser considerados a mesma coisa. Tem tanta informação dissonante que fica complicado dar uma informação canônica. E não sei se é importante, importa é saber que existem vários mecanismos que podem ser usados e atender suas necessidades. Acho que alguém cria uma definição e depois outros começam usar algo parecido usando o mesmo termo, sabe Bombril ou Gilette? Então estritamente ABAC pode ter uma definição clara, mas as pessoas usam o termo para coisas parecidas.
O ABAC costuma considerar contextos. Então pode até um privilégio ser dado dependendo de onde a pessoa está acessando, o momento, se já aconteceu algo antes, ou qualquer parâmetro definido.
Alguns consideram o ABAC um framework (não necessariamente um software framework).
Dono
No DAC tem um dono específico do recurso individual que é quem pode dar o privilégio. O privilégio também pode ser mais granular.
Este não costuma ter o papel, então os privilégios são dados diretamente para os usuários. Mas alguns consideram um sistema híbrido que permite ter papéis (grosso modo, grupos, ainda que seja um conceito um pouco diferente) como se fossem usuários uma forma de DAC, desde que mantenha a característica de propriedade do recurso.
Aqui o foco é o recurso.
Híbrido
Justamente por isso é comum adotar um sistema híbrido onde adota-se o RBAC sempre e o DAC quando é muito necessário (infelizmente isso não é tão bem usado assim e começa virar bagunça). Inclusive a permissão de usar o DAC pode ser dada de acordo com o RBAC, o que diminui a possibilidade falhas na organização.
Algumas pessoas dizem que o ABAC é justamente uma forma híbrida. Alguns colocam outras características e tenta padronizar uma forma de fazer todo processo dando a chance de cada um ter suas necessidades próprias atendidas.
Outros pontos
Não é um requerimento claro, mas o RBAC costuma ter mais granularidade nos privilégios. O DAC costuma ter o direito de acesso e eventualmente escrever ou algo geral a mais. O RBAC costuma ter privilégios que só fazem sentido para um tipo de recurso, por exemplo pode dar desconto em um título a receber. Mas não vejo porque o DAC não possa ter isso, exceto pelo fato de ter granularidade dos dois lados criar um fardo bem grande para administrar. Alguns dirão que começa ser um ABAC.
Papéis costumam ter hierarquias, se é que podemos usar este nome. Então se um papel derivado ganha um privilégio o papel base dele ganha automaticamente, que é o inverso da hierarquia.
Vantagens de cada
Em geral o RBAC é melhor onde potencialmente tem muitos usuários, ou tem muita volatilidade de usuários, o que é a grande maioria dos casos, e o DAC adotado como medida de flexibilização. Usar somente o DAC costuma acontecer quando se sabe que terá bem poucos usuários em qualquer caso.
O RBAC obviamente é um pouco mais difícil de entender e operar para pequenos volumes. O conceito de usuário e privilégio é intuitivo por todos, o conceito de papel não é. E em muitos casos é um passo a mais a se fazer (é uma indireção na aplicação), traz vantagens, mas impõe um custo. Mas ter alguns papéis facilita o gerenciamento dando estabilidade e visão de quem pode o quê.
O DAC permite melhor controle de privacidade e pode não ser tão difícil de administrar se existirem papéis como complemento para o sistema de usuário e puder agrupar os recursos (alguns dirão que são só grupos e não papeis).
O melhor costuma ser o hibrido, mas em alguns casos para simplificar pode ter só o RBAC, desde que não precise de grande flexibilidade e os recursos sejam mais gerais e não objetos específicos, embora isso funcione também). O DAC costuma ser melhor em ambiente colaborativo com muitos recursos não estruturados (arquivos, fichas, mensagens, objetos específicos), mas ainda o RBAC em casos assim pode ser útil.
Você encontrará mais o RBAC ou ABAC em um ERP ou algo do gênero, e mais o DAC em um sistema operacional ou plataforma (uma rede social por exemplo).
Se você é um usuário ativo do SO faça um exercício: aqui usa um RBAC, um DAC ou um ABAC? Como é o Windows? Dica: não é tão simples.
Como o DAC costuma dar mais trabalho é comum as pessoas acabarem usando ele como um A/RBAC ou afrouxando o controle. Leve isso em consideração.
Parece que o RBAC é a solução para um ERP, mas pense em casos que uma divisão empresarial compete com outra ou tenha uma legislação que não deixa os dados de um produto específico serem acessados indevidamente porque tem acesso aos produtos como um todo. Ou um vendedor que não pode ver dados de clientes que não são dele. Ou ainda um funcionário ver o salário de outras pessoas que não são suas subordinadas. Não é tão simples identificar o que é melhor. Mas o híbrido costuma ser mais poderoso quando precisa.
Vi algumas pessoas falando que o R/ABAC funciona melhor com APIs, mas não vejo sequer a ligação. Pra mim API não é recurso, o que está atrás dela é que é, API é o meio de acesso mas não o acesso em si.
As formas específicas de implementar cada um é bem vasta, dá para usar bastante criatividade.
Conclusão
Como eu sempre digo, a necessidade concreta é que define qual usar. Entendendo os conceitos corretamente e sabendo analisar e definir bem o problema que tem pela sua frente é que permite escolher qual é o melhor. Dá para citar exemplos como o fiz acima para indicar um caminho, mas corre-se o risco de decidir de forma simplista e tentar encaixar seu caso como se fosse um desses exemplos e fazer igual.
Algo complexo não pode ser entendido como se fosse uma receita de bolo. Infelizmente as pessoas acreditam que isso é possível, por isso tem cada vez mais coisa ruim sendo desenvolvida.
Sempre é o comprometimento de quem usa que fará o controle ter sucesso. Ambos são difíceis de manter coerente ao longo do tempo.
Eu discordo de algumas conclusões que achei por aí, talvez por experiência diferente ou porque algumas delas foram tomadas no passado quando não se sabia lidar com certas situações, inclusive misturando auditoria com controle de acesso que são conceitos muito diferentes, ligados, mas independentes.
Coloquei no GitHub para referência futura.