Quando se usa include com aspas #include "filename.h"
o preprocessador procura pelo arquivo primeiramente no diretório atual e caso não ache, vai procurar nos mesmo locais quando se usa include com < >
Geralmente se usa para incluir arquivos do próprio programa.
Quando se usa #include <filename>
o preprocessador vai se comportar de maneira dependente de qual implementação está usando, porém geralmente vai procurar no local normal (default) dos includes primeiro, de forma que é geralmente usado para incluir headers da biblioteca padrão.
Dito isso, é importante notar por exemplo que string.h e cstring não são a mesma coisa
string.h é um header do C (libc) e cstring é do C++ (libstdc++)
Apesar de ter a mesma funcionalidade (isso é obrigatório), existem diferenças de implementação principalmente quanto à questão dos namespaces, em que os headers que começam com C ex.: cstdio no C++ colocam as definições no namespace std, enquanto no stdio.h colocam no namespace global, dando diferenças de escopo.
Se você for ler os headers, você vai ver que em cstdio do libstdc++ você vai encontrar um #include "stdio.h" do libc, e alguns detalhes de implementação
pois na verdade o que esse header faz é um wrapper para utilizar essa biblioteca do C de acordo com o padrão do C++.
Na maior parte das vezes não muda muita coisa, agora existem casos por exemplo como em math.h vs cmath em que a implementação da biblioteca do C++ muda bastante coisa, principalmente os overloads para tipos diferentes e especificadores const.
https://stackoverflow.com/questions/8734230/math-interface-vs-cmath-in-c/8734292#8734292
De forma que,ao menos na minha opinião, é mais sensato quando estiver programando em C++ sempre utilizar
#include <cmath>
e quando estiver programando em C
#include "math.h"