Keras é um API de alto nível construído sobre o TensorFlow (e pode ser usado também no Theano). É mais user-friendly e fácil de usar, em comparação com TF. Existem diferenças, por exemplo, se você quer fazer uma rede neural protótipo rápidamente, use o Keras. Dá para fazer uma com o mínimo de linhas de código. O Keras é altamente modular, o que facilita muito. Entretanto dá para flexibilizar muito mais o TF do que o Keras. O TF também oferece operações muito mais complexas que o Keras. O TF tem um debugger especializado, que pode salvar horas de trabalho... para finalizar:
Se você não está fazendo algum trabalho de pesquisa ou desenvolvendo algum tipo especial de rede neural, então vá para Keras (confie em mim, eu sou um fã de Keras !!). E é muito fácil criar modelos rapidamente, até mesmo modelos mais complexos em Keras.
Se você quer mais controle sobre sua rede e quer observar de perto o que acontece com a rede ao longo do tempo, o TF é a escolha certa (embora a sintaxe possa lhe dar pesadelos às vezes). Mas, como todos sabemos que o Keras foi integrado ao TF, é mais sensato construir sua rede usando o tf.keras e inserir qualquer coisa que você queira na rede usando o TensorFlow puro. Em resumo: tf.keras + tf = Tudo o que você vai precisar.