Imagino que está querendo saber porque criaram Kotlin se Scala já resolve esses problemas, ou seja, por que criaram um Java melhor que o Java se Scala já faz isso? Se não for isso imagino que a pergunta é duplicata.
Talvez o maior motivo seja porque Scala até é interessante, mas não é exatamente um Java melhor que o Java. Ela pendeu muito para o lado funcional e cria dificuldades para o programador médio acostumado com uma linguagem essencialmente imperativa. Kotlin mantém o espírito imperativo do Java muito mais que Scala fez. Os problemas mais típicos que o Java resolve são resolvidos de forma mais adequada em Kotlin.
Verdade seja dita que Kotlin começou ser desenvolvida quando Scala estava em um estágio menos avançado e tinha mais problemas do que tem hoje para o programador médio. Scala está mais palatável.
Para atender os requisitos da linguagem um compilador Scala não conseguiu ser tão eficiente. Já Kotlin foi pensada para ter uma sintaxe que favorecesse a compilação. Podemos dizer que esse é um motivo oficial. Embora pra falar a verdade acho o compilador de Kotlin bem lento (talvez Scala seja trágico, acontece muito em linguagens que oferecem facilidades demais).
Ali fala também que o conjunto de características não agradava. E este geralmente é o motivo para se criar uma nova linguagem. Raramente se cria algo novo em, linguagens de mercado, apenas se faz o já existente de uma forma diferente com um conjunto e intersecções específicas diferente do que já existe, e isso faz diferença.
Especificamente Kotlin:
- é um pouco mais explícita que Scala. Linguagens funcionais tendem a ser muito concisas sacrificando um pouco a legibilidade. Kotlin optou por ser mais verbosa onde pode acrescentar algo importante para o código, não tanto quanto Java.
- é um pouco mais voltada para OOP que Scala.
- interopera com Java melhor.
- compila para e interopera com JavaScript.
- possui Extensions.
- é segura para uso de valores nulos na própria linguagem.
- tem smart casts.
- usa inline functions para eficiência onde é possível.
- trata a delegação como primeira classe.
- pode chamar uma função pelo seu nome como uma referência.
Por outro lado ela não tem:
Certamente tem outras coisas que eu não lembro ou não achei. Obviamente tem pequenas diferenças de sintaxe. Tem diferenças pequenas em cada mecanismo, por exemplo Qual e a diferenca entre Kotlin data class e Scala case class?. E isso pode ter ficado defasado ao longo do tempo, tem coisas que a linguagem não tem agora, mas é uma questão de tempo.
Coloquei no GitHub para referência futura.
Porém, todas estas características já existem no Scala, uma linguagem que também roda na JVM (...) Quais são as lacunas existentes no Scala que motivaram o Kotlin?
Não, não é por existirem lacunas que as coisas são criadas. O ecossistema das linguagens funciona a maior parte do tempo assim: xkcd.com/927