Imagino que está querendo saber porque criaram Kotlin se Scala já resolve esses problemas, ou seja, por que criaram um Java melhor que o Java se Scala já faz isso? Se não for isso imagino que a pergunta é duplicata.
Talvez o maior motivo seja porque Scala até é interessante, mas não é exatamente um Java melhor que o Java. Ela pendeu muito para o lado funcional e cria dificuldades para o programador médio acostumado com uma linguagem essencialmente imperativa. Kotlin mantém o espírito imperativo do Java muito mais que Scala fez. Os problemas mais típicos que o Java resolve são resolvidos de forma mais adequada em Kotlin.
Verdade seja dita que Kotlin começou ser desenvolvida quando Scala estava em um estágio menos avançado e tinha mais problemas do que tem hoje para o programador médio. Scala está mais palatável.
Para atender os requisitos da linguagem um compilador Scala não conseguiu ser tão eficiente. Já Kotlin foi pensada para ter uma sintaxe que favorecesse a compilação. Podemos dizer que esse é um motivo oficial. Embora pra falar a verdade acho o compilador de Kotlin bem lento (talvez Scala seja trágico, acontece muito em linguagens que oferecem facilidades demais).
Ali fala também que o conjunto de características não agradava. E este geralmente é o motivo para se criar uma nova linguagem. Raramente se cria algo novo em, linguagens de mercado, apenas se faz o já existente de uma forma diferente com um conjunto e intersecções específicas diferente do que já existe, e isso faz diferença.
Especificamente Kotlin:
- é um pouco mais explícita que Scala. Linguagens funcionais tendem a ser muito concisas sacrificando um pouco a legibilidade. Kotlin optou por ser mais verbosa onde pode acrescentar algo importante para o código, não tanto quanto Java.
- é um pouco mais voltada para OOP que Scala.
- interopera com Java melhor.
- compila para e interopera com JavaScript.
- possui Extensions.
- é segura para uso de valores nulos na própria linguagem.
- tem smart casts.
- usa inline functions para eficiência onde é possível.
- trata a delegação como primeira classe.
- pode chamar uma função pelo seu nome como uma referência.
Por outro lado ela não tem:
Certamente tem outras coisas que eu não lembro ou não achei. Obviamente tem pequenas diferenças de sintaxe. Tem diferenças pequenas em cada mecanismo, por exemplo Qual e a diferenca entre Kotlin data class e Scala case class?. E isso pode ter ficado defasado ao longo do tempo, tem coisas que a linguagem não tem agora, mas é uma questão de tempo.
Porém, todas estas características já existem no Scala, uma linguagem que também roda na JVM (...) Quais são as lacunas existentes no Scala que motivaram o Kotlin?
Não, não é por existirem lacunas que as coisas são criadas. O ecossistema das linguagens funciona a maior parte do tempo assim: xkcd.com/927