Bom, vou dar aqui meu entendimento da diferença entre eles, corrijam-me se estiver errado.
JQuery
O objetivo principal do JQuery é simplificar e de certa forma padronizar o JavaScript cross-browser, facilitando e mexendo com coisas como manipulação de elementos HTML e fazendo requests HTTP
JQueryUI
É um conjunto de elementos de interface (botões, datepickers, sliders, abas, essas coisas), feitos usando JQuery, ou seja, JQueryUI precisa de JQuery pra funcionar. (JQueryUI = JQuery User Interface)
Esses dois de cima foram feitos para serem uma adição ao seu site (seja ele desktop ou mobile), adicionando funcionalidades como as que eu citei acima.
JQuery Mobile
O JQuery Mobile, diferentemente dos outros dois de cima, é um framework completo para desenvolvimento. A intenção é que ele seja o ponto de partida do seu site. Ele requer JQuery e usa funcionalidades do JQuery e do JQuery para facilitar a construção de sites Mobile.
Outra diferença é que JQuery e JQuery UI são feitos para serem usados como se fossem uma camada extra no seu HTML e CSS. Por exemplo, você tem um input
para escolher data, e transforma ele em um plugin com o JQuery:
$('#meu_input').datepicker();
Já o JQuery Mobile disponibiliza maneiras de escolher aonde esses elementos diferenciados aparecerão apenas com o uso de HTML:
<ul data-role="listview" data-inset="true" data-filter="true">
<li><a href="#">Acura</a></li>
<li><a href="#">Audi</a></li>
<li><a href="#">BMW</a></li>
<li><a href="#">Cadillac</a></li>
<li><a href="#">Ferrari</a></li>
</ul>
O atributo data-role
diz ao JQuery mobile para tornar essa lista em um componente amigável para as plataformas mobile. data-inset
e data-filter
definem atributos desse elemento, sem usar uma linha sequer de JavaScript.
Usei um pouco de conhecimento próprio e dessa pergunta do SO em inglês para formular essa resposta