Os dados ficam na memória do servidor, eventualmente armazenados em disco de acordo com as configurações do redis. Quando um cliente recebe os dados, fica na memória do cliente até você fazer alguma coisa com aquele dado.
PubSub é um mecanismo de notificações em tempo real. Acho que você já está com uma ideia boa sobre isso.
Num sistema de notificações, por exemplo um chat, João e Maria estão numa conversa direta. O cliente de Alex não precisa receber as notificações da conversa deles, então o PubSub vai ajudar a resolver esse problema. Com ele, é possível criar canais de publicação de notificações (Pub), e então você inscreve neles os clientes que devem recebê-las (Subs), apenas para segregar por qualquer critério as notificações para os clientes. No chat, você poderia criar um canal PubSub "JoãoxMaria" em que apenas o cliente de ambos está inscrito. Há um chat público em que todos podem conversar entre si, então essas notificações todo mundo deve receber, nesse caso todos estão inscritos (Subscripted) nesse canal de publicação (Pub).
A diferença do PubSub para outros métodos de transmissão é que você não está especificando cada inscrito ao enviar uma mensagem, está simplesmente especificando o canal, sem saber quais são os inscritos (nem saber se há inscritos). As vantagens são maior escalabilidade e menor acoplamento (publicadores não precisam saber sobre os inscritos).
Você pode brincar um pouco no terminal para testar isso, veja: