Se estes softwares não foram feitos com .NET, e até onde eu sei não foram, realmente eles não usam Windows Forms, que nada mais é que uma camada em cima da API do Windows.
Quando você quer manipular janelas no sistema operacional não tem muito como escapar da API de janelas dele. Até que ponto vai usar todos os recursos ou só os principais e fazer o resto na mão é uma decisão sua ou da biblioteca que deseja usar.
A maioria dos programadores preferem usar bibliotecas que facilitam o uso da API do sistema operacional.
De fato se sua intenção é fazer uma aplicação que rode em mais do que uma plataforma existem duas alternativas: criar um código para manipular as telas em cada plataforma ou usar uma biblioteca que consiga abstrair uma boa parte delas.
Se vai criar um sistema de GUI para cada plataforma algumas opções seria a MFC para Windows, GTK para Linux ou Cocoa para MacOS.
Existem outras opções principalmente para Windows, mas todo mundo reclama que nenhuma é boa o suficiente. E elas funcionam direitinho mas em geral são bibliotecas difíceis de lidar.
É possível usar o GTK em outras plataformas mas o resultado não fica bom. É necessário um binding já que esta biblioteca foi escrita em C.
É quase impraticável usar Cocoa diretamente em C++.
Se a opção é criar um único sistema para todas elas as melhores opções parecem ser WxWidgets e Qt.
A primeira usa bastante os recursos nativos mas não é tão simples trabalhar com ela e nem sempre o resultado é adequado. O visual funciona bem mas a experiência deixa a desejar. Já vi alguns relatos de bugs que nunca são solucionados.
A segunda nem sempre consegue resultado visual perfeito mas é mais simples fazer tudo funcionar em todas as plataformas. Ela ainda permite fazer as aplicações para as 3 principais plataformas de dispositivos móveis. Claro que aproveitar telas para desktop em mobile não é algo que costuma dar certo. Ela é considerada nativa no Linux e o visual para Windows é muito bem reproduzido, se bobear tanto quanto ou mais que o WPF que também não é perfeito.
Em quase todas elas é possível fazer um visual personalizado que fuja do padrão do sistema operacional. Mas o problema é se mudar o comportamento, a experiência geral. Por melhor que seja a usabilidade em uma plataforma, quando ela é aplicada em outra, não costuma dar muito certo.
Mesmo que queira usar só para Windows, como demostra o título da pergunta, provavelmente preferirá uma biblioteca de mais alto nível, como a Qt. Pela flexibilidade dela, parece ser o mais próximo do que você deseja. Mas não acredite na minha palavra, pesquise mais.
A Qt permite fazer o visual da aplicação ficar da maneira que você quiser. Ela permite que todo o seu desenho seja personalizado.
Optar por MFC, ATL ou WTL. que são opções oficiais ou quase oficiais da Microsoft não é fácil. Alguns acham que a API pura Win32 é até mais fácil :)
Existem outras opções mas poucas pessoas utilizam: eGUI, Ultimate++, SmartWin.
Existe ainda a biblioteca VCL do Builder, mas só funciona com compiladores da Embarcadero.
A lista não termina aqui, a quantidade de opções é impressionante.
Esta é base para você pesquisar mais e ver o que atende sua necessidade. Mas já aviso que nenhuma é perfeita.
Coloquei no GitHub para referência futura.
Qt::FramelessWindowHint
) e então desenhar a sua do jeito que quiser. Eis um exemplo em Qt, com uma janela semi-transparente: qtcentre.org/wiki/index.php?title=ARGB-Widgets