Como referido nesta resposta, o utilizador é quem decide se as novas janelas vão para uma aba ou para uma janela mesmo.
O conceito atualmente empregue pelos navegadores é que pedidos de novas janelas sejam abertos como nova aba salvo se o utilizador definir o contrário nas opções do seu navegador (de notar que isto não é um standard).
Parece-me que estás a tentar resolver algo não resolvível programaticamente uma vez que a decisão é do utilizador e está presente nas definições do navegador às quais não temos acesso programaticamente.
Forçar abrir em nova aba
Até ao momento ainda não existe suporte oficial, mas em CSS existe uma proposta para lidar com este assunto:
.novaAba {
target-new: tab ! important
}
Alguns testes revelam que navegadores recentes dão suporte a esta propriedade.
Saber mais em CSS3 Hyperlink Presentation Module.
Forçar abrir em nova janela
Salvo se o utilizador tiver definido no seu navegador para abrir sempre numa nova aba, o seguinte código permite abrir numa nova janela porque efetivamente estamos a indicar detalhes como a altura, detalhes esses que indicam ao navegador que pretendemos uma nova janela e não uma aba:
window.open("http://www.google.com/", "minhaJanela", "height=200,width=200");
Estas e outras opções da nova janela podem ser consultadas aqui.