Tudo pode interferir na performance, mas aí entra a questão de precisar ou não. Certamente influencia, mas muito pouco e proporcional. Na verdade proporcional amortizado porque algumas operações não farão diferença quantas colunas tem.
Existem muitos motivos bem mais importantes que vão influenciar a performance.
Não se preocupe com isso. Se precisa de muitas colunas, coloque. Se não tem motivo para elas existirem, não tem porque criá-las. Se tentar juntar dados em uma coluna para ter menos colunas, aí eu diria que piorará ainda mais a performance e gerará muita confusão. Não faça isto, o ganho será ínfimo ou nem existir.
Mesmo que tenha muitas colunas, leia só as que você precisa naquela consulta. Isto minimiza o impacto.
Ter muitos dados pode influir indiretamente na performance porque ele pode lotar o cache mais rápido e ter que ficar acessando disco com mais frequência. Mas note que o tamanho do dado total é mais importante que a quantidade de colunas, se puder diminuir a quantidade dados, faça.
Coloquei no GitHub para referência futura.