O GitHub tenta inferir a linguagem do repositório através da bibliotecas linguist. Infelizmente até onde sei não existe um fluxo automatizado para trocar a linguagem de um repositório.
No topo do repositório do Linguist está escrito:
Language Savant. If your repository's language is being reported
incorrectly, send us a pull request!
Então talvez valha a pena mandar um pull request para o pessoal da biblioteca explicando que essa é uma aplicação Ruby feita com Twitter BootStrap. Talvez seja uma questão de adicionar alguns linhas a mais do vendor.yml dessa biblioteca para remover os diretórios contendo JavaScript específicos desse framework.
Um ponto importante é que o vendor.yml já contém uma regex para excluir o bootstrap:
# Bootstrap minified css and js
- (^|/)bootstrap([^.]*)(\.min)?\.(js|css)$
Antes de mandar um pull request é importante verificar se a regex está incompleta / com algum problema ou se você está usando uma estrutura de diretórios que foge do padrão vide comentário do @utluiz. Talvez uma alternativa seja mover os scripts para a pasta bootstrap
por exemplo.
Uma outra alternativa seria clicar no botão "Contact A Human" a partir da tela de ajuda sobre repositórios marcados com a linguagem errada e ver como o pessoal do GitHub responde.
Se nada disso funcionar você pode ainda migrar seu repositório para outro serviço. Particularmente migrei todos os meus repositórios para o Bitbucket. Esse é um serviço da Atlassian com repositórios Git e Mercurial; inclusive, além de repositórios Open Source, para times com até cinco membros os repositórios privados também são gratuitos. Você pode importar facilmente seus repositórios do GitHub e editar a linguagem do projeto no menu administrativo. Os principais contras para mim são ausência de algo similar aos Gists e o fato de ser um serviço menos conhecido (apesar de usuários do GitHub poderem logar normalmente com suas contas), mesmo assim estou plenamente satisfeito com a mudança e hoje só uso o GitHub para contribuições eventuais em projetos Open Source de terceiros.