Não faz. Essa versão de wxWidgets que vc está usando é bem antiga. Até onde sei, todo o desenvolvimento está concentrado nas versões 3.0+. Essa versão 2.8 que está usando não vai mais receber melhorias. Elas foram feitas nas versões mais recentes. Se a linguagem Lua que está usando ainda está usando essa versão e vc não tem outra opção, o jeito é se adaptar a ela. Tipo usar uma imagem de fundo que tenha cores que se adaptem aos buttons. Especialmente pq essa função que vc quer só está disponível em Gtk (ambiente Gnome pra GNU/Linux). Como vc pode ler aqui:
http://docs.wxwidgets.org/2.8.12/wx_wxwindow.html#wxwindowsetbackgroundstyle
"On GTK+, use of wxBG_STYLE_CUSTOM allows the flicker-free drawing of a custom background, such as a tiled bitmap. Currently the style has no effect on other platforms."
(Trad: "No GTK+, o uso de wxBG_STYLE_CUSTOM permite o desenho de um fundo customizado, como um bitmap ladrilhado. Atualmente o estilo não tem efeito em outras plataformas").
"On GTK+, use of wxBG_STYLE_CUSTOM allows the flicker-free drawing of a custom background, such as a tiled bitmap. Currently the style has no effect on other platforms."
Tradução: "No GTK+, o uso de wxBG_STYLE_CUSTOM permite o desenho de um fundo customizado, como um bitmap ladrilhado. Atualmente o estilo não tem efeito em outras plataformas."