Deverá ser feita algumas mudanças no código para que funcione do modo esperado no Python 3.

 - Em versões anteriores ao Python 3 o [**print era uma instrução**][1] ([*statement*][2]), a partir do Python 3, ele é considerado [**uma função**][3], e por isso alguns detalhes da sintaxe mudaram, como o uso obrigatório de parênteses, `()`.

 ![inserir a descrição da imagem aqui][4]
 - A partir do Python 3, a função *built-in* `raw_input()` [**foi renomeada**][5] para [`input()`][6].

 ![inserir a descrição da imagem aqui][7]

 - No Python 3 não é necessário usar a vírgula no final para suprimir uma nova linha.

 ![inserir a descrição da imagem aqui][8]

 - A partir do [Python 3.4][9] os métodos que tratavam sobre a codificação e decodificação foram substituídos pelas funções do módulo [`codecs`][10]. 

  Python 3.4, modo errado:

        b"hello".decode("hex")
        Traceback (most recent call last):
         File "<stdin>", line 1, in <module>
         LookupError: 'hex' is not a text encoding; use codecs.decode() to handle arbitrary codecs

  Python 3.4, modo correto:

        >>> from codecs import encode, decode
        >>> encode(b"hello", "hex")
        b'68656c6c6f'
        >>> decode(b"68656c6c6f", "hex")
        b'hello'


 - >Essa parte não entendi:

        print "what do you want to do ? %sencode%s / %sdecode%s" % (RED, RESET, WHITE, RESET)

    As quatro ocorrências do formato `%s` serão substituídas pelos valores de `RED`, `RESET`, `WHITE` e `RESET`. O `print` imprimirá:

        print "what do you want to do ? \033[31mencode\033[0;0m / \033[37mdecode\033[0;0m"

 Isso imprimirá na tela palavras com uma cor diferente, outras combinações de cores podem ser vistas [**aqui**][11].

 - > q = raw_input("=> ") --> ele definiu a variável e este => serial algo em específico no python 2

 O `=>` é o texto que será apresentado e que irá receber a entrada do usuário.

 - >Neste parte abaixo entendi umas partes porém nem todas se alguém me explicar melhor fico grato.

        inputtype = raw_input("Please input data : ") # Recebe a entrada do usuário
        print "shellcode => ",                        # Imprime "shellcode =>" e elimina a nova linha
        for encoded in inputtype:                     # Percorre cada letra da variável "inputtype"
            print "\b\\x"+encoded.encode("hex"),
            sys.stdout.flush()                        # Imprime diretamente na saída padrão "stdout"
            time.sleep(0.5)                           # Espera 30s

O código *convertido* para Python 3 deve ficar assim:

    import sys, time, binascii
    # -*- coding: utf-8 -*-
    
    RED = '\033[31m'
    WHITE = '\033[37m'
    RESET = '\033[0;0m'
    
    def main():
        print("shellcode hex encode decoder")
        print("programmer : gunslinger_ <yudha.gunslinger[at]gmail.com>")
        print("what do you want to do ? {0}encode{1} / {2}decode{3}".format(RED, RESET, WHITE, RESET))
        q = input("=> ")
    
        if q == "encode":
            inputtype = input("Please input data : ")
            print ("shellcode => ")
            for encoded in inputtype:
                print ("\\x{0}".format(binascii.hexlify(bytes(encoded, 'utf-8')).decode()))
                sys.stdout.flush()
                time.sleep(0.5)
                print (RESET)
    
        elif q == "decode":
            inputtype = input("Please input data : ")
            cleaninput = inputtype.replace("\\x","")
            print ("hex       => {0}".format(inputtype))
            print ("plaintext => {0}".format(binascii.unhexlify(cleaninput).decode('utf-8')))
        else:
            print ("wrong answer ! your choice is %sencode%s or %sdecode%s" % (RED, RESET, WHITE, RESET))
            sys.exit(1)
    
    if __name__ == '__main__':
        main()

Uma versão mais *limpa* e com algumas modificações:

    # -*- coding: utf-8 -*-
    import sys, binascii
    
    cor = {'vermelho': '\033[1;31m', 'branco': '\033[1;34m', 'sem_cor': '\033[0;0m'}
    
    def shellcode(opcao, texto):
    	resultado = ""
    	if opcao == 'e':
    		resultado += ''.join("\\x{0}".format(binascii.hexlify(bytes(s, 'utf-8')).decode()) for s in texto)
    	elif opcao == 'd':
    		texto = texto.replace('\\x', '')
    		resultado = binascii.unhexlify(texto).decode()
    	return resultado
    
    def main():
    	opcoes = "{0}encode{1} / {2}decode{3} ou sair".format(cor['vermelho'], cor['sem_cor'], cor['branco'], cor['sem_cor'])
    	print("O que quer fazer? {0}".format(opcoes))
    	while True:
    		try:
    			questao = input("Opcao: ").lower()
    			dados = input("Dados: ")
    			codigo = ""
    			
    			if questao in ['encode', 'enc', 'e']:
    				codigo = shellcode('e', dados)
    			elif questao in ['decode', 'dec', 'd']:
    				codigo = shellcode('d', dados)
    			elif questao in ['sair', 's']:
    				sys.exit()
    			else:
    				sys.exit("Opcao inválida! Opcoes: {0}".format(opcoes))
    				
    			print("{0}: {1}".format(questao, codigo))
    		except KeyboardInterrupt:
    			sys.exit()
    	
    if __name__ == '__main__':
        main()


  [1]: https://docs.python.org/2/reference/simple_stmts.html#the-print-statement
  [2]: http://en.wikipedia.org/wiki/Statement_%28computer_science%29
  [3]: https://www.python.org/dev/peps/pep-3105/
  [4]: https://i.sstatic.net/oWGrT.png
  [5]: https://www.python.org/dev/peps/pep-3111/
  [6]: https://docs.python.org/3.0/library/functions.html#input
  [7]: https://i.sstatic.net/he8da.png
  [8]: https://i.sstatic.net/Kq4GD.png
  [9]: https://docs.python.org/3/whatsnew/3.4.html
  [10]: https://docs.python.org/3/library/codecs.html#module-codecs
  [11]: http://tldp.org/HOWTO/Bash-Prompt-HOWTO/x329.html