1

Eu estou a desenvolver um programa em Python que é basicamente um Chat, apenas para treinamento. Eu gostaria que ele tivesse funções como: microfone, webcam, mensagem e compartilhamento de tela. Já consegui fazer cada uma destas funções separadamente. O problema está na hora da montagem do socket, pois eu queria que cada função fosse independente mas estivessem conectadas no servidor através de um único socket, por exemplo: o programa usado pelo usuário envia os frames da webcam para o Servidor ao mesmo tempo que os frames do Desktop são enviado, sendo que isto tem que ocorrer em um único socket. Eu tentei pela biblioteca socket do Python, mas a aplicação trava porque todos os dados são enviados para a primeira instância criada de recebimento no Servidor, mesmo que eu use Thread. Tentei usar o zerorpc, mas não consegui criar um Thread para cada função, não entendi o porquê. Seria mais ou menos isso:

import zerorpc
c = zerorpc.Client()
c.connect("tcp://127.0.0.1:4242")

def enviarWebcam():
    frame_da_webcam = None #só exemplo
    c.Webcam(frame_da_webcam)

def enviarDesktop():
    frame_do_desktop = None
    c.Desktop(frame_do_desktop)

_thread.start_new_thread(enviarWebcam, ())
_thread.start_new_thread(enviarDesktop, ())

E no servidor:

import zerorpc

class Chat(object):
    def Webcam(self, frame):
        #aqui eu recebo o frame e envio para o usuário que está se comunicando com o outro
    def Desktop(self, frame):
        #a mesma coisa do acima

s = zerorpc.Server(Chat())
s.bind("tcp://0.0.0.0:4242")

Tentei IronPython também, mas por não conhecer muito C# acabei desistindo. Se alguém poder me dá uma ajudinha de como seria esta rede, eu agradeço muito!

1

1 Resposta 1

1

Então - você descobriu por que existem protocolos de mais alto nível que o TCP, como HTTP e FTP por exemplo: o TCP trata da troca de mensagens entre dois computadores, com uma conexão estabelecida - mas não se importa de forma alguma com o conteúdo dessas mensagens.

Qualquer informação além disso - inclusive o comprimento da mensagem, ou marcador de final, são dados que também tem que estar dentro das mensagens, além do conteúdo final em si, no seu caso, os bytes com os arquivos de imagens.

No seu caso específico, você quer compartilhar a mesma conexão TCP para transitar vários arquivos - ou, criar conexões separadas, e acessar funcionalidades distintas, mas com o mesmo socket de entrada - ambas as situações exigem mais controle do que somente ter uma cnexão TCP e usar recv lá para ler os bytes. O Protocolo "HTTP" por exemplo, foi criado para termos as mensagens que tanto conhecemos, que enviam mensagens do tipo "GET", "POST", "PUT", e são respondidas pelo servidor com o famoso "Status Code". Um socket cru não tem nada disso- como você percebeu no texto que está na primeira parte da sua pergunta, você tem que ou usar um protocolo de mais alto nível, ou reinventar a roda.

Então tenho uma boa notícia e uma má notícia:

Felizmente, em vez de reinventar a roda, você optou por usar a biblioteca zerorpc que já faz isso: acrescenta camadas de protocolo em volta do Socket, para permitir a chamada de métodos Python, e já formata e serializa a resposta - ou seja, você não está mais preocupado só com um "socket" - a sua dúvida é de zerorpc. então é seguir a documentação dele e ver como lidar com chamadas assíncronas: isso é - a habilidade de processar e responder um request sem bloquear a chegada de novos requests.

Daí vem a má notícia - o zeroprc server do Python não cria múltiplos workers automaticamente, usando nenhum método, e a documentação existente é bem ruim. A parte boa é que ele gerencia multiplas conexões no mesmo socket, então, sim, uma vez que você consiga criar os workers paralelos, se o seu cliente já estiver fazendo as chamadas em paralelo, vai funcionar (mas se você precisar paralelizar o cliente também, tem mais coisas).

Bom, resumindo - o zerorpc usa uma tecnologia de Python chamada gevent, que é mais leve que threads, no entanto isso implica que você vai ter que usar gevent para paralelizar seu servidor, e não threads. Threads já são complicadas, mas você encontra bastante exemplo e documentação. Gevent usa algo chamado "greenlet" em vez de threads - tem as mesmas dificuldades, mas muito menos documentação e exemplos.

A documentação dos gevent está aqui: http://www.gevent.org/api/

Mas resumindo, em cada função sua que for disponibilizada para ser chamada remotamente, você pode criar um novo Greenlet apontando para a função real, e chamar seu método .join - isso vai executar a função dentro do greenlet - equivalente as threads do S.O que o Python. usa - e pode liberar o servidor para receber outras conexões (mas - mais sobre isso a frente), enquanto faz o seu processamento. Quando a chamada ao .join retornar, você pode retornar o atributo .value do greenlet - esse será o valor de retorno da função remota.

Aqui tenho um servidor e cliente simplezinhos, que só dorme uma fração de segunda aleatória, primeiro sequencialmente e depois em paralelo:

import random, time

import gevent
import zerorpc

def sync_world(self, i):
    print(f"starting {i}")
    gevent.sleep(random.random())
    print(f"finishing {i}")
    return i

class Hello:

    def world(self, i):
        glet = gevent.spawn(sync_world, i)
        glet.join()
        return glet.value

s = zerorpc.Server(Hello())
s.bind("tcp://127.0.0.1:8877")
gevent.spawn(s.run)
gevent.wait()

E o cliente - perceba que as chamadas do cliente tem que passar o valor async=True. Isso faz a chamada retornar um "future", em vez do valor real - depois é necessário chamar o método get em cada valor retornado para ter o valor processado no servidor.

import time

import zerorpc

c = zerorpc.Client("tcp://127.0.0.1:8877")

def timeit(func):
    def wrapper(*args, **kw):
        start = time.time()
        result = func(*args, **kw)
        print (f"\n{func.__name__} ran in {time.time() - start}s\n")
        return result
    return wrapper

@timeit
def query():
    for i in range(10):
        print(c.world(i))

@timeit
def parallel_query():
    results = []
    for i in range(10):
        results.append(c.world(i, async=True))
    for result in results:
        print(result.get(block=True))

query()
parallel_query()

Em outras palavras - esse cliente tem uma função que só chama os métodos em sequência - funciona, mas isso vai esperar cada resposta ficar pronta no servidor para enviar o próximo request- mesmo o servidor estando paralelizado. A segunda função adiciona o parâmetro async=True (não confundir com a palavra chave async introduzida no Python 3.5 - é só a mesma ideia, mas implementada separada, usando os greenlets). (esse código também tem um decoradorzinho pra imprimir o tempo de cada função - ele, claro, não é necessário)

Agora - outra má notícia - perceba que para o meu servidor ser paralelo, eu tenho que chamar a função greenlet.sleep. Ou seja: eu tenho que passar o controle, em algum ponto, para o loop do "gevent", senão a função não fica paralela, ela roda até o fim - sem deixar o servidor acessar novas conexões - então o remédio realmente é chamar o gevent.sleep() (sem um número - ou com "0"), isso faz o gevent verificar se há outra conexão no socket e começar a trata-la. Isso é diferente de threads - em que o próprio sistema operacional muda pra outra thread de forma automática. É mais parecido com o asyncio mais usado em Python recente.

E aí vem a terceira má notícia: o greenlet original, que chamou o gevent.sleep para dar uma chance para outra chamada, vai ficar parado esperando - se o tempo que você leva para responer a requisição do lado do servidor usa muita CPU ou bloqueia em IO (por exemplo, ao salvar o arquivo no disco) - isso não é paralelizado pelo gevent ou pelo Python - você vai precisar de uma terceira tecnologia (alem do zerorpc e do gevent) para rodar a tarefa realmente em paralelo. Então, sim, você ainda pode ter um bom caminho pela frente.

Uma coisa a se tentar, logo que você conseguir paralelizar o servidor, mesmo que não tenha percebido ainda os benefícios, é chamar as funções de monkey-patch do gevent - elas fazem com que algumas funções da biblioteca padrão do Python passem a cooperar com o gevent automaticamente, e pode ser que você já possa responder às queries em paralelo, dependendo do que cada função worker sua fizer: http://www.gevent.org/api/gevent.monkey.html (mas não sei dizer se o zerorpc já faz essa chamada).

Você escreveu que está fazendo "só um chat" - eu entendo isso como um chat de texto - nesse caso, o tratamento em paralelo dos sockets só com o monkey-patch acima é mais que suficiente. Mas no seu código tem funções para querer salvar em tempo real todos os frames de duas streams de vídeo - isso é bem mais pesado, e não dá pra fazer de forma muito mais simples.

Alternativa:

Esqueça o zerorpc, se começar a se complicar muito e não tiver documentação melhor sobre como paraleliza-lo (eu não achei). Em vez disso use o celery - ele usa um outro processo como "broker" - isso é, um gerenciador de mensagens, mas faz isso de forma transparente. Aí em vez de ter um único servidor, você sobe vários workers consumindo mensagens, e as chamadas de método remotos, em vez de falarem com os workers direto, colocam as mensagens no broker - para quem programa é a mesma coisa: sua função Python aqui é chamada remotamente do outro processo - mas toda a parte de paralelismo e de rede fica por conta do Celery. - https://celery.org

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .