11

Minha equipe implementou um Pipeline usando Visão Computacional (OpenCV) e uma DNN (Rede Neural) no Tensorflow e Keras usando C++. Esse Pipeline é uma "Layer" da AWS usada por uma Lambda Function implementada em Python e essa "Layer" é invocada usando a biblioteca Boost.

Também foi criado um contêiner no docker (amazonlinux) com todos os requisitos (OpenCV, Boost, Python 3.7, serverless, etc) para fazer a build do código do Pipeline (usando cmake). Tudo estava funcionando bem, a build do Pipeline e das Lambda Functions ocorria sem erros.

Bom, vamos ao detalhamento da minha pergunta: para melhorar o desempenho do Pipeline, eu quero medir a duração/tempo de várias etapas desse Pipeline. Então resolvi fazer isso usando o aws-sdk-cpp-xray, pois o AWS X-Ray é um ótimo recurso para atingir meu objetivo.

Antes de iniciar a codificação, eu adicionei e fiz a build do aws-sdk-cpp na minha máquina local (MacOS) e no mesmo contêiner (amazonlinux) do docker (via dockerfile / docker-compose) que uso para fazer a build do Pipeline e as Lambda Functions (abaixo está a parte que adicionei no Dockerfile):

# Build AWS SDK with BUILD_ONLY XRay
RUN mkdir /tmp/${AWS_SDK_CPP}/build
WORKDIR /tmp/${AWS_SDK_CPP}/build

RUN cmake -D CMAKE_BUILD_TYPE=RELEASE \
    -D BUILD_ONLY="xray" \
    -D TARGET_ARCH=LINUX \
    -D CMAKE_INSTALL_PREFIX=/usr/local \
    -D ENABLE_TESTING=OFF \
    -D SIMPLE_INSTALL=OFF \
    -D BUILD_SHARED_LIBS=ON \
    -D BUILD_DEPS=ON \
    ..


RUN make -j $(nproc) && make install

Em seguida, coloquei as referências do aws-sdk-cpp-xray no CMakeList.txt do meu projeto c ++ (o pipeline) conforme abaixo:

cmake_minimum_required(VERSION 3.4.1)
set( CMAKE_CXX_STANDARD 11 )

find_package(AWSSDK REQUIRED COMPONENTS xray)
add_definitions(-DUSE_IMPORT_EXPORT)

SET(GCC_COVERAGE_COMPILE_FLAGS "-rdynamic -O3 -ffunction-sections -fdata-sections")
add_definitions(${GCC_COVERAGE_COMPILE_FLAGS})

find_package(OpenCV REQUIRED)

set( LIB_FOLDER /lib/src )
link_libraries(lib ${OpenCV_LIBS} ${AWSSDK_LINK_LIBRARIES})
target_link_libraries(lib ${OpenCV_LIBS})

include_directories(${LIB_FOLDER}/include)

file(GLOB lib_src
    "${LIB_FOLDER}/**/**.cpp"
)
include_directories(${CMAKE_INSTALL_PREFIX})

file(GLOB aws_sdk_src
    "${CMAKE_INSTALL_PREFIX}/**/**/**.*"
)
add_library(lib SHARED ${lib_src} ${aws_sdk_src})

Por fim, tentei codificar o XRay usando o aws-sdk-cpp-xray em c++ de várias formas dentro do projeto do Pipeline, mas sem muito sucesso (devido à falta de exemplos do XRay em c++ da própria Amazon). E quando tentava testar a execução da Lambda Function que invoca Layer do Pipeline com as novas implementações do XRay eu comecei a receber o erro abaixo:

Runtime.ImportModuleError: Unable to import module 'functions/myfunction': /opt/lib/lib.so: undefined symbol: _ZTVN3Aws35AmazonSerializableWebServiceRequestE

Onde:

  • "myfunction" é a Lambda Function em Python.
  • "lib.so" é a Layer (Pipeline) em c++.

Algumas hipóteses: Parece que o problema de execução é causado pela instalação do aws-sdk-cpp no Dockerfile. Ou talvez tenha sido causado pelas entradas no arquivo de projeto do Pipeline CMakeList.txt... Ou até falta adicionar alguns arquivos * .so, * .a ou .so ao pacote da Layer (Pipeline). Mas, devido à falta de documentação / manual e nada encontrado sobre os erros acima, estou pedindo ajuda com algum exemplo sobre o uso do AWS XRay usando C++ ou mesmo alternativas para implementar essa medição de tempo.

Obs.: Eu também pedi exemplos na home do GitHub da AWS SDK. Por favor, se possível, me ajude votando no pedido do exemplo: https://github.com/awsdocs/aws-doc-sdk-examples/issues/1012

Obrigado!

2 Respostas 2

-1

Entendo que você está tentando usar o AWS X-Ray com C++ para rastrear o desempenho do seu pipeline. No entanto, parece que você está encontrando alguns problemas ao tentar integrar o AWS SDK para C++ com o X-Ray em seu projeto.

Aqui estão algumas sugestões que podem ajudar:

  1. Verifique a versão do SDK: Certifique-se de que você está usando a versão mais recente do AWS SDK para C++. Às vezes, problemas de símbolos indefinidos podem ser causados por incompatibilidades de versão.

  2. Verifique as dependências do SDK: O AWS SDK para C++ tem muitas dependências e é importante garantir que todas elas estejam corretamente instaladas e vinculadas. Isso inclui bibliotecas como o OpenSSL e o libcurl.

  3. Verifique a compilação do SDK: Certifique-se de que o SDK foi compilado corretamente. Você pode tentar recompilar o SDK com todas as suas dependências para garantir que não haja problemas nesse processo.

  4. Verifique a vinculação do SDK: Verifique se o seu projeto está vinculando corretamente contra o AWS SDK. Você pode precisar ajustar suas configurações de vinculação ou adicionar caminhos adicionais para as bibliotecas do SDK.

  5. Verifique a documentação do X-Ray: Embora a documentação do X-Ray para C++ seja limitada, você pode encontrar exemplos úteis na documentação para outras linguagens que podem ser adaptados para C++. Por exemplo, a documentação do X-Ray para Java¹ pode ter exemplos que você pode adaptar para C++.

  6. Procure por exemplos de código: Embora os exemplos específicos de C++ possam ser limitados, você pode encontrar exemplos úteis em repositórios de código aberto ou em fóruns de discussão online. Por exemplo, este tópico no Stack Overflow² discute o uso do AWS SDK C++ XRay em uma camada Lambda implementada em C++.

Espero que essas sugestões possam ajudá-lo a resolver os problemas que você está enfrentando.

(1) AWS X-Ray sample application - AWS X-Ray. https://docs.aws.amazon.com/xray/latest/devguide/xray-scorekeep.html.

(2) How to use AWS SDK C++ XRay in a AWS Lambda Layer implemented in C++ .... https://stackoverflow.com/questions/60419766/how-to-use-aws-sdk-c-xray-in-a-aws-lambda-layer-implemented-in-c-called-by-a.

(3) Learn Serverless Tracability with "The X-Ray Tracer" CDK Pattern .... https://dev.to/cdkpatterns/learn-serverless-tracability-with-the-x-ray-tracer-cdk-pattern-lambda-sns-sqs-dynamodb-3457.

(4) GitHub - aws-samples/example-for-aws-xray-in-amazon-ecs. https://github.com/aws-samples/example-for-aws-xray-in-amazon-ecs.

-2
  1. Crie uma camada personalizada para a AWS Lambda que contenha o AWS SDK C++ e a biblioteca XRay. Para criar uma camada personalizada, siga as instruções descritas na documentação oficial da AWS.
  2. Adicione o código C++ que usa o SDK XRay na camada criada. Certifique-se de que o código esteja compilado para a mesma arquitetura da camada.
  3. Adicione a camada personalizada na AWS Lambda Python. Para fazer isso, siga as instruções descritas na documentação oficial da AWS.
  4. No código Python da AWS Lambda, importe a biblioteca XRay e inicialize-a usando o SDK C++. Você pode fazer isso usando o seguinte código:
import AWSXRaySDK

def lambda_handler(event, context):
   # Inicialize o SDK XRay usando o AWS SDK C++
   AWSXRaySDK.initialize()

   # Insira seu código de lógica de negócios aqui

   return {
       'statusCode': 200,
       'body': json.dumps('Hello from Lambda!')
   }
  1. Use o SDK XRay para instrumentar o código Python. Você pode fazer isso usando o seguinte código:
import AWSXRaySDK

def lambda_handler(event, context):
    # Inicialize o SDK XRay usando o AWS SDK C++
    AWSXRaySDK.initialize()

    # Comece a segmentar a execução da função Lambda
    segment = AWSXRaySDK.begin_segment('lambda-function')

    # Insira seu código de lógica de negócios aqui

    # Encerre a segmentação da função Lambda
    AWSXRaySDK.end_segment(segment)

    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

Com essas etapas, você deve ser capaz de usar o AWS SDK C++ XRay em uma "Layer" implementada em C++ de uma AWS Lambda em Python. Certifique-se de testar seu código para garantir que ele esteja funcionando corretamente.

1
  • Como está escrito atualmente, sua resposta não é clara. Por favor, pode editar para adicionar mais detalhes, que ajudarão outras pessoas a entender como isso resolve a pergunta feita. Você pode encontrar mais informações sobre como escrever boas respostas na Central de Ajuda.
    – Comunidade Bot
    Commented 7/03/2023 às 19:16

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .