Skip to main content
Aviso removido Chamar atenção por ComunidadeBot
Fim da Recompensa sem resposta vencedora por ComunidadeBot
Aviso adicionado Chamar atenção por BrTkCa
Recompensa Oferecida vale 50 pontos de reputação por BrTkCa
título editado
Link

Como usar o AWS SDK C ++C++ XRay em uma "Layer" implementada em C++ de uma AWS Lambda implementada em C ++Python?

Tweeted twitter.com/StackOverflowPT/status/1238163023782707206
Fonte Link

Como usar o AWS SDK C ++ XRay em uma "Layer" de uma AWS Lambda implementada em C ++?

Minha equipe implementou um Pipeline usando Visão Computacional (OpenCV) e uma DNN (Rede Neural) no Tensorflow e Keras usando C++. Esse Pipeline é uma "Layer" da AWS usada por uma Lambda Function implementada em Python e essa "Layer" é invocada usando a biblioteca Boost.

Também foi criado um contêiner no docker (amazonlinux) com todos os requisitos (OpenCV, Boost, Python 3.7, serverless, etc) para fazer a build do código do Pipeline (usando cmake). Tudo estava funcionando bem, a build do Pipeline e das Lambda Functions ocorria sem erros.

Bom, vamos ao detalhamento da minha pergunta: para melhorar o desempenho do Pipeline, eu quero medir a duração/tempo de várias etapas desse Pipeline. Então resolvi fazer isso usando o aws-sdk-cpp-xray, pois o AWS X-Ray é um ótimo recurso para atingir meu objetivo.

Antes de iniciar a codificação, eu adicionei e fiz a build do aws-sdk-cpp na minha máquina local (MacOS) e no mesmo contêiner (amazonlinux) do docker (via dockerfile / docker-compose) que uso para fazer a build do Pipeline e as Lambda Functions (abaixo está a parte que adicionei no Dockerfile):

# Build AWS SDK with BUILD_ONLY XRay
RUN mkdir /tmp/${AWS_SDK_CPP}/build
WORKDIR /tmp/${AWS_SDK_CPP}/build

RUN cmake -D CMAKE_BUILD_TYPE=RELEASE \
    -D BUILD_ONLY="xray" \
    -D TARGET_ARCH=LINUX \
    -D CMAKE_INSTALL_PREFIX=/usr/local \
    -D ENABLE_TESTING=OFF \
    -D SIMPLE_INSTALL=OFF \
    -D BUILD_SHARED_LIBS=ON \
    -D BUILD_DEPS=ON \
    ..


RUN make -j $(nproc) && make install

Em seguida, coloquei as referências do aws-sdk-cpp-xray no CMakeList.txt do meu projeto c ++ (o pipeline) conforme abaixo:

cmake_minimum_required(VERSION 3.4.1)
set( CMAKE_CXX_STANDARD 11 )

find_package(AWSSDK REQUIRED COMPONENTS xray)
add_definitions(-DUSE_IMPORT_EXPORT)

SET(GCC_COVERAGE_COMPILE_FLAGS "-rdynamic -O3 -ffunction-sections -fdata-sections")
add_definitions(${GCC_COVERAGE_COMPILE_FLAGS})

find_package(OpenCV REQUIRED)

set( LIB_FOLDER /lib/src )
link_libraries(lib ${OpenCV_LIBS} ${AWSSDK_LINK_LIBRARIES})
target_link_libraries(lib ${OpenCV_LIBS})

include_directories(${LIB_FOLDER}/include)

file(GLOB lib_src
    "${LIB_FOLDER}/**/**.cpp"
)
include_directories(${CMAKE_INSTALL_PREFIX})

file(GLOB aws_sdk_src
    "${CMAKE_INSTALL_PREFIX}/**/**/**.*"
)
add_library(lib SHARED ${lib_src} ${aws_sdk_src})

Por fim, tentei codificar o XRay usando o aws-sdk-cpp-xray em c++ de várias formas dentro do projeto do Pipeline, mas sem muito sucesso (devido à falta de exemplos do XRay em c++ da própria Amazon). E quando tentava testar a execução da Lambda Function que invoca Layer do Pipeline com as novas implementações do XRay eu comecei a receber o erro abaixo:

Runtime.ImportModuleError: Unable to import module 'functions/myfunction': /opt/lib/lib.so: undefined symbol: _ZTVN3Aws35AmazonSerializableWebServiceRequestE

Onde:

  • "myfunction" é a Lambda Function em Python.
  • "lib.so" é a Layer (Pipeline) em c++.

Algumas hipóteses: Parece que o problema de execução é causado pela instalação do aws-sdk-cpp no Dockerfile. Ou talvez tenha sido causado pelas entradas no arquivo de projeto do Pipeline CMakeList.txt... Ou até falta adicionar alguns arquivos * .so, * .a ou .so ao pacote da Layer (Pipeline). Mas, devido à falta de documentação / manual e nada encontrado sobre os erros acima, estou pedindo ajuda com algum exemplo sobre o uso do AWS XRay usando C++ ou mesmo alternativas para implementar essa medição de tempo.

Obs.: Eu também pedi exemplos na home do GitHub da AWS SDK. Por favor, se possível, me ajude votando no pedido do exemplo: https://github.com/awsdocs/aws-doc-sdk-examples/issues/1012

Obrigado!