Minha equipe implementou um Pipeline usando Visão Computacional (OpenCV) e uma DNN (Rede Neural) no Tensorflow e Keras usando C++. Esse Pipeline é uma "Layer" da AWS usada por uma Lambda Function implementada em Python e essa "Layer" é invocada usando a biblioteca Boost.
Também foi criado um contêiner no docker (amazonlinux) com todos os requisitos (OpenCV, Boost, Python 3.7, serverless, etc) para fazer a build do código do Pipeline (usando cmake). Tudo estava funcionando bem, a build do Pipeline e das Lambda Functions ocorria sem erros.
Bom, vamos ao detalhamento da minha pergunta: para melhorar o desempenho do Pipeline, eu quero medir a duração/tempo de várias etapas desse Pipeline. Então resolvi fazer isso usando o aws-sdk-cpp-xray, pois o AWS X-Ray é um ótimo recurso para atingir meu objetivo.
Antes de iniciar a codificação, eu adicionei e fiz a build do aws-sdk-cpp na minha máquina local (MacOS) e no mesmo contêiner (amazonlinux) do docker (via dockerfile / docker-compose) que uso para fazer a build do Pipeline e as Lambda Functions (abaixo está a parte que adicionei no Dockerfile):
# Build AWS SDK with BUILD_ONLY XRay
RUN mkdir /tmp/${AWS_SDK_CPP}/build
WORKDIR /tmp/${AWS_SDK_CPP}/build
RUN cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D BUILD_ONLY="xray" \
-D TARGET_ARCH=LINUX \
-D CMAKE_INSTALL_PREFIX=/usr/local \
-D ENABLE_TESTING=OFF \
-D SIMPLE_INSTALL=OFF \
-D BUILD_SHARED_LIBS=ON \
-D BUILD_DEPS=ON \
..
RUN make -j $(nproc) && make install
Em seguida, coloquei as referências do aws-sdk-cpp-xray no CMakeList.txt do meu projeto c ++ (o pipeline) conforme abaixo:
cmake_minimum_required(VERSION 3.4.1)
set( CMAKE_CXX_STANDARD 11 )
find_package(AWSSDK REQUIRED COMPONENTS xray)
add_definitions(-DUSE_IMPORT_EXPORT)
SET(GCC_COVERAGE_COMPILE_FLAGS "-rdynamic -O3 -ffunction-sections -fdata-sections")
add_definitions(${GCC_COVERAGE_COMPILE_FLAGS})
find_package(OpenCV REQUIRED)
set( LIB_FOLDER /lib/src )
link_libraries(lib ${OpenCV_LIBS} ${AWSSDK_LINK_LIBRARIES})
target_link_libraries(lib ${OpenCV_LIBS})
include_directories(${LIB_FOLDER}/include)
file(GLOB lib_src
"${LIB_FOLDER}/**/**.cpp"
)
include_directories(${CMAKE_INSTALL_PREFIX})
file(GLOB aws_sdk_src
"${CMAKE_INSTALL_PREFIX}/**/**/**.*"
)
add_library(lib SHARED ${lib_src} ${aws_sdk_src})
Por fim, tentei codificar o XRay usando o aws-sdk-cpp-xray em c++ de várias formas dentro do projeto do Pipeline, mas sem muito sucesso (devido à falta de exemplos do XRay em c++ da própria Amazon). E quando tentava testar a execução da Lambda Function que invoca Layer do Pipeline com as novas implementações do XRay eu comecei a receber o erro abaixo:
Runtime.ImportModuleError: Unable to import module 'functions/myfunction': /opt/lib/lib.so: undefined symbol:
_ZTVN3Aws35AmazonSerializableWebServiceRequestE
Onde:
- "myfunction" é a Lambda Function em Python.
- "lib.so" é a Layer (Pipeline) em c++.
Algumas hipóteses: Parece que o problema de execução é causado pela instalação do aws-sdk-cpp no Dockerfile. Ou talvez tenha sido causado pelas entradas no arquivo de projeto do Pipeline CMakeList.txt... Ou até falta adicionar alguns arquivos * .so, * .a ou .so ao pacote da Layer (Pipeline). Mas, devido à falta de documentação / manual e nada encontrado sobre os erros acima, estou pedindo ajuda com algum exemplo sobre o uso do AWS XRay usando C++ ou mesmo alternativas para implementar essa medição de tempo.
Obs.: Eu também pedi exemplos na home do GitHub da AWS SDK. Por favor, se possível, me ajude votando no pedido do exemplo: https://github.com/awsdocs/aws-doc-sdk-examples/issues/1012
Obrigado!