Rafael Lopes
331a021d9a
Some checks failed
Deploy WiFi-ETL Prod / deploy (push) Failing after 0s
- Adicionado suporte para extração de dados do Ruijie e WiFeed, incluindo autenticação e tratamento de erros. - Adicionado suporte para watermarking em ambas as fontes para extração incremental. - Criado script de transformação para mesclagem de MAC addresses. - Implementado Backfill para WiFeed, permitindo extração histórica com controle de taxa. - Adicionado script de depuração para testes de transformação do WiFeed. - Desenvolvido scripts de implantação e configurações do Docker para setup de produção. - Criado script de inicialização do schema do PostgreSQL em infra/init.sql. - Adicionado teste automatizado para lógica de transformação e carregamento em test_transform_load.py. - Atualizado documentation para implantação e setup de produção.
37 lines
965 B
YAML
37 lines
965 B
YAML
version: '3.8'
|
|
|
|
services:
|
|
etl:
|
|
image: wifi-etl:latest # imagem construída pelo CI/CD
|
|
container_name: wifi-etl-worker
|
|
restart: unless-stopped
|
|
environment:
|
|
# PostgreSQL (VM separada)
|
|
DB_HOST: ${DB_HOST}
|
|
DB_PORT: ${DB_PORT:-5432}
|
|
DB_NAME: ${DB_NAME:-wifi_etl}
|
|
DB_USER: ${DB_USER:-postgres}
|
|
DB_PASSWORD: ${DB_PASSWORD}
|
|
|
|
# Ruijie
|
|
RUIJIE_BASE_URL: ${RUIJIE_BASE_URL}
|
|
RUIJIE_APPID: ${RUIJIE_APPID}
|
|
RUIJIE_SECRET: ${RUIJIE_SECRET}
|
|
RUIJIE_ACCESS_TOKEN: ${RUIJIE_ACCESS_TOKEN}
|
|
RUIJIE_GROUP_ID: ${RUIJIE_GROUP_ID:-9290679}
|
|
|
|
# WiFeed
|
|
WIFEED_BASE_URL: ${WIFEED_BASE_URL}
|
|
WIFEED_CLIENT_ID: ${WIFEED_CLIENT_ID}
|
|
WIFEED_CLIENT_SECRET: ${WIFEED_CLIENT_SECRET}
|
|
|
|
# ETL
|
|
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
|
networks:
|
|
- wifi-etl-net
|
|
# Entrypoint já definido no Dockerfile (executa ETL uma vez + cron -f)
|
|
|
|
networks:
|
|
wifi-etl-net:
|
|
driver: bridge
|