Rafael Lopes
331a021d9a
Some checks failed
Deploy WiFi-ETL Prod / deploy (push) Failing after 0s
- Adicionado suporte para extração de dados do Ruijie e WiFeed, incluindo autenticação e tratamento de erros. - Adicionado suporte para watermarking em ambas as fontes para extração incremental. - Criado script de transformação para mesclagem de MAC addresses. - Implementado Backfill para WiFeed, permitindo extração histórica com controle de taxa. - Adicionado script de depuração para testes de transformação do WiFeed. - Desenvolvido scripts de implantação e configurações do Docker para setup de produção. - Criado script de inicialização do schema do PostgreSQL em infra/init.sql. - Adicionado teste automatizado para lógica de transformação e carregamento em test_transform_load.py. - Atualizado documentation para implantação e setup de produção.
25 lines
811 B
Python
25 lines
811 B
Python
from dotenv import load_dotenv
|
|
import os
|
|
|
|
load_dotenv()
|
|
|
|
# PostgreSQL
|
|
DB_HOST = os.getenv("DB_HOST")
|
|
DB_PORT = int(os.getenv("DB_PORT"))
|
|
DB_NAME = os.getenv("DB_NAME", "wifi_etl")
|
|
DB_USER = os.getenv("DB_USER", "postgres")
|
|
DB_PASSWORD = os.getenv("DB_PASSWORD")
|
|
|
|
# Ruijie
|
|
RUIJIE_BASE_URL = os.getenv("RUIJIE_BASE_URL", "https://cloud-eu.ruijienetworks.com")
|
|
RUIJIE_APPID = os.getenv("RUIJIE_APPID")
|
|
RUIJIE_SECRET = os.getenv("RUIJIE_SECRET")
|
|
RUIJIE_ACCESS_TOKEN = os.getenv("RUIJIE_ACCESS_TOKEN")
|
|
RUIJIE_GROUP_ID = os.getenv("RUIJIE_GROUP_ID")
|
|
|
|
# WiFeed (pendente)
|
|
WIFEED_BASE_URL = os.getenv("WIFEED_BASE_URL", "")
|
|
WIFEED_CLIENT_ID = os.getenv("WIFEED_CLIENT_ID", "")
|
|
WIFEED_CLIENT_SECRET = os.getenv("WIFEED_CLIENT_SECRET", "")
|
|
|
|
LOG_LEVEL = os.getenv("LOG_LEVEL", "INFO") |