Rafael Lopes
331a021d9a
Some checks failed
Deploy WiFi-ETL Prod / deploy (push) Failing after 0s
- Adicionado suporte para extração de dados do Ruijie e WiFeed, incluindo autenticação e tratamento de erros. - Adicionado suporte para watermarking em ambas as fontes para extração incremental. - Criado script de transformação para mesclagem de MAC addresses. - Implementado Backfill para WiFeed, permitindo extração histórica com controle de taxa. - Adicionado script de depuração para testes de transformação do WiFeed. - Desenvolvido scripts de implantação e configurações do Docker para setup de produção. - Criado script de inicialização do schema do PostgreSQL em infra/init.sql. - Adicionado teste automatizado para lógica de transformação e carregamento em test_transform_load.py. - Atualizado documentation para implantação e setup de produção.
114 lines
2.9 KiB
Plaintext
114 lines
2.9 KiB
Plaintext
# Variáveis de ambiente — WiFi ETL
|
|
|
|
Copie para `.env` e preencha conforme seu ambiente.
|
|
|
|
## 🔧 Aplicação (obrigatórias)
|
|
|
|
```env
|
|
# PostgreSQL (pode ser VM separada ou Docker local)
|
|
DB_HOST=localhost
|
|
DB_PORT=5432
|
|
DB_NAME=wifi_etl
|
|
DB_USER=postgres
|
|
DB_PASSWORD=sua_senha_aqui
|
|
|
|
# Ruijie (AP)
|
|
RUIJIE_BASE_URL=https://cloud-eu.ruijienetworks.com
|
|
RUIJIE_APPID=open52d4899cdbe2
|
|
RUIJIE_SECRET=10493c81e8e94f56b8710d78ed2527c7
|
|
RUIJIE_ACCESS_TOKEN= # opcional — ETL renova automaticamente
|
|
RUIJIE_GROUP_ID=9290679
|
|
|
|
# WiFeed (autenticação usuários)
|
|
WIFEED_BASE_URL=https://api.wifeed.com.br
|
|
WIFEED_CLIENT_ID=60e40ee2-f39f-4556-8a22-840a2e3fa686
|
|
WIFEED_CLIENT_SECRET=dRpd6FB2hjbyvcA
|
|
|
|
# Logging
|
|
LOG_LEVEL=INFO
|
|
```
|
|
|
|
---
|
|
|
|
## 🔐 Secrets (Gitea CI/CD)
|
|
|
|
No **Gitea**, cadastre em **Settings → Secrets**:
|
|
|
|
| Nome | Descrição |
|
|
|---|---|
|
|
| `SSH_PRIVATE_KEY` | Chave privada SSH para deploy no servidor (arquivo `id_rsa`) |
|
|
| `REGISTRY_PASSWORD` | Token do Docker Registry (se usar) |
|
|
| `DB_PASSWORD` | Senha do PostgreSQL (pode ser secret) |
|
|
| `RUIJIE_ACCESS_TOKEN` | Token Ruijie (opcional — ETL pode renovar) |
|
|
| `RUIJIE_SECRET` | Secret Ruijie |
|
|
| `WIFEED_CLIENT_SECRET` | Client Secret WiFeed |
|
|
|
|
---
|
|
|
|
## 📦 Variáveis (Gitea CI/CD)
|
|
|
|
Em **Settings → Variables** (não sensíveis):
|
|
|
|
| Nome | Valor | Padrão |
|
|
|---|---|---|
|
|
| `DB_HOST` | IP/host do banco | — |
|
|
| `DB_PORT` | Porta PostgreSQL | `5432` |
|
|
| `DB_NAME` | Nome do banco | `wifi_etl` |
|
|
| `DB_USER` | Usuário DB | `postgres` |
|
|
| `RUIJIE_BASE_URL` | URL base Ruijie | — |
|
|
| `RUIJIE_APPID` | AppID Ruijie | — |
|
|
| `RUIJIE_SECRET` | Secret Ruijie | — |
|
|
| `RUIJIE_GROUP_ID` | Group ID Ruijie | `9290679` |
|
|
| `WIFEED_BASE_URL` | URL base WiFeed | — |
|
|
| `WIFEED_CLIENT_ID` | Client ID WiFeed | — |
|
|
| `LOG_LEVEL` | Nível de log | `INFO` |
|
|
| `REGISTRY` | Docker Registry (ex: `ghcr.io/user`) | vazio |
|
|
| `REGISTRY_USERNAME` | Username do registry | vazio |
|
|
| `SSH_HOST` | IP/host do servidor prod | — |
|
|
| `SSH_USER` | Usuário SSH do servidor | — |
|
|
|
|
---
|
|
|
|
## 🐳 Docker Compose Override (opcional)
|
|
|
|
Crie `docker-compose.override.yml` para dev com PG embutido:
|
|
|
|
```yaml
|
|
version: '3.8'
|
|
services:
|
|
postgres:
|
|
image: postgres:15-alpine
|
|
environment:
|
|
POSTGRES_PASSWORD: ${DB_PASSWORD}
|
|
POSTGRES_DB: ${DB_NAME}
|
|
ports:
|
|
- "5432:5432"
|
|
volumes:
|
|
- postgres_data:/var/lib/postgresql/data
|
|
- ./infra/init.sql:/docker-entrypoint-initdb.d/init.sql:ro
|
|
|
|
etl:
|
|
build:
|
|
context: .
|
|
dockerfile: infra/Dockerfile
|
|
depends_on:
|
|
postgres:
|
|
condition: service_healthy
|
|
environment:
|
|
DB_HOST: postgres
|
|
DB_PORT: 5432
|
|
DB_NAME: ${DB_NAME}
|
|
DB_USER: ${DB_USER}
|
|
DB_PASSWORD: ${DB_PASSWORD}
|
|
RUIJIE_*: ${RUIJIE_*}
|
|
WIFEED_*: ${WIFEED_*}
|
|
volumes:
|
|
- etl_logs:/var/log
|
|
|
|
volumes:
|
|
postgres_data:
|
|
etl_logs:
|
|
```
|
|
|
|
Use: `docker-compose up -d` (lê `.env` automaticamente).
|