Logs · Cost-efficient

Loki

Aggregazione log alla Prometheus: indice sulle label, payload su S3. Costo 10× inferiore a ELK su volumi grandi.

LOKI · open source

Cos'è

I log, finalmente sostenibili.

Loki è il sistema di aggregazione log di Grafana Labs. L'idea fondante: indicizzare solo i metadati (label), non il contenuto del log. Il payload va su object storage compresso. Risultato: costi storage 10–20× inferiori a Elasticsearch su volumi grandi, retention plurianuali a prezzi accettabili.

LogQL è il linguaggio di query: stessa filosofia di PromQL, ma per log. Puoi estrarre metriche al volo dai log — utile per costruire SLO su sistemi che non hanno instrumentation.

Lo usiamo per tutto: log applicativi K8s, log di sistema linux, log di firewall, log audit per compliance (GDPR retention 6 mesi, finance 10 anni). Hot/warm/cold tiering automatico per controllare i costi.

Caratteristiche chiave

Perché Loki ha sostituito ELK su quasi tutti i nostri progetti.

Stessa esperienza, costi che non esplodono.

LogQL

Filtra per label, fai grep, estrai metriche, costruisci SLO dai log. Sintassi PromQL-like.

Index su label

Solo i metadati indicizzati. Payload su object storage compresso 4-10×.

S3 / Ceph backend

Pricing per GB-mese predittibile. Niente cluster Elastic da bilanciare.

Tiered retention

Hot 7gg, warm 90gg, cold 2 anni. Tu definisci policy per tenant.

Live tail

Stream real-time direttamente in Grafana Explore. Sostituisce tail -f su 100 host.

Multi-tenant

Header X-Scope-OrgID per separare tenant. Limiti per tenant, retention per tenant.

Come lo usiamo

Come configuriamo Loki nei progetti reali.

Loki 3+Promtail / AlloyCeph / S3 / MinIOLogfmt / JSON parsingHelm chartLogQL recording rules

Promtail / Alloy come agent: tail dei file, parsing JSON/regex, push HTTP verso Loki.
Loki in modalità microservices su Clodino Cloud, monolithic per progetti piccoli.
Object storage Ceph nel cliente per air-gap, S3 Clodino Cloud per managed.
Stream label parsimoniosi: 5-10 label max, niente alta-cardinalità (no user_id come label).
Recording rules per metriche derivate (es: 5xx_rate per route) da Grafana Mimir.
Tiered storage per retention legale: hot 30gg, cold per il resto della retention.

“Loki è quello che ti permette di tenere 2 anni di log audit senza spendere il PIL di San Marino.”

Hands on

Cercare nei log con LogQL.

logql · grafana explore~/clodino

› Tutti i 5xx dell'API checkout, raggruppati per route
sum by (route) (
  rate({app="checkout"}
    |~ "status=5\\d\\d" [5m])
)

› Estrai metriche dai log (no instrumentation)
sum by (sku) (
  count_over_time({app="warehouse"}
    | json
    | event="out_of_stock" [1h])
)

› Live tail di un cliente specifico
{tenant="acme", app="api"} |= "user_id=42"