LIVE 2026 Black Friday 2026 — Tech Playbook

Black Friday 2026 — Tech Operations & War Room

Instrucțiuni tehnice, monitorizare infrastructură în timp real și proceduri de intervenție rapidă pentru echipa de Dev & DevOps.

📅 Începând din 4 Noiembrie 2026
🏢 2Performant Platform
🛡️ War Room Ready
ℹ️

Grafana Access Configuration

Pentru a accesa dashboard-urile interne Grafana prin VPN, adaugă această linie în fișierul tău local /etc/hosts:

3.125.45.57 grafana.platform.2performant.cloud
🔍

🚨 Proceduri de Intervenție Rapidă (Emergency Runbooks)

To update after stress tests

Event Load > 7,000 req/min

Prag depășit pe cele 2 instanțe m7i.large
DevOps

Adaugă încă 2 servere disponibile din bancă (server farm) în autoscaling/load balancer.

API Load > 1,500 req/min

Prag depășit pe cele 2 instanțe t3.large
DevOps

Adaugă încă 2 servere din bancă pentru a prelua volumul crescut de cereri API.

Products MySQL / Feeds Load

High CPU pe serverul de import feeds
Dev Team DevOps

Scade limitele pentru feed-urile afiliaților:

  1. Modifică CSV_FEED_LIMIT și XML_FEED_LIMIT în repo-ul aws-config.
  2. Fă deploy rapid.
  3. Dacă Products MySQL rămâne sub încărcare critică, DevOps oprește instanța de feeds.

SOLR Down / JVM Spike

Dezactivare query-uri SOLR cu fallback pe MySQL
Dev Team

Dezactivează interogarea SOLR pentru comisioanele afiliaților din Admin Access Restrictions (interogările vor merge automat pe MySQL).

📋 Vezi comportamentul la dezactivare (Test Results)

Afiliați:

  • commissions — datele sunt interogate cu succes din MySQL.
  • campaigns / banners — returnează 500 (nu au fallback MySQL).

Advertiseri:

  • commissions — sunt interogate din SOLR indiferent.
  • campaigns / banners — returnează 500.

Mongo High CPU Load

Încărcare mare din cauza statisticilor
Dev Team

Dezactivează temporar statisticile din Admin RestrictAccessParams pentru a reduce interogările grele pe clusterul MongoDB.

1 Server Mongo Down

Cădere instanță din replica set (2 sec + 1 prim)
DevOps

Clusterul rămâne funcțional datorită replicilor. DevOps va proviziona o nouă instanță AWS EC2 pentru a reface redundanța clusterului.

Redis / Memcached Down

Servicii de memorie / cache blocate
DevOps

Restart rapid al serviciilor afectate. Monitorizează consumul de memorie și alertele PagerDuty / CloudWatch.

DocumentDB Read / Write Issues

Scalare pe replică sau instanță primară
DevOps
  • Read issues: Scale up / scale out replicile DocumentDB.
  • Write issues: Scale up instanța primary.
  • Verifică cozile SQS pentru EventConsumer și Main Consumer.

🎯 Obiective Operaționale & Verificări de Sănătate

System Status & SLAs
Obiectiv Cum se îndeplinește Monitorizare & Link-uri Rapide
Keep Databases Up & Running
  • MySQL (Main, Products, AFPIS)
  • Redis (Main, Importer)
  • Memcached
  • MongoDB
  • Solr
  • DocumentDB

MySQL: Response time optim (< 8 sesiuni active pentru a preveni slow responses).

Redis & Memcached: Servicii UP.

Mongo: 3 instanțe active (2 secundare, 1 primară).

Solr: Dacă JVM > 80-90%, restart via Cătălin I sau Monit.

Event & API Up & Running Adăugare instanțe adiționale din server bank când se atinge pragul critic de throughput.
Sidekiq Workers Healthy Sidekiq nu are job-uri blocate sau cozi în creștere exponențială (Main, IS, Importer).
Statistici Funcționale în Platformă
Inclusiv pentru power users
Monitorizare continuă pe instanțele MongoDB și RDS MySQL.
Import Produse & Feeds Normal
Fără blocaje pe timpul nopții
Monitorizare pe clusterul MySQL de produse și instanțele 1, 2, 3.
Admin Funcțional & Secțiune BF Admin merge, avem secțiune dedicată BF care se actualizează la fiecare oră.
Plăți Facturi & Sume Advertiseri Serviciile IS și AFP rămân sus (nu se preconizează load extrem).
Statistici Orare BI & Backup S3 Export orar mysqldump sincronizat în bucket-ul dedicat S3 pentru BI Data Studio.
Înregistrare Corectă a Logurilor Logare în timp real în OpenSearch și New Relic Logger.

📊 Hub de Monitorizare Directă

Toate panourile într-un singur loc

Event & API Traffic

Broadcast pe Meet & New Relic
Core Web

Monitorizarea debitului total de trafic și a ratei de erori pe endpoint-urile Event și API.

  • Dashboard AWS partajat live pe Meet link.
  • Verificare cereri autentificare API în OpenSearch.

Sidekiq & Background Workers

Main, IS & Importer Queues
Queues

Monitorizarea cozilor de background, job-urilor active și latenței de procesare:

  • Instanța Main Sidekiq
  • Instanța Sidekiq IS (Invoicing & Subscriptions)
  • Instanța Importer Sidekiq (Procesare Feeds)

MySQL Cluster Insights

Main DB & Products DB
Database

Analiză detaliată a query-urilor lente, lock-urilor și sesiunilor concurente pe ambele baze de date principale.

Redis Clusters

Main Redis & Importer Redis
Cache

Urmărire metrici de consum RAM, evicțiuni și comenzi pe secundă în AWS ElastiCache.

DocumentDB & SQS Queues

Consumers & Pipeline
NoSQL / Queues

Sincronizare evenimente între EventConsumer și MainConsumer prin cozi SQS dedicate.