Hybrid Neural Recommendation System
Il Contesto Tecnico
Un'infrastruttura e-commerce ad alto traffico necessitava di superare i limiti dei sistemi di raccomandazione deterministici. L'approccio legacy, basato su regole statiche di cross-sell ("Chi ha comprato X compra Y"), presentava colli di bottiglia strutturali:
- Sparsità dei Dati: Inefficacia su nuovi prodotti (Cold Start) privi di storico comportamentale.
- Rigidità Semantica: Incapacità di correlare prodotti concettualmente simili ma categorizzati diversamente.
- Onere Operativo: Manutenzione manuale continua delle regole di associazione.
L'Approccio: Two-Tower Architecture
Abbiamo riprogettato il sistema adottando un paradigma di Retrieval & Ranking a due stadi, ispirato alle architetture di raccomandazione su scala industriale.
1. Retrieval Layer (Candidate Generation)
La fase di retrieval riduce lo spazio di ricerca da milioni di item a centinaia di candidati rilevanti. Abbiamo implementato una strategia ibrida:
- Vector Search: Utilizzo di embedding multimodali (CLIP) per catturare la similarità visiva e semantica tra prodotti.
- Collaborative Filtering: Matrix Factorization per catturare pattern di co-acquisto latenti. L'indicizzazione avviene su Qdrant, configurato per gestire vettori ad alta dimensionalità con latenza di ricerca sub-millisecondo.
2. Ranking Layer (Personalization)
I candidati vengono riordinati da un modello Learning-to-Rank (XGBoost) addestrato su feature in tempo reale:
- User Intent: Click recenti, ricerche, tempo di permanenza.
- Context: Dispositivo, orario, provenienza del traffico. Il modello stima la probabilità condizionata di conversione per ogni coppia (User, Item).
Stack Tecnologico e Infrastruttura
L'intera pipeline è stata ingegnerizzata per la scalabilità orizzontale:
- Serving: FastAPI con workers asincroni per gestire picchi di richieste concorrenti.
- Inference Optimization: Modelli quantizzati e serviti via ONNX Runtime per minimizzare il footprint CPU/GPU.
- Data Pipeline: Airflow per l'orchestrazione dei job di training periodici e dell'aggiornamento degli indici vettoriali.
Impatto Osservato
L'introduzione del sistema ha portato a una trasformazione misurabile delle metriche di engagement:
- Rilevanza Semantica: Incremento significativo del Click-Through Rate (CTR) sui widget di raccomandazione.
- Copertura del Catalogo: Drastica riduzione dei prodotti "orfani" mai raccomandati, grazie all'approccio content-based per il cold start.
- Efficienza Operativa: Automazione completa del ciclo di aggiornamento delle raccomandazioni, liberando risorse dal team di merchandising.