Insegnamento SIGNAL PROCESSING AND OPTIMIZATION FOR BIG-DATA
- Corso
- Ingegneria informatica e robotica
- Codice insegnamento
- A001256
- Curriculum
- Robotics
- Docente
- Paolo Banelli
- Docenti
-
- Paolo Banelli
- Ore
- 72 ore - Paolo Banelli
- CFU
- 9
- Regolamento
- Coorte 2022
- Erogato
- 2023/24
- Attività
- Affine/integrativa
- Ambito
- Attività formative affini o integrative
- Settore
- ING-INF/03
- Tipo insegnamento
- Opzionale (Optional)
- Tipo attività
- Attività formativa monodisciplinare
- Lingua insegnamento
- ITALIANO
- Contenuti
- - RICHIAMI di ELABORAZIONE STATISTICA di DATI e SEGNALI. - FONDAMENTI di OTTIMIZZAZIONE CONVESSA -
ALGORITMI di APPRENDIMENTO ADATTATIVI E ITERATIVI
- BIG. DATA REDUCTION and SAMPLING
- ELABORAZIONE di DATI/SEGNALI su GRAFI - OTTIMIZZAZIONE DISTRIBUITA per l'elaborazione di DATI/SEGNALI e l'APPRENDIMENTO su RETI/GRAFI. - Testi di riferimento
- Il contenuto dell'insegnamento sarà ispirato al contenuto di alcuni capitoli di questi libri:- S.Kay, Fundamentals of Statistical Signal Processing, Vol. I & II, Prentice Hall, 1993-1998;
- S. Theodoridis, Machine Learning: A Bayesian and optimization perspective.-
T. Hastie, et. al., The Elements of Statistical Learning: data Mining, Inference, and Prediction
- M. E. J Newman, Networks an Introduction
- S. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004;
- S. Boyd et al., Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers, Foundations and Trends in Machine Learning, 3(1):1–122, 2011
- Inoltre saranno rese disponibili delle dispense a cura del docente. - Obiettivi formativi
- Comprendere ed applicare i fondamenti dell'inferenza statistica e della ottimizzazione convessa all'analisi di (big)-data. Comprendere il concetto di riduzione dei dati e le condizioni sotto le quali l'inferenza statistica e/o la ricostruzione dell'informazione non soffre eccessivamente di riduzione/campionamento. Estendere le conoscenze dell'elaborazione dei segnali ai segnali definiti su grafi, come una naturale rappresentazione di grandi moli di dati, dipendente dalla loro distribuzione fisica su reti geografiche o tecnologiche, piuttosto che dalla loro intrinseca similarità statistica, o da entrambe.
Comprendere gli strumenti metodologici per distribuire algoritmi di inferenza statistica su agenti multipli (computers, etc.) al fine di abilitare l'inferenza statistica e l'apprendimento su grandi moli di dati, potenzialmente distribuiti fisicamente o logicamente su una rete. Apprendere dai dati osservati, la struttura topologica dei grafi o delle reti che ne caratterizzano la generazione. Apprendere dai dati osservati la struttura topologica che caratterizza la loro generazione ed evoluzione. - Prerequisiti
- Indispensabile: Analisi I e II, Algebra lineare, Teoria della Probabilità, Teoria dei Segnali, Processi Aleatori, Elaborazione numerica dei segnali.Suggerito: Machine Learning e Data Mining. Utile: Teoria della Stima e della Decisione
- Metodi didattici
- Le lezioni saranno frontali con l'aiuto di slide/appunti al calcolatore. Inoltre alcuni degli algoritmi spiegati a lezione, saranno implementati al calcolatore in modo interattivo con gli studenti.
- Altre informazioni
- Modalità di verifica dell'apprendimento
- 1) Una breve tesina scritta sull'approfondimento di uno degli argomenti trattati a lezione, corredata dai risultati di simulazioni al calcolatore. Da consegnare 1 settimana prima della prova orale.
2) Esame orale: discussione della tesina e tipicamente un paio di domande sugli ulteriori contenuti del corso.
Per informazioni sui servizi di supporto agli studenti con disabilità e/o DSA visita la pagina http://www.unipg.it/disabilita-e-dsa - Programma esteso
- - Part I: RICHIAMi DI INFERENZA STATISTICA ed APPRENDIMENTO (6 ore)
Richiami sul concetto di stimatore, classico e Bayesiano, indici di prestazioni e stimatori MVUE, MLE, MMSE, LS.
Richiami su Test di ipotesi binarie: LRT, formulazione classica di Neyman-Pearson e Bayesiana ( Minimum Probability of Error, Bayes Risk). Apprendimento statistico e relazioni con machine-learning: linear regression, K-means, etc.
- Part II: FUNDAMENTALS OF (DISTRIBUTED) CONVEX OPTIMIZATION (15 ore)
Basi di ottimizzazione convessa: insiemi convessi, funzioni convesse problemi di ottimizzazione convessa Teoria della dualità: problema duale di Lagrange, vincoli qualificanti di Slater, condizioni KKT; Algoritmi di ottimizzazione: metodi primali (a massima discesa, proiezione del gradiente, metodo di Newton), metodi primali-duali (salita del problema duale, alternating direction method of multipliers); Esempi di applicazione: Approssimazione e fitting, inferenza statistica, apprendimento supervisionato e non-supervisionato dai dati.
ottimizzazione distribuita: algoritmi al consenso e algoritmi di data-sharing. Ottimizzazione distribuita: metodi primali e duali;
- Part III: BIG-DATA REDUCTION (9 ore) Campionamento e Sensing compressivo e sparso ed associata ricostruzione.
Stima statistica da osservazioni sparse. Classificazione attraverso Principal Component Analysis, Canonical Correlation Analysis, and Information Bottleneck.
Part IV: GRAPH-BASED SIGNAL PROCESSING (15 ore) Segnali definiti su grafi: esempi e motivazioni; cenni a teoria algebrica dei grafi, caratteristiche strutturale dei grafi; elaborazione di dati(segnali sui grafi: Graph Fourier Transform,
smoothing, campionamento, e compressione dati su un grafo. Filtraggio su grafi. Cenni a Graph Convolutional networks.
- Part V: DISTRIBUTED DATA PROCESSING, and LEARNING over NETWORKS (27 ore) Consenso medio: teoria ed algoritmi; elaborazione distribuita dei segnali: stima e detection; LMS, RLS and Kalman Filtering on Graphs. Distributed supervised learning (LASSO, SVM, Logistic Regression) Distributed unsupervised learning: Dictionary, learning, data clustering (PCA, CCA, Information Bottleneck). Graph learning: Gaussian Markov Random Fields and Graphical LASSO, Smoothness and Total Variation approaches, Gaussian processes for directed causal inference.
Matrix Completion algorithms.