Italiano

Fondamenti di teoria dell’informazione, codifica di sorgente e di canale. Modulazione e demodulazione nei sistemi di comunicazione digitale. Apprendimento statistico da una prospettiva informazionale.

1) Slide delle lezioni disponibili sul canale Teams del corso.

2) T.M. Cover and J.A. Thomas, Elements of Information Theory, John Wiley & Sons, Inc., 1991.

3) S. Haykin, Digital Communication Systems,
John Wiley & Sons, 2014.

4) D. Tse and P. Viswanath, Fundamentals of Wireless Communication, Cambridge University Press, 2005.

5) A. Goldsmith, Wireless Communications, Cambridge University Press, 2005.

6) K.P. Murphy, Machine Learning: A Probabilistic Perspective, The MIT Press Cambridge, Massachusetts London, England, 2012.

L’insegnamento si propone di fornire agli studenti le seguenti nozioni di base: (i) progetto e valutazione delle prestazioni dei sistemi di comunicazione digitale, con riferimento sia alla modulazione a singola portante che a quella multiportante; (ii) definizione e misura dell’informazione, compressione dati (codifica di sorgente), trasmissione affidabile dell’informazione su canali rumorosi (codifica di canale); (iii) collegamenti tra compressione, apprendimento e teoria dell’informazione.

È richiesta familiarità con i fondamenti della Teoria dei Segnali, della Teoria della Probabilità e dei Processi Aleatori.

La didattica è erogata per il 100% con lezioni frontali, che includono sia teoria che esercitazioni.

Prova orale

Informazioni aggiornate sul corso e il materiale didattico sono disponibili sul canale Teams del corso.

PARTE I – Elementi di Comunicazioni Digitali

Introduzione ai sistemi di comunicazione digitale. Tecniche di modulazione e demodulazione coerente per la trasmissione digitale. Analisi delle prestazioni dei sistemi di comunicazione digitale, con particolare attenzione agli indicatori fondamentali di qualità. Introduzione alla modulazione multiportante.

PARTE II – Elementi di Teoria dell’Informazione

Concetto di informazione e sua misura: entropia e relative proprietà. Entropia congiunta e condizionale, divergenza e mutua informazione. Proprietà fondamentali delle principali grandezze informazionali. Codifica dell’alfabeto di sorgente e introduzione alla codifica di sorgente. Codici non singolari, univocamente decifrabili e a prefisso. Codici di Huffman, Shannon e Shannon–Fano–Elias. Limiti informazionali sulla lunghezza media dei codici di sorgente e codifica a blocchi. Caratterizzazione delle sorgenti tramite il tasso entropico e sue interpretazioni. Concetto di tipicità e implicazioni nella compressione dei dati. Codifica aritmetica e codifica di Lempel–Ziv.

Capacità di canale e concetti fondamentali della trasmissione dell’informazione: canali di comunicazione, tasso di trasmissione e tasso di codifica. Teorema della codifica di canale ed esempi di codici di canale. Estensione delle principali grandezze informazionali al caso continuo. Canali continui e loro capacità, con particolare riferimento al canale Gaussiano additivo. Capacità dei canali wireless. Sistemi multiple-input multiple-output (MIMO) e tecniche di codifica spazio-temporali.

Parte III - Elementi di Machine Learning basato su concetti informazionali

Entropia come misura di incertezza nei dati e nei modelli. Informazione mutua come criterio per la selezione delle caratteristiche e per la progettazione di classificatori. Algoritmi di apprendimento basati su entropia. Approcci di decodifica basati su machine learning ed esempi di sistemi di comunicazione end-to-end modellati come autoencoder.

Italian

Fundamentals of information theory, source and channel coding. Modulation and demodulation in digital communication systems. Information-theoretic approaches to statistical learning.

1) Lecture slides are available on the course Teams channel.

2) T.M. Cover and J.A. Thomas, Elements of Information Theory, John Wiley & Sons, Inc., 1991.

3) S. Haykin, Digital Communication Systems,
John Wiley & Sons, 2014.

4) D. Tse and P. Viswanath, Fundamentals of Wireless Communication, Cambridge University Press, 2005.

5) A. Goldsmith, Wireless Communications, Cambridge University Press, 2005.

6) K.P. Murphy, Machine Learning: A Probabilistic Perspective, The MIT Press Cambridge, Massachusetts London, England, 2012.

The course aims to provide students with the following fundamental knowledge: (i) the design and performance evaluation of digital communication systems, with reference to both single-carrier and multicarrier modulation schemes; (ii) the definition and measurement of information, data compression (source coding), and reliable transmission of information over noisy channels (channel coding); (iii) relationships between compression, learning, and information theory.

Basic knowledge of Signal Theory, Probability Theory, and Random Processes is required.

Teaching is delivered entirely through face-to-face lectures, including both theoretical topics and problem-solving sessions.

Oral test

Up-to-date information about the course and the teaching materials are available on the course Teams channel.

PART I – Fundamentals of Digital Communications

Introduction to digital communication systems. Coherent modulation and demodulation techniques for digital transmission. Performance analysis of digital communication systems, with particular emphasis on the fundamental quality indicators. Introduction to multicarrier modulation.

PART II – Fundamentals of Information Theory

The concept of information and its measurement: entropy and its properties. Joint and conditional entropy, divergence, and mutual information. Fundamental properties of the main information-theoretic quantities. Source alphabet coding and introduction to source coding. Non-singular, uniquely decodable, and prefix codes. Huffman, Shannon, and Shannon–Fano–Elias codes. Information-theoretic limits on the average length of source codes and block coding. Source characterization through the entropy rate and its interpretations. The concept of typicality and its implications for data compression. Arithmetic coding and Lempel–Ziv coding.

Channel capacity and fundamental concepts of information transmission: communication channels, transmission rate, and coding rate. Channel coding theorem and examples of channel codes. Extension of the main information-theoretic quantities to the continuous case. Continuous channels and their capacity, with particular reference to the additive Gaussian channel. Capacity of wireless channels. Multiple-input multiple-output (MIMO) systems and space–time coding techniques.

Part III – Elements of Machine Learning Based on Information-Theoretic Concepts

Entropy as a measure of uncertainty in data and models. Mutual information as a criterion for feature selection and classifier design. Entropy-based learning algorithms. Machine-learning-based decoding approaches and examples of end-to-end communication systems modeled as autoencoders.