ITALIANO

Fondamenti sulla Teoria dell'Informazione e della codifica di sorgente e di canale. Elementi sui modelli di reti Bayesiane.

Appunti dalle lezioni;

T.M. Cover, J.A. Thomas, Elements of Information Theory, 2nd Edition, Wiley, 2005;

F. Palmieri, Lezioni di Telecomunicazioni: Sorgenti e Canali Discreti, Stampato in proprio, 2007.

Obbiettivo del corso è quello di fornire allo studente fondamenti di:
Teoria dell’Informazione e delle Trasmissioni Numeriche;
Principali tecniche di codifica di sorgente, senza perdite;
Principali tecniche di codifica di canale;
Teoria delle reti Bayesiane e della propagazione delle probabilità.

Familiarità con i fondamenti della Teoria dei segnali e della Teoria della probabilità e dei processi aleatori.

Lezioni frontali

Prova orale

Informazioni aggiornate sul corso e il materiale didattico sono disponibili al sito
https://www.mlsptlab-unicampania.it/teaching/information-theory-and-coding.html

I PARTE: Fondamenti di Teoria dell’Informazione:

Sorgenti discrete senza memoria; Entropia; La proprietà di equiripartizione asintotica (AEP); Sequenze tipiche; Codifica di Sorgente senza perdite; Il Primo teorema di Shannon; L’algoritmo di Huffmann; Codifica di Lempel-Ziv; Codifica Aritmetica; Sorgenti discrete con memoria; Stazionarietà; Tasso entropico; Catene di Markov; Probabilità dello stato stazionario; Entropia delle catene di Markov; Cenni sulle catene di Markov nascoste; Canali discreti; Mutua Informazione; Capacità di Canale; La disuguaglianza di Fano; Il teorema inverso della codifica; Ricezione a massima verosimiglianza; Schema generale di codifica di canale; Introduzione intuitiva al teorema della codifica di canale; Il teorema della codifica per il caso binario (Secondo Teorema di Shannon); Codici a Blocco; Codici Convoluzionali e decodifica di Viterbi; Codici a bassa densità (LDPC) e Codici Turbo.

II PARTE:Elementi di Trasmissione Numerica:

Introduzione alla modulazione numerica; Lo spazio dei segnali; Il canale AWGN e il ricevitore ottimo; Ricevitore e prestazione per i principali schemi di modulazione numerica: PAM, PSK, QAM, FSK, OFDM.

III PARTE: Reti Bayesiane:

Definizioni di rete Bayesiana e Grafo Fattoriale; Risoluzione dell’inferenza basata sulla propagazione dei messaggi su: Catene di Markov (MM), Hidden Markov Models (HMM), Latent Variable Models (LVM).

Italian

Fundamentals of Information Theory and source and channel coding. Elements on Bayesian network models.

Notes from lectures;

T.M. Cover, J.A. Thomas, Elements of Information Theory, 2nd Edition, Wiley, 2005;

F. Palmieri, Lezioni di Telecomunicazioni: Sorgenti e Canali Discreti, Stampato in proprio, 2007.

The aim of the course is to provide the student with the foundations of:
Information and Numerical Transmission Theory;
Main source coding techniques, without losses;
Main channel coding techniques;
Bayesian network theory and probability propagation.

Familiarity with the fundamentals of the Theory of signals and the Theory of probability and random processes.

Lectures

Oral test

Updated information and study material are available at https://www.mlsptlab-unicampania.it/teaching/information-theory-and-coding.html

PART I: Fundamentals of Information Theory:

Discrete sources with no memory; Entropy; The property of asymptotic equirectional division (AEP); Typical sequences; Source coding without losses; Shannon's First Theorem; Huffmann's algorithm; Lempel-Ziv coding; Arithmetic coding; Discrete sources with memory; Stationarity; Entropic rate; Markov chains; Steady state probability; Entropy of Markov chains; Notes on hidden Markov chains; Discrete channels; Mutual Information; Channel Capacity; The Fano inequality; The inverse theorem of coding; Maximum likelihood reception; General channel coding scheme; Intuitive introduction to the channel coding theorem; The coding theorem for the binary case (Second Shannon Theorem); Block Codes; Convolutional Codes and Viterbi decoding; Low Density Codes (LDPC) and Turbo Codes.

PART II: Elements of Numerical Transmission:

Introduction to numerical modulation; The space of signals; The AWGN channel and the optimal receiver; Receiver and performance for the main numerical modulation schemes: PAM, PSK, QAM, FSK, OFDM.

PART III: Bayesian Networks:

Definitions of Bayesian Network and Factorial Graph; Inference resolution based on the propagation of messages on: Markov chains (MM), Hidden Markov Models (HMM), Latent Variable Models (LVM).