mail unicampaniaunicampania webcerca

    Giovanni DI GENNARO

    Insegnamento di PROBABILITA' E INFORMAZIONE

    Corso di laurea in INGEGNERIA ELETTRONICA E INFORMATICA

    SSD: ING-INF/03

    CFU: 6,00

    ORE PER UNITÀ DIDATTICA: 48,00

    Periodo di Erogazione: Primo Semestre

    Italiano

    Lingua di insegnamento

    ITALIANO

    Contenuti

    Teoria della probabilità; Variabili aleatorie; Informazione ed Entropia

    Testi di riferimento

    F. Palmieri, Lezioni di Telecomunicazioni: Teoria dei Fenomeni Aleatori, CUES (2010);
    G, Dall'Aglio, Calcolo delle probabilità, terza edizione, Zanichelli editore (2003)
    W. Feller, An Introduction to Probability Theory and Its Applications, John Wiley & Sons (1968);
    R. B. Ash, Information theory, Dover (1990);
    T. M. Cover and J. A. Thomas, Elements of Information Theory, Wiley

    Obiettivi formativi

    1. Acquisire familiarità con l’uso della probabilità per la modellistica e la risoluzione di problemi di interesse applicativo, con particolare attenzione a problemi del settore dell’informazione.
    2. Acquisire familiarità con la teoria e l’utilizzo della variabile aleatoria monodimesionale discreta e continua nella risoluzione di problemi di trattamento dell’informazione.
    3. Acquisire familiarità con la manipolazione di più variabili aleatorie e con la loro caratterizzazione statistica in termini di densità e momenti marginali e congiunti.
    4. Acquisire familiarità con il modello di sorgente discreta e con il concetto di informazione mediante la definizione di entropia di sorgente.
    5. Saper progettare e valutare l’efficienza di codici di sorgente a cardinalità binaria ed M-aria.
    6. Conoscere e saper manipolare la modellistica dei canali discreti senza memoria

    Prerequisiti

    Nozioni di teoria degli insiemi; calcolo differenziale e integrale; integrali doppi.

    Metodologie didattiche

    Lezione frontale, esercitazioni

    Metodi di valutazione

    Prova scritta ed esame orale. I requisiti minimi per il superamento della prova orale includono una buona qualità dell'organizzazione del discorso e dell'esposizione, l'uso corretto del lessico specialistico, buona capacità di collegamenti critici tra gli argomenti trattati durante il corso. Il superamento dell'esame si otterrà con voto minimo di 18/30 alla prova orale.

    Programma del corso

    1. Introduzione alla probabilità (1 CFU). Spazio campione, eventi, definizione assiomatica di probabilità, esempi. Il numero di successi in un campione; Probabilità condizionata; La legge della probabilità totale; Il teorema di Bayes; Indipendenza; Prove di Bernoulli; Approssimazioni per la legge binomiale; La legge debole dei grandi numeri.

    2. Introduzione alla variabile aleatoria (1 CFU).
    La funzione cumulativa; La funzione di densità; Esempi di variabili aleatorie continue e discrete; La variabile Gaussiana; Momenti; Disuguaglianza di Chebyshev, Esempi.

    3. Due variabili aleatorie (1 CFU).
    La funzione cumulativa congiunta; La funzione di densita’ congiunta; La variabile aleatoria Gaussiana bi-dimensionale; Variabili indipendenti; Cdf e pdf condizionate; Momenti congiunti

    4. Funzioni di variabili aleatorie (1 CFU). La variabile aleatoria multidimensionale; Lo stimatore a Minimo Errore Quadratico Medio. Funzioni di una variabile; Funzioni di due variabili; Funzioni di n variabili; Generazione numerica di v.a.

    5. Generalita’ sui sistemi di trasmissione numerica (1 CFU).
    Sorgenti discrete; Il bit-rate; Il concetto di informazione; Entropia di sorgente; Sorgenti estese; Codifica di sorgente; Esempi; Codici binari a lunghezza fissa e variabile; Codici univocamente decodificabili; La disuguaglianza di Kraft McMillan; Codici M-ari; Compressione di sorgente; Il primo teorema di Shannon; L’algoritmo di Huffman per codici binari ed M-ari.

    6. Generalita’ sulla modellistica dei canali discreti equivalenti (1 CFU).
    Il canale discreto; ; La probabilità di errore; Il canale binario; Esempi di canali discreti; La mutua informazione; Proprietà dei canali discreti e capacita’ di canale; Codifica di canale; Codice a ripetizione; Disuguaglianza di Fano; Cenni sul secondo teorema di Shannon.

    English

    Teaching language

    Italian

    Contents

    Probability theory; Random variables; Information and Entropy

    Textbook and course materials

    F. Palmieri, Lezioni di Telecomunicazioni: Teoria dei Fenomeni Aleatori, CUES (2010);
    G. Dall'aglio, Calcolo delle probabilità, terza edizione, Zanichelli editore (2003)
    W. Feller, An Introduction to Probability Theory and Its Applications, John Wiley & Sons (1968);
    R. B. Ash, Information Theory, Dover (1990);
    T. M. Cover and J. A. Thomas, Elements of Information Theory, Wiley

    Course objectives

    1. Use of probability for modeling and solving problems of applicative interest, with particular attention to problems in the information sector.
    2. Theory and application of the discrete and continuous single-variable random variables in the resolution of information processing problems.
    3. Use of several random variables and their statistical characterization in terms of density and marginal and joint moments.
    4. Discrete source model and the concept of information through the definition of source entropy.
    5. Design and evaluation of the efficiency of binary cardinality and multiple source codes.
    6. Modeling of discrete channels without memory.

    Prerequisites

    Notions of set theory; differential and integral calculus; double integrals.

    Teaching methods

    Frontal lesson, exercises

    Evaluation methods

    Written test and oral examination. The minimum requirements for passing the oral exam include a good quality of the organization of the speech and exposure, the correct use of the specialized lexicon, good ability to link critical topics covered during the course. Passing the exam will be obtained with a minimum grade of 18/30 to the oral exam.

    Course Syllabus

    1. Introduction to probability (1 CFU). Sample space, events, axiomatic definition of probability, examples. The number of successes in a sample; Conditional probability; The law of total probability; Bayes theorem; Independence; Bernoulli trials; Approximations for the binomial law; The weak law of large numbers.

    2. Introduction to random variables (1 CFU).
    The cumulative function; The density function; Examples of continuous and discrete random variables; The Gaussian variable; Moments; Chebyshev inequality, Examples.

    3. Two random variables (1 CFU).
    The joint cumulative function; The joint density function; The two-dimensional Gaussian random variable; Independent variables; Conditional CDF and PDF; Joint moments

    4. Functions of random variables (1 CFU). Random vectors; Mean squared error estimator. Functions of a variable; Functions of two variables; Functions of n variables; Numerical generation of r.v.

    5. General information on digital transmission systems (1 CFU).
    Discrete sources; The bit-rate; The concept of information; Source entropy; Extended sources; Source coding; Examples; Fixed and variable length binary codes; Univocally decodable codes; The Kraft McMillan inequality; Multiple codes; Source compression; Shannon's first theorem; Huffman's algorithm for binary and Multiple codes.

    6. General information on the modeling of equivalent discrete channels (1 ECTS).
    The discrete channel; ; The probability of error; The binary channel; Examples of discrete channels; Mutual information; Properties of discrete channels and channel capacity; Channle coding; Repetition code; Fano's inequality; Notes on the second Shannon theorem.

    facebook logoinstagram buttonyoutube logotypelinkedin logotype