Inizio della pagina -
Logo DISCO
|
Visita la Versione ad elevata leggibilità
|
Vai al Contenuto della pagina
|
Vai alla Fine dei contenuti
|
Vai al Menu Principale
|
Vai alla Barra di navigazione (sei in)
|
Vai al Menu di navigazione (albero)
|
Vai alla Lista dei comandi
|
Vai alla Lista degli approfondimenti
|
Vai al Menu inferiore
|
Logo Ateneo
   
Didattica
Teoria dell'informazione

Codice ins.

Insegnamento

CFU ins.

Tipo ins.

Anno

Sem.

SSD ins.

Responsabile insegnamento

E3101Q012

Teoria dell’informazione

4

OBB

3

1

INF/01

LEPORATI Alberto

 

Information Theory

 

 

 

 

 

 

OBIETTIVI E CONTENUTI
Il corso consente di acquisire le nozioni e i concetti di base della teoria dell'informazione e della teoria dei codici a correzione d’errore. Fornisce anche gli strumenti concettuali e teorici che consentono di progettare un sistema efficiente per la memorizzazione e la trasmissione di dati in presenza di rumore casuale, nonché di progettare un semplice programma per la compressione di dati.

 PROGRAMMA DEL CORSO

  1. Introduzione: sorgenti, canali, codifiche.
  2. Codici a riconoscimento d'errore.
  3. Codici a correzione d'errore. Approccio geometrico: codici rettangolari, triangolari, cubici, n-dimensionali. Approccio algebrico: codici di Hamming. Caratteristiche di un codice in funzione della distanza di Hamming tra le parole valide.
  4. Codifica della sorgente: codici a blocchi e a lunghezza variabile. Codici istantanei e loro costruzione. Disuguaglianze di Kraft e di McMillan. Codici di Huffman. Estensioni di un codice. Processi di Markov e codifica predittiva. Codici di Gray e anti-Gray.
  5. Teoria dell'informazione: entropia e sue proprietà. Codici di Shannon-Fano e primo teorema di Shannon. Definizione di canale e mutua informazione. Capacità di canale. Il canale binario simmetrico. Secondo teorema di Shannon.

RISULTATI DI APPRENDIMENTO PREVISTI:
Conoscenza degli argomenti alla base della teoria dell’informazione. Comprensione dei principi di funzionamento dei codici per la correzione d’errore, e di alcune semplici tecniche di compressione dati lossless (senza perdita di informazione).

PREREQUISITI:
Argomenti trattati nei corsi di matematica del I e del II anno.

TESTI DI RIFERIMENTO:

  • R.W. Hamming. Coding and Information Theory. Second edition, Prentice-Hall, 1986
  • Appunti forniti dal docente

TIPO ESAME:
Scritto e orale

TIPO VALUTAZIONE:
Voto finale

AIMS AND CONTENTS:
The course allows to acquire the notions and basic concepts of information theory and the theory of error-correcting codes. It also provides conceptual and theoretical tools that allow students to design an efficient system for storing and transmitting data in the presence of random noise, as well as to design a simple program for data compression.

PROGRAM DETAILS:

  1. Introduction: sources, channels, encodings.
  2. Error-detecting codes.
  3. Error-correcting codes. Geometric approach: rectangular, triangular, cubic and n-dimensional codes. Algebraic approach: Hamming codes. Properties of a code which depend upon the Hamming distance between valid codewords.
  4. Source encoding: block codes and variable length encodings. Prefix-free codes and their construction. Kraft and McMillan inequalities. Huffman codes. Extensions of a code. Markov processes and predictive (run-length) encoding. Gray and anti-Gray encodings.
  5. Information theory: entropy and its properties. Shannon-Fano codes and Shannon’s Noiseless Coding Theorem. Formal definition of channel and mutual information. Channel capacity. The Binary Symmetric Channel. Shannon’s Main Theorem.

LEARNING OUTCOMES:
Knowledge of the issues underlying information theory. Understanding of the principles of operation of error-correcting codes, and of some simple techniques for lossless data compression.

PREREQUISITES:
Topics explained in mathematics courses that are held in the first and in the second year of the laurea degree

 

Approfondimenti

Google Translate
Translate to English Translate to French Translate to German Translate to Spanish Translate to Chinese Translate to Portuguese Translate to Arabic
Translate to Albanian Translate to Bulgarian Translate to Croatian Translate to Czech Translate to Danish Translate to Dutch Translate to Finnish Translate to Greek Translate to Hindi
Translate to Hungarian Translate to Irish Translate to Japanese Translate to Korean Translate to Norwegian Translate to Polish Translate to Romanian Translate to Russian Translate to Serbian
Translate to Slovenian Translate to Swedish Translate to Thai Translate to Turkish

(C) Copyright 2016 - Dipartimento Informatica Sistemistica e Comunicazione - Viale Sarca, 336
20126 Milano - Edificio U14
redazioneweb@disco.unimib.it - ultimo aggiornamento di questa pagina 11/11/2013