Laurent Oudre

Introduction générale

1. Organisation du cours
2. Contenu du cours
   1. Théorie du signal : conversion analogique-numérique
   2. Théorie de l'information : information et entropie
   3. Codage source : compression de l'information
   4. Codage canal : transmission de l'information
   5. Théorie du signal [le retour] : vers les communications numériques
3. Plan du cours
4. Références

Partie I : Théorie de l'information

1. Variables aléatoires sur un espace probabilisé discret
   1. Espace probabilisé discret
   2. Variable aléatoire discrète
   3. Couple de variables aléatoires discrètes
   4. Loi des grands nombres
2. Schéma de Shannon
   1. Système de communication
   2. Source discrète
   3. Canal discret
3. Information et entropie
   1. Information élémentaire
   2. Entropie d'une source
      1. Définition
      2. Interprétation de l'entropie
      3. Divergence de Kullback-Leibler
      4. Propriétés de l'entropie
4. Entropies conjointe et conditionnelles, information mutuelle
   1. Entropie conjointe
      1. Définition
      2. Propriétés
   2. Entropies conditionnelles
      1. Définition
      2. Propriétés
   3. Diagramme de Venn
   4. Information mutuelle
      1. Définition
      2. Propriétés
   5. Extension à plusieurs variables aléatoires
      1. Information mutuelle conditionnelle
      2. Formules des conditionnements successifs
5. Propriété asymptotique d'équirépartition (AEP)
   1. Définition
   2. Ensemble des séquences typiques
      1. Définition
      2. Conséquences sur le codage source
   3. Ensemble des séquences conjointement typiques
      1. Définition
      2. Application au codage canal

Partie II : Codage source

1. Classes de codes source
   1. Quelques définitions importantes
   2. Code non singulier
   3. Code déchiffrable
   4. Code instantané
2. Propriétés des codes binaires instantanés
   1. Inégalité de Kraft
   2. Longueur moyenne minimale
   3. Rendement et redondance d'un code
3. Premier théorème de Shannon
   1. Première version
   2. Extension d'une source et deuxième version
4. Code de Huffman
   1. Algorithme de codage
   2. Optimalité du codage de Huffman

Partie III : Codage canal

1. Principe du codage canal
   1. Exemple introductif
   2. (M,n)-code
2. Inégalité de Fano
   1. Théorème du traitement de l'information
   2. Inégalité de Fano
3. Capacité d'un canal
   1. Capacité d'un canal binaire symétrique
   2. Capacité d'un canal multi-usages
4. Deuxième théorème de Shannon
5. Théorème de séparation source-canal
6. Codes détecteurs et correcteurs d'erreurs
   1. Propriétés des codes canal
   2. Codes linéaires
      1. Distance minimale d'un code linéaire
      2. Matrice génératrice
      3. Matrice de contrôle
      4. Décodage par syndrome
   3. Codes de Hamming

Partie IV : Théorie du signal

1. Théorie des signaux déterministes
   1. Energie et puissance
   2. Signaux à énergie finie
      1. Produit de convolution
      2. Transformée de Fourier
      3. Spectre et largeur de bande
      4. Fonction porte
      5. Filtrage linéaire
   3. Distributions tempérées
      1. Notion de distribution tempérée
      2. Distribution de Dirac
      3. Peigne de Dirac
2. Echantillonnage et quantification
   1. Signaux analogiques et numériques
   2. Échantillonnage uniforme
   3. Echantillonneur idéal
   4. Théorème de Shannon-Nyquist
   5. Reconstruction idéale
   6. Quantification uniforme
3. Théorie des signaux aléatoires
   1. Chaîne de communication réelle
   2. Notion de signal aléatoire
   3. Stationnarité et ergodisme
   4. Puissance moyenne et densité spectrale de puissance
4. Canaux gaussiens réels