Théorie du signal et de l'information (Master 1 Parcours Jacques Hadamard)


Voici les supports de cours, exercices et devoirs maison associés au module de Théorie du Signal et de l'Information (Master 1 Parcours Jacques Hadamard) durant l'année scolaire 2020-2021. Pour des raisons évidentes, les corrigés ne sont pas disponibles.

Supports de cours

Polycopié
pdf
Exercices pdf

Devoirs maison

DM 1
Échantillonnage et reconstruction physiquement réalisables
pdf
DM 2
Taux d'entropie, sources avec mémoire et second principe de la thermodynamique
pdf
DM 3
Inégalité de McMillan
pdf
DM 4
Deuxième théorème de Shannon
pdf

Programme du cours

Partie I: Théorie du signal
  1. Rappels d'analyse de Fourier
    1. Energie et puissance
    2. Signaux à énergie finie
    3. Distributions tempérées
  2. Conversion analogique-numérique
  3. Echantillonnage
    1. Echantillonnage uniforme
    2. Modélisation de l'échantillonneur idéal
    3. Théorème de Shannon-Nyquist
    4. Reconstruction idéale
  4. Quantification
    1. Quantification uniforme
    2. Erreur de quantification
Partie II: Théorie de l'information
  1. Variables aléatoires sur un espace probabilisé discret
    1. Espace probabilisé discret
    2. Variable aléatoire discrète
    3. Couple de variables aléatoires discrètes
    4. Loi des grands nombres
  2. Schéma de Shannon
    1. Système de communication
    2. Source discrète
    3. Canal discret
  3. Information et entropie
    1. Information élémentaire
    2. Entropie d'une source
  4. Entropies conjointe et conditionnelles, information mutuelle
    1. Entropie conjointe
    2. Entropies conditionnelles
    3. Diagramme de Venn
    4. Information mutuelle
    5. Extension à plusieurs variables aléatoires
  5. Propriété asymptotique d'équirépartition (AEP)
    1. Définition
    2. Ensemble des séquences typiques
    3. Ensemble des séquences conjointement typiques
Partie III: Codage source
  1. Classes de codes source
    1. Quelques définitions importantes
    2. Code non singulier
    3. Code déchiffrable
    4. Code instantané
  2. Propriétés des codes binaires instantanés
    1. Inégalité de Kraft
    2. Longueur moyenne optimale
    3. Rendement et redondance d'un code
  3. Premier théorème de Shannon
    1. Première version
    2. Extension d'une source et deuxième version
  4. Code de Huffman
    1. Algorithme de codage
    2. Optimalité du codage de Huffman
Partie IV: Codage canal
  1. Principe du codage canal
    1. Exemple introductif
    2. (M,n)-code
  2. Inégalité de Fano
    1. Théorème du traitement de l'information
    2. Inégalité de Fano
  3. Capacité d'un canal
    1. Capacité d'un canal binaire symétrique
    2. Capacité d'un canal multi-usages
  4. Deuxième théorème de Shannon
  5. Codes détecteurs et correcteurs d'erreurs
    1. Propriétés des codes canal
    2. Codes linéaires
    3. Codes de Hamming