FY835: Informationsteori, inferens og læringsalgoritmer

Kurset har til formål at give den studerende en introduktion til specielt informationsteori, men også Bayesiansk inferens og neurale netværk, og vise hvordan disse emner er forskellige sider af samme sag.

Informationsteori spiller en stor rolle i statistisk fysik som den matematiske teori for entropi, og inferens og maskinlæring er centrale for bl.a. analyse af eksperimentelle data. Kurset kan derfor finde anvendelse i projekter i resten af uddannelsen.

I forhold til uddannelsens kompetenceprofil har kurset eksplicit fokus på:

• forskningsbaseret viden om fysikkens grundlæggende teoridannelser og eksperimentelle metoder.
• at beskrive, formulere og formidle problemstillinger og resultater til såvel fagfæller som ikke-specialister, samarbejdspartnere og brugere

Læringsmålet for kurset er, at den studerende demonstrerer evnen til at:

• Selvstændigt tilegne sig den viden om informationsteori, inferens og maskinlæring der er beskrevet under Indhold
• Anvende denne viden til løsning af opgaver
• Anvende den tillærte viden indenfor et selvvalgt emne (afsluttende projekt)

Kurset indeholder følgende faglige hovedområder:

• Fortolkning af sandsynlighed
• Modeludvælgelse og parameterfitning
• Shannon-entropi
• Datakomprimering
• Kommunikation over støjfyldte kanaler
• Monte Carlo metoder
• Neurale netværk

Undervisningen er hovedsageligt bygget op omkring en række videoforelæsninger, der kan suppleres med studie af lærebogen. Undervisningen til timerne er drevet af de studerende, og omfatter refleksioner over og diskussioner af videoforelæsningerne, eventuelt suppleret med præsentationer af yderligere materiale fra lærebogen. Udover dette vil opgaver fra lærebogen blive løst i timerne.

Som afslutning på kurset vælges et lille afsluttende projekt, der anvender den tilegnede viden.

Kurset vil bestå af et en-times introduktionsmøde efterfulgt af 14 dobbelttimer. For hver af disse dobbelttimer vil der være videoforelæsninger, som skal ses forud for timerne. De er af varierende længde omkring 1 til 1,5 time.