DM8108: Datamining og Big Data

Studerende, der følger kurset, forventes at

• have basale færdigheder i programmering (eks. fra DM574),
• have viden om basale algoritmer og datastrukturer (eks. fra DM578),
• have viden om basale koncepter i lineær algebra (eks. fra AI511),
• have viden om basale koncepter i diskret matematik for datalogi (eks. fra DM549) og
• have basal viden om sandsynlighedsteori og matematisk statistic (eks. fra AI501 og AI512).

Kurset har til formål at sætte den studerende i stand til at vælge og bruge nøgleteknikker i datamining, hvilket er vigtigt i forhold til at kunne analysere store datasæt i mange finansielle, medicinske, kommercielle og videnskabelige anvendelser. Derudover er formålet med kurset at introducere studerende til avancerede datamining-teknikker for at analysere store datasæt.

Datamining og maskinlæring teknologier udstyrer beregningsmæssige systemer med evnen til at identificere meningsfulde mønstre i data. Dette kursus introducerer de mest almindelige teknikker til at udføre grundlæggende opgaver indenfor datamining og maskinlæring, og dækker den grundlæggende teori, algoritmer og anvendelser. Kurset balancerer teori og praksis, og dækker de matematiske såvel som de heuristiske aspekter. Metoderne vil blive introduceret på et generelt niveau, med de centrale ideer og intuition. Desuden vil de studerende have mulighed for at eksperimentere og anvende teknikker fra datamining og maskinlæring teknikker på udvalgte problemer. Desuden vil de studerende have mulighed for at eksperimentere og anvende teknikker fra datamining og maskinlæring teknikker på udvalgte problemer.

Tenikkerne til ikke-superviseret læring i kurset komplementerer tenikkerne til superviseret læring fra AI512. Derudover vil der være fokus på moderne programmeringsparadigmer og værktøjer til big data, eksempelvis MapReduce og Spark, for at konstruere parallelle algoritmer der kan processere store mængder data.

Læringsmålene for kurset, at den studerende demonstrerer evne til at:

• Beskrive datamining-problemerne præsenteret i kurset.
• Beskrive algoritmerne og metoderne præsenteret i kurset.
• Beskrive emnerne præsenteret i kurset i et præcist matematisk sprog.
• Forklare de enkelte skridt af de matematiske udledninger præsenteret i kurset.
• Anvende metoderne på simple problemer.
• Anvende metoderne i andre situationer end dem der er præsenteret i kurset.
• Reflektere og evaluere designvalg for datamining-systemer.
• Foretage eksperimentel evaluering af metoder til datamining, og beskrive resultaterne.
• Identificere og beskrive de beregningsmæssige flaskehalse i processering, håndtering og mining af big data.
• Beskrive og forklare effektive algoritmer til analyse og processering af forskellige typer data, deriblandt tekst, grafer og streams.
• Analysere og anvende algoritmiske værktøjer der kan skaleres til at håndtere big data-analyse, eksempelvis hashing, sampling og sketching.
• Designe og implementere effektive algoritmer til real-world big data-data analyse.
• Beskrive, formulere og kommunikere effektivitetsproblemer og analyseresultater til både specialiser og ikke-specialister, samt projekt-partnere og slut-brugere.

Kurset indeholder følgende faglige hovedområder:

• Datarepræsentation og mål for lighed og forskellighed.
• Parametrisk og ikke-parametrisk densitets-estimering (MLE, Knernel-based, KNN-based).
• Forventnings-maksimering- og Gaussian Mixture-modeller (EM-GMM'er).
• Clustering (partitioning clustering, eks. k-means, hierarkisk clustering, densitets-baseret clustering).
• Ikke-superviseret detektering af afvigende værdier / anomalier.
• Frequent pattern mining (item set mining, associerings-regler).
• Evaluering af ikke-superviseret læring.
• MapReduce og Spark.
• Locality-sensitive hashing
• Clustering
• Dimensionality Reduction
• Frequent Itemsets Mining
• Mining af data streams.
• Recommender-systemer.
• Page Rank og Extension to Recommendations
• Cumminity Detection i grafer

• Yderligere læsning i lærebøger.
• Løse yderligere øvelser som hjemmearbejde.