Veel multimediatoepassingen zijn gebaseerd op het hervisualiseren van reele-wereld taferelen, bijvoorbeeld in zogenaamde geaugmenteerde realiteit (AR), of in film- en videopostproductie waar karakters die tegen een groen scherm warden gefilmd, naadloos gevisualiseerd worden tegen een op locatie gefilmde achtergrond, eventueel met een bewegende camera. In veel toepassingen (interieurontwerp, planning van infrastructuurwerken, ) is het ook interessant om de 3D vorm van reele wereld objecten te meten om op de computer te kunnen voorspellen hoe aanpassingen er uit zouden kunnen zien.

Dit vak begint daarom met een model dat uitlegt hoe een camera-lens systeem richtingen in de 3D ruimte omzet in 2D coordinaten, en hoe deze informative van verschillende cameras die gelijktijdig filmen, of van een bewegende camera, gecombineerd kan worden tot een 3D model : de meetkunde van meerdere aanzichten (multiple view geometry). We leggen de beginselen uit hoe cameras daartoe gecalibreerd kunnen worden. We leren vervolgens een aantal zogenaamde actieve methoden voor 3D vormreconstructie aan, bijvoorbeeld gebaseerd op de addtionele projectie van lichtpatronen, en recent betaalbaar geworden time of flight sensoren die rechtstreeks afstand tot de camera bepalen (genre Microsoft kinect), of gebaseerd op de beperkte scherptediepte van fotografielenzen. 

Vaak kan men ook zonder gedetailleerde 3D vormreconstructie reele-wereld taferelen op een onvoorziene andere manier hervisualiseren op een computer. Dat is wat image based rendering beoogt: pixels van genomen fotos (of videos) worden met minimal verlies aan fotorealisme omgezet tot pixels van een gewenst beeld. Image based rendering omhelst een heel spectrum aan mogelijkheden, gaande van erg data-intensieve methoden (die veel fotos vereisen, maar in staat zijn om de meeste complexe lichtschakeringen volledig plausibel te regenereren, zoals lichtveldmethoden in light field cameras zoals lytro) tot technieken die weinig fotos vereisen maar aannamen maken over vorm en lichtreflectie en minder in staat zijn om realism te behouden in andere omstandigheden. 

Zoals steeds in de vakken in deze afstudeerrichting ligt de nadruk om de fundamentele beginselen: de duurzame kennis, inclusief wiskunde (altijd een middel en geen doel op zich), die de student niet alleen in staat stelt om het domein te volgen, maar ook zelf bij te dragen tot de verdere ontwikkeling ervan. De cursus wordt anderzijds rijkelijk doorspekt met reele wereld toepassingen, inclusief 360 graden video (vandaag de dag ook wel eens video VR genoemd) en populair geworden dankzij schermhelmen -head mounted displays- zoals oculus rift).

Het vak wordt ondersteund door een practicum gebruikt makend van de OpenCV open source programmabibliotheek (www.opencv.org).

Veel multimediatoepassingen zijn gebaseerd op het hervisualiseren van reele-wereld taferelen, bijvoorbeeld in zogenaamde geaugmenteerde realiteit (AR), of in film- en videopostproductie waar karakters die tegen een groen scherm warden gefilmd, naadloos gevisualiseerd worden tegen een op locatie gefilmde achtergrond, eventueel met een bewegende camera. In veel toepassingen (interieurontwerp, planning van infrastructuurwerken, ) is het ook interessant om de 3D vorm van reele wereld objecten te meten om op de computer te kunnen voorspellen hoe aanpassingen er uit zouden kunnen zien.

Dit vak begint daarom met een model dat uitlegt hoe een camera-lens systeem richtingen in de 3D ruimte omzet in 2D coordinaten, en hoe deze informative van verschillende cameras die gelijktijdig filmen, of van een bewegende camera, gecombineerd kan worden tot een 3D model : de meetkunde van meerdere aanzichten (multiple view geometry). We leggen de beginselen uit hoe cameras daartoe gecalibreerd kunnen worden. We leren vervolgens een aantal zogenaamde actieve methoden voor 3D vormreconstructie aan, bijvoorbeeld gebaseerd op de addtionele projectie van lichtpatronen, en recent betaalbaar geworden time of flight sensoren die rechtstreeks afstand tot de camera bepalen (genre Microsoft kinect), of gebaseerd op de beperkte scherptediepte van fotografielenzen. 

Vaak kan men ook zonder gedetailleerde 3D vormreconstructie reele-wereld taferelen op een onvoorziene andere manier hervisualiseren op een computer. Dat is wat image based rendering beoogt: pixels van genomen fotos (of videos) worden met minimal verlies aan fotorealisme omgezet tot pixels van een gewenst beeld. Image based rendering omhelst een heel spectrum aan mogelijkheden, gaande van erg data-intensieve methoden (die veel fotos vereisen, maar in staat zijn om de meeste complexe lichtschakeringen volledig plausibel te regenereren, zoals lichtveldmethoden in light field cameras zoals lytro) tot technieken die weinig fotos vereisen maar aannamen maken over vorm en lichtreflectie en minder in staat zijn om realism te behouden in andere omstandigheden. 

Zoals steeds in de vakken in deze afstudeerrichting ligt de nadruk om de fundamentele beginselen: de duurzame kennis, inclusief wiskunde (altijd een middel en geen doel op zich), die de student niet alleen in staat stelt om het domein te volgen, maar ook zelf bij te dragen tot de verdere ontwikkeling ervan. De cursus wordt anderzijds rijkelijk doorspekt met reele wereld toepassingen, inclusief 360 graden video (vandaag de dag ook wel eens video VR genoemd) en populair geworden dankzij schermhelmen -head mounted displays- zoals oculus rift).

Het vak wordt ondersteund door een practicum gebruikt makend van de OpenCV open source programmabibliotheek (www.opencv.org).