"Neue" Bilder aus bekannten Perspektiven erzeugen

Dieser Frage haben sich Ali Eslami und Danilo Rezende gewidmet. Beide Arbeiten bei Google an dem Deep Mind Projekt und haben mal geschaut inwiefern man aus 2D-Bilddaten eine räumliche Orientierung ableiten kann. Konkret haben Sie versucht einer KI ausgewählte "Fotos" von einem virtuellen Raum zu zeigen und auf Basis dieser Fotos einen Raumplan generieren zu lassen. Der grundsätzliche Ansatz folgt dabei der menschlichen Intuition: Wenn man sich durch einen Raum bewegt hat, kann man ja durchaus auch "vorhersagen" wie der Raum aus einem anderen Blickwinkel aussehen würd. Das klassische Beispiel dafür sind Räume mit Fenstern: Wenn du dich selbst durch den Raum bewegt hast, kannst du dir auch vorstellen wie der Raum wohl durch das Fenster betrachtet aussehen würde. Und wenn man sich diesen Raumplan einmal überlegt hat, kann man daraus dann wie in jeder "normalen" 3D-Szene auch aus allen Positionen und Perspektiven neue Bilder erzeugen.

Das Titelbild zeigt, wie man sich den Prozess in etwa vorstellen kann. Es werden in den Spalten die 9 verschiedenen Zwischenstände gezeigt, je weiter die Spalte rechts ist desto mehr Bilder hat man bis dahin gezeigt. In den Zeilen finden sich dann die folgenden Informationen:

1. Das Bild welches dem Programm im aktuellen Schritt zusätzlich präsentiert wurde.
2. Der Ort an dem das Bild aufgenommen worden ist.
3. Eine Vorhersage des Verfahrens wie sicher es sich über die unterschiedlichen Orte ist.
4. Eine Annäherung an die Darstellung des Raums von oben (1. Verfahren)
5. Eine Annäherung an die Darstellung des Raums von oben (2. Verfahren)

Einen besseren Einblick in das Verfahren liefert das folgende Youtube Video.