Was hat Claude Monet gesehen, als er dieses Bild gemalt hat?

Quelle: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

Wäre die Farbfotografie 1873 schon erfunden gewesen, hätten wir auf diese Frage evtl. eine definitive Antwort. Aber auch ohne Farbfoto, wissen wir, dass es wahrscheinlich einen klaren blauen Himmel und einen Fluss, der den Himmel reflektiert, zeigen würde.

Die nächste Frage ist natürlich, was hätte Monet gemalt, wenn er vor einer anderen Landschaft seine Staffelei aufgestellt hätte.

Wissenschafter von Berkeley AI Research haben in ihrem Paper „Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks“ einen Algorithmus entwickeln, der diese Frage mit Hilfe von KI beantworten kann.

Deren Ansatz ist ähnlich, wie wir als Menschen an die Aufgabe herangehen würden. Am einfachsten wäre es natürlich, ein Monet-Gemälde neben einem Farbfoto, der von ihm gemalten Szene zu sehen. Diese Daten haben wir aber leider nicht.

Statt dessen können wir uns z.B. Gemälde von Monet und Landschaftsbilder ansehen. Wenn wir danach ein Landschaftsbild betrachten, können wir uns mehr oder minder gut vorstellen, wie ein Gemälde von Monet aussehen würde, hätte er diese Szene gemalt. Dieser Vorgang funktioniert auch in die umgekehrte Richtung. Wenn wir uns ein Gemälde von Monet ansehen, können wir uns vorstellen, wie ein Landschaftsbild der gleichen Szene aussehen würde.

Dieses Gedankenexperiment lässt sich wie folgt formulisieren:

Wir haben als Trainingsdaten einen Datensatz X mit Landschaftsbildern und einen Datensatz Y mit Gemälden.  Für diese Trainingsdaten, suchen wir eine Abbildung von Landschaftsbildern zu Gemälden und wieder zurück zu Landschaftsbildern.

Quelle: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

Das neuronale Netzwerk, das verwendet wird, um diese Abbildung zu finden, wird “Cycle-Consistent Adversarial Network” genannt. Cycle-Consistent Adversarial Networks können nicht nur Landschaftsbilder in Gemälde von verschiedenen Malern verwandeln, sondern auch Pferde durch Zebras ersetzen oder die Jahreszeiten auf Bildern ändern.

Quelle: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

Falls Sie wissen möchten, wie wir Ihnen helfen können noch mehr Wert aus Ihren Bilder zu schöpfen, kontaktieren Sie uns über .