Ein Apple KI-Modell kann Bilder sehen, erstellen und bearbeiten

Auf Grundlage des früheren KI-Modells UniGen zeigten Apples Forscher nun UniGen 1.5 vor, was Bilder sehen, generieren und bearbeiten kann.

Im Mai hatten sie UniGen erstmals gezeigt und das KI-Modell um Bildbearbeitungsfunktionen erweitert.

Was kann Apples KI-Modell UniGen 1.5?

Apple veröffentlichte kürzlich die neue Studie „UniGen-1.5: Enhancing Image Generation and Editing through Reward Unification in Reinforcement Learning“ zu seinem um Bildbearbeitungsfunktionen ergänzten KI-Modell.

Die neuen Funktionen zum Verständnis, Erstellung und Bearbeitung von Bildern läuft innerhalb eines einzigen einheitlichen Frameworks, statt sie auf verschiedene Systeme aufzuteilen.

Die Vereinheitlichung besagter Fähigkeiten in einem einzigen System ist komplex, weil sowohl das Verständnis als auch Erzeugung von Bildern unterschiedliche Prozedere benötigt.

Einheitliches Modell

Laut den Forschern ist ein einheitliches KI-Modell in der Lage seine Verständnisfähigkeit einzusetzen, um die Erzeugungsleistung zu verbessern. Nach ihren Angaben ist eine der Schwierigkeiten bei der Bildbearbeitung, dass Modelle meist Probleme haben, komplexe Bearbeitungsanweisungen im vollen Umfang zu erfassen, vor allem wenn Änderungen subtil oder sehr speziell sind.

Zur Problemlösung wurde bei UniGen 1.5 ein neuer Schritt nach dem Training eingeführt, der „Anweisungsausrichtung bearbeiten“ genannt wurde. Die Forscher trainieren das KI-Modell erst einmal um eine detaillierte Textbeschreibung, was im bearbeiteten Bild enthalten sein soll, auf Basis des Originalbilds und der Bearbeitungsanweisung.

Der Zwischenschritt unterstützt das Modell dabei, die geplante Bearbeitung besser zu verstehen, bevor das finale Bild erstellt wird. Von den Forschern wird das gleiche Belohnungssystem verwendet, was für die Bildgenerierung und Bearbeitung eingesetzt wird.

Bei Tests erreichte UniGen-1.5 die gleichen branchenüblichen Benchmarks oder übertraf diese sogar. Jedoch bemerkten die Forscher, dass ihr KI-Modell unter bestimmten Umständen mit der Textgenerierung und der Identitätskonsistenz noch Probleme hat.