Gemini App für iOS bietet Liveview-Funktion

Der US-Technologiekonzern Google hat in seiner Gemini App für iOS und Android eine neue Liveview-Funktion eingeführt.

Alle Benutzer können damit ihre Umgebung live auf Gemini streamen, um Informationen zu erhalten, was sie gerade sehen.

Liveview-Funktion in Gemini App

Seit Dienstag umfassen die Gemini Apps gleichermaßen für Android OS und iOS die neue Liveview-Funktion, mit Benutzer die Umgebung live auf Gemini übertragen können, um Feedback zu dem Gesehenen zu erhalten.

Von Gemini wurden in einer Demonstration Objekte erkannt, die der Benutzer anschaute, korrigierte falsche Vermutungen darüber, was für ein Objekt es war und argumentierte mit Kontext durch Beantwortung von Fragen. Wenn das Display des iPhone oder iPad mit der KI geteilt wird, gibt es ein Feedback ,was online betrachtet wird.

Die Liveansicht identifiziert Objekte in Echtzeit, bietet Unterstützung bei Heimwerkerarbeiten, hilft beim Einkaufen, kann Räume organisieren und bietet zahlreiche weitere Funktionen.

Live-Sprachfeed

Vor allem für Blinde und Sehbehinderte ist die Live-Option eine wertvolle Hilfe, weil sie einen Live-Sprachfeed der Umgebung einer Person bereitstellen kann. Basierend auf dem Project Aura, welches 2024 auf Googles Entwicklerkonferenz gezeigt wurde und zuvor auf Pixel-Geräten eingeführt wurde, ist Live entstanden.

Im Verlauf des Sommers soll Gemini einen persönlichen Kontext für Funktionen erhalten, wie eine Smart-Antwort von Gmail. Wichtige Informationen können von Gemini in Google-Apps verwendet werden, um dem Benutzer ein persönliches Erlebnis zu bieten.

Die KI-Antwortfunktion kann alte E-Mails scannen, um den Ton, Stil und Wortwahl anzupassen. Notizen und Dokumente von Google Drive verleiht Gemini E-Mails den passenden Kontext.