Google bringt eine neue Funktion für das Pixel 9 heraus, die es ermöglicht, in Echtzeit über den Inhalt auf dem Bildschirm zu diskutieren. Gemini Live kann Bilder, Dateien und YouTube-Videos besprechen. Die Funktion macht Gemini Live sensibler für den Diskussionskontext.

Die AI-Assistenz Gemini von Google erhält eine neue Perspektive – sie kann nun live über das diskutieren, was auf dem Bildschirm eines Smartphones zu sehen ist. Insbesondere betrifft dies die Pixel 9 Serie von Geräten, auf denen Gemini Live jetzt in der Lage ist, „Live über dies sprechen“ und in Echtzeit über Bilder, Dateien und YouTube-Videos zu chatten, wie zunächst von 9to5Google entdeckt. Ideal, wenn Sie mitten im Kochrezept nachfragen möchten oder eine Erklärung zu einem Meme haben möchten, das Ihnen nicht geläufig ist.

Bislang war die Rolle von Gemini Live wie die jeder Standard-KI-Sprachassistenz, basierend auf den konversationellen Modellen im Stil von ChatGPT. Doch jetzt kann sie spezifische Inhalte auf Ihrem Bildschirm betrachten und in ihre Diskussionen einbeziehen. Pixel 9-Besitzer können auf die Funktion zugreifen, indem sie das schwebende Gemini-Overlay starten, wo eine Vorschlag angezeigt wird, der die KI dazu auffordert, „Live über Video sprechen“ auf YouTube, „Live über PDF sprechen“ in Dateien von Google, und „Live über dies sprechen“ für Bilder auf dem Bildschirm. Dies gibt Gemini Kontext, ohne dass Sie erklären müssen, was dort ist. Das geht viel schneller als das manuelle Hochladen eines Bildes aus Ihrer Galerie.

Sobald Sie die Funktion aktivieren, öffnet Gemini Live mit einer Vorschau dessen, was auf dem Bildschirm ist und diskutiert werden soll. Die KI könnte Reiseziele basierend auf einem YouTube-Reisevideo vorschlagen, einen Vertrags-PDF zusammenfassen oder die Allegorie eines Stücks Renaissance-Kunst erklären, das Sie auf Ihrem Telefon betrachten. Falls Ihnen das etwas zu aufdringlich erscheint, können Sie Gemini Live daran hindern, automatisch das anzusehen, worauf Sie schauen. Wenn Sie kein Pixel 9 haben, keine Sorge. Google hat angekündigt, die Funktion bald auch für Samsung Galaxy S24 und S25 Smartphones herauszubringen, gefolgt von anderen Android-Geräten.

Die neue Funktion passt gut in Googles Gemini-Strategie. Google strebt danach, Gemini fest im Zentrum des Lebens der Menschen zu etablieren, insbesondere auf mobilen Geräten, wie durch die laufende Integration mit Android belegt. Diese Funktion wird nicht das Ende der Upgrades für Gemini Live sein. Google bereitet sich auf Project Astra vor, ein sich weiterentwickelndes Toolkit, das es den Nutzern ermöglichen soll, ihren Bildschirm zu teilen und Videos in Echtzeit zu streamen, während sie mit Gemini Live sprechen.

Google setzt stark auf Echtzeit- und kontextbezogene Unterstützung. Anstatt nur Antworten auf abstrakte Anfragen zu generieren, möchte Gemini Live Teil des Moments sein und auf das reagieren, was auf Ihrem Bildschirm zu sehen ist, mit (hoffentlich) nützlichen Einblicken. Um Apples Plänen für Apple Intelligence und was auch immer OpenAI und Microsoft planen, einen Schritt voraus zu sein, will Google, dass Gemini so allgegenwärtig wie möglich ist.