Apple bringt Eye-Tracking auf aktuelle iPhones und iPads

Im Vorfeld des Global Accessibility Awareness Day in dieser Woche gibt Apple wie jedes Jahr eine Reihe von Ankündigungen zu seinen Unterstützungsfunktionen heraus. Viele dieser Funktionen sind für Menschen mit Behinderungen nützlich, haben aber auch breitere Anwendungsmöglichkeiten. So hilft beispielsweise die im letzten Jahr eingeführte Funktion Personal Voice, die eigene Stimme zu erhalten. Dies kann für Menschen nützlich sein, die Gefahr laufen, ihre Stimme zu verlieren, oder die aus anderen Gründen ihre eigene Stimme für Angehörige in ihrer Abwesenheit erhalten möchten. Heute bietet Apple Unterstützung für Eyetracking auf den neuesten iPhone- und iPad-Modellen sowie anpassbare Sprachkürzel, haptische Musik, Informationen über Fahrzeugbewegungen und vieles mehr.

Integriertes Eyetracking für iPhones und iPads

Die interessanteste Funktion des Kits ist die Möglichkeit, die nach vorne gerichtete Kamera von iPhones oder iPads (zumindest von solchen mit A12-Chip oder höher) zur Navigation in der Software zu nutzen, ohne dass zusätzliche Hardware oder Zubehör benötigt wird. Wenn diese Funktion aktiviert ist, können Nutzerinnen und Nutzer auf ihren Bildschirm schauen, um durch Elemente wie Apps und Menüs zu navigieren, und dann auf einem Element verweilen, um es auszuwählen.

Diese Pause zum Auswählen wird als Apple Dwell Control bezeichnet, eine Funktion, die bereits an anderer Stelle im Ökosystem des Unternehmens verfügbar ist, z. B. in den Barrierefreiheitseinstellungen des Mac. Der Einrichtungs- und Kalibrierungsprozess soll nur wenige Sekunden dauern, und die KI des Geräts arbeitet daran, Ihren Blick zu verstehen. Es wird auch mit Apps von Drittanbietern funktionieren, da es sich wie Assistive Touch um eine Schicht im Betriebssystem handelt. Apple unterstützt Eye-Tracking bereits in iOS und iPadOS mit angeschlossenen Eye-Tracking-Geräten, neu ist, dass dies ohne zusätzliche Hardware möglich ist.

Sprachkürzel für einfachere Freisprechsteuerung

Auch Apple arbeitet an der Verbesserung der Zugänglichkeit seiner Sprachsteuerung auf iPhones und iPads. Auch hier wird die künstliche Intelligenz des Geräts genutzt, um personalisierte Modelle für jeden Nutzer zu erstellen, der einen neuen Sprachbefehl einrichtet. Sie können einen Befehl für ein einzelnes Wort, eine Phrase oder sogar eine Äußerung (z. B. „Oy!“) einrichten. Siri versteht dies und führt die von Ihnen festgelegte Verknüpfung oder Aufgabe aus. Sie können diese Befehle verwenden, um Apps zu starten oder eine Reihe von Aktionen auszuführen, die Sie in der App “Shortcuts” definieren, und wenn sie einmal eingerichtet sind, müssen Sie Siri nicht mehr fragen, ob sie bereit ist.

Eine weitere Verbesserung der Sprachinteraktion ist „Listen for Atypical Speech“, bei der iPhones und iPads geräteinternes maschinelles Lernen nutzen, um Sprachmuster zu erkennen und die Spracherkennung an die individuelle Sprechweise anzupassen. Dies ähnelt Googles Project Relate, das ebenfalls darauf abzielt, dass Technologien Menschen mit Sprachbehinderungen oder atypischer Sprache besser verstehen.

Um diese Werkzeuge zu entwickeln, hat Apple mit dem Speech Accessibility Project am Beckman Institute for Advanced Science and Technology an der University of Illinois Urbana-Champaign zusammengearbeitet. Das Institut arbeitet auch mit anderen Technologiegiganten wie Google und Amazon zusammen, um die Entwicklung in diesem Bereich für ihre Produkte voranzutreiben.

Haptische Musikwiedergabe in Apple Music und anderen Apps

Für gehörlose und schwerhörige Menschen hat Apple haptische Funktionen in den Musikplayer des iPhone integriert, beginnend mit Millionen von Songs in der eigenen Musik-App. Wenn die Haptik aktiviert ist, werden Klopfgeräusche, Texturen und spezielle Vibrationen zusammen mit dem Audio abgespielt, um ein neues Gefühl zu erzeugen. Die Technologie wird als API zur Verfügung stehen, so dass Entwickler ihre Apps auch barrierefrei gestalten können.

Hilfe im Auto – Reisekrankheit und CarPlay

Fahrer mit Behinderungen benötigen bessere Systeme in ihren Autos, und Apple geht mit seinen Updates für CarPlay auf einige dieser Probleme ein. Die Schnittstelle für Fahrzeuge wird um Sprachsteuerung und Farbfilter erweitert, so dass es für Menschen mit Sehbehinderungen einfacher wird, Apps per Sprache zu steuern und Menüs oder Warnhinweise zu erkennen. Zu diesem Zweck erhält CarPlay auch Unterstützung für fetten und großen Text sowie eine Geräuscherkennung für Geräusche wie Sirenen oder Hupen. Wenn das System ein solches Geräusch erkennt, wird am unteren Bildschirmrand eine Meldung eingeblendet, die darüber informiert, was das System gehört hat. Dies funktioniert ähnlich wie die Geräuscherkennung, die Apple bereits in anderen Geräten wie dem iPhone einsetzt.

Wer bei der Nutzung seines iPhones oder iPads in einem fahrenden Fahrzeug unter Reisekrankheit leidet, dem könnte eine neue Funktion namens Vehicle Motion Cues helfen, die Beschwerden zu lindern. Da die Reisekrankheit auf einem sensorischen Konflikt zwischen dem Betrachten stationärer Inhalte und dem Aufenthalt in einem fahrenden Fahrzeug beruht, soll die neue Funktion die widerstreitenden Sinne durch Punkte auf dem Bildschirm besser in Einklang bringen. Wenn die Funktion aktiviert ist, werden diese Punkte an den vier Rändern des Bildschirms angezeigt und bewegen sich entsprechend der erfassten Bewegung. Wenn sich das Fahrzeug vorwärts bewegt oder beschleunigt, bewegen sich die Punkte nach hinten, als würden sie auf die Geschwindigkeitserhöhung in diese Richtung reagieren.

Weitere Apple-Updates zur Barrierefreiheit

Apple hat weitere Funktionen für seine Produkte angekündigt, darunter Live Captions für VisionOS, einen neuen Lesemodus für Magnifier, Unterstützung für mehrzeilige Braille und ein virtuelles Trackpad für Nutzer von Assistive Touch. Es ist noch nicht klar, wann all diese angekündigten Updates verfügbar sein werden, obwohl Apple in der Vergangenheit diese Funktionen in zukünftigen Versionen von iOS zur Verfügung gestellt hat. Da die Entwicklerkonferenz WWDC nur noch wenige Wochen entfernt ist, ist es wahrscheinlich, dass viele der heute vorgestellten Tools offiziell mit der nächsten iOS-Version veröffentlicht werden.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert