Apple introduit l'eye-tracking sur les derniers iPhones et iPads

En prévision de la Journée mondiale de sensibilisation à l'accessibilité de cette semaine, Apple publie comme chaque année une série d'annonces concernant ses fonctions d'assistance. Nombre de ces fonctions sont utiles aux personnes handicapées, mais ont également des applications plus larges. Par exemple, la fonction Personal Voice, introduite l'année dernière, aide à conserver sa propre voix. Cela peut être utile pour les personnes qui risquent de perdre leur voix ou qui, pour d'autres raisons, souhaitent conserver leur propre voix pour leurs proches en leur absence. Aujourd'hui, Apple offre une prise en charge de l'eye-tracking sur les derniers modèles d'iPhone et d'iPad, ainsi que des raccourcis vocaux personnalisables, de la musique haptique, des informations sur les mouvements des véhicules et bien plus encore.

Eyetracking intégré pour iPhones et iPads

La fonction la plus intéressante du kit est la possibilité d'utiliser la caméra orientée vers l'avant des iPhones ou des iPads (du moins ceux équipés d'une puce A12 ou supérieure) pour naviguer dans le logiciel, sans avoir besoin de matériel ou d'accessoires supplémentaires. Lorsque cette fonction est activée, les utilisateurs peuvent regarder leur écran pour naviguer dans des éléments tels que les applications et les menus, puis s'attarder sur un élément pour le sélectionner.

Cette pause pour sélectionner est appelée Apple Dwell Control, une fonction déjà disponible ailleurs dans l'écosystème de l'entreprise, par exemple dans les paramètres d'accessibilité du Mac. Le processus de configuration et d'étalonnage ne devrait prendre que quelques secondes, et l'IA de l'appareil travaille à comprendre votre regard. Il fonctionnera également avec des applications tierces, car il s'agit, comme Assistive Touch, d'une couche du système d'exploitation. Apple supporte déjà l'eye-tracking dans iOS et iPadOS avec des appareils d'eye-tracking connectés, la nouveauté est que cela est possible sans matériel supplémentaire.

Raccourcis vocaux pour une commande mains libres plus facile

Apple travaille également à l'amélioration de l'accessibilité de sa commande vocale sur les iPhones et les iPads. Là encore, l'intelligence artificielle de l'appareil est utilisée pour créer des modèles personnalisés pour chaque utilisateur qui configure une nouvelle commande vocale. Il est possible de configurer une commande pour un seul mot, une phrase ou même une expression (par exemple "Oy !"). Siri le comprend et exécute le raccourci ou la tâche que vous avez défini. Vous pouvez utiliser ces commandes pour lancer des applications ou exécuter une série d'actions que vous définissez dans l'application Raccourcis, et une fois qu'elles sont configurées, vous n'avez plus besoin de demander à Siri si elle est prête.

Une autre amélioration de l'interaction vocale est "Listen for Atypical Speech", dans le cadre de laquelle les iPhones et les iPads utilisent l'apprentissage automatique interne à l'appareil pour reconnaître les modèles de langage et adapter la reconnaissance vocale à la façon de parler de chacun. Cela ressemble au projet Relate de Google, qui vise également à ce que les technologies comprennent mieux les personnes ayant des difficultés d'élocution ou un langage atypique.

Pour développer ces outils, Apple a collaboré avec le Speech Accessibility Project au Beckman Institute for Advanced Science and Technology à l'Université de l'Illinois Urbana-Champaign. L'institut collabore également avec d'autres géants de la technologie tels que Google et Amazon afin de faire avancer le développement dans ce domaine pour leurs produits.

Lecture haptique de la musique dans Apple Music et d'autres applications

Pour les personnes sourdes et malentendantes, Apple a intégré des fonctions haptiques dans le lecteur de musique de l'iPhone, en commençant par des millions de chansons dans sa propre application musicale. Lorsque l'haptique est activée, des bruits de frappe, des textures et des vibrations spéciales sont joués avec l'audio afin de créer une nouvelle sensation. La technologie sera disponible sous forme d'API, ce qui permettra aux développeurs de rendre leurs apps également accessibles.

Aide en voiture - Mal des transports et CarPlay

Les conducteurs handicapés ont besoin de meilleurs systèmes dans leurs voitures, et Apple répond à certains de ces problèmes avec ses mises à jour de CarPlay. L'interface pour les véhicules sera améliorée avec des commandes vocales et des filtres de couleur, ce qui permettra aux personnes souffrant d'un handicap visuel de contrôler plus facilement les applications par la voix et de reconnaître les menus ou les avertissements. À cette fin, CarPlay prend également en charge le texte en gras et en grand, ainsi que la reconnaissance sonore pour les bruits tels que les sirènes ou les klaxons. Lorsque le système détecte un tel son, un message s'affiche en bas de l'écran pour informer le système de ce qu'il a entendu. Cela fonctionne de manière similaire à la reconnaissance des sons qu'Apple utilise déjà dans d'autres appareils comme l'iPhone.

Les personnes souffrant du mal des transports lorsqu'elles utilisent leur iPhone ou leur iPad dans un véhicule en mouvement pourraient être soulagées par une nouvelle fonction appelée Vehicle Motion Cues. Étant donné que le mal des transports est dû à un conflit sensoriel entre le visionnage de contenus fixes et le séjour dans un véhicule en mouvement, la nouvelle fonction vise à mieux harmoniser les sens contradictoires grâce à des points sur l'écran. Lorsque la fonction est activée, ces points s'affichent sur les quatre bords de l'écran et se déplacent en fonction du mouvement détecté. Lorsque le véhicule avance ou accélère, les points se déplacent vers l'arrière, comme s'ils réagissaient à l'augmentation de la vitesse dans cette direction.

Autres mises à jour d'Apple sur l'accessibilité

Apple a annoncé d'autres fonctionnalités pour ses produits, notamment Live Captions pour VisionOS, un nouveau mode de lecture pour Magnifier, la prise en charge du braille multiligne et un trackpad virtuel pour les utilisateurs d'Assistive Touch. Il n'est pas encore clair quand toutes ces mises à jour annoncées seront disponibles, bien qu'Apple ait par le passé mis ces fonctions à disposition dans les futures versions d'iOS. La conférence des développeurs WWDC n'étant plus qu'à quelques semaines, il est probable qu'un grand nombre des outils présentés aujourd'hui seront officiellement publiés avec la prochaine version d'iOS.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *