Generative AI Facilitating Image Recognition for the Visually Impaired in Online Learning

IA generativa que facilita el reconocimiento de imágenes para personas con discapacidad visual en el aprendizaje en línea

Resumen

Visually impaired learners often face significant challenges when accessing online educational videos, particularly programming tutorials that rely heavily on visual elements. Traditional teaching resources rarely consider accessible formats, resulting in limited participation of visually impaired students in STEM learning. This study proposes an Artificial Intelligence (AI)-powered system called Image Narrator, which incorporates a Chrome extension, YouTube plugin, and accessible website to support visually impaired learners in understanding video-based instructional content. By leveraging advanced generative AI and computer vision technologies, the system extracts text and visual elements from video frames and converts them into accessible descriptions or screen-reader-friendly formats. A user study involving 24 participants, including visually impaired learners, was conducted at the Canadian National Institute for the Blind (CNIB). Results indicate high satisfaction with the system’s image recognition, auto-generated exercises, question-and-answer functions, and overall usability, demonstrating that AI-powered visual narration can effectively reduce learning barriers and enhance independent learning for visually impaired students.

Los estudiantes con discapacidad visual suelen enfrentar desafíos significativos al acceder a videos educativos en línea, en particular a tutoriales de programación que se basan en gran medida en elementos visuales. Los recursos didácticos tradicionales rara vez consideran formatos accesibles, lo que resulta en una participación limitada de los estudiantes con discapacidad visual en el aprendizaje de STEM. Este estudio propone un sistema impulsado por Inteligencia Artificial (IA) llamado Narrador de Imágenes, que incorpora una extensión de Chrome, un complemento de YouTube y un sitio web accesible para ayudar a los estudiantes con discapacidad visual a comprender el contenido instructivo basado en video. Mediante el uso de tecnologías avanzadas de IA generativa y visión artificial, el sistema extrae texto y elementos visuales de fotogramas de video y los convierte en descripciones accesibles o formatos compatibles con lectores de pantalla. Se realizó un estudio de usuarios con 24 participantes, incluidos estudiantes con discapacidad visual, en el Instituto Nacional Canadiense para Ciegos (CNIB). Los resultados indican una alta satisfacción con el reconocimiento de imágenes, los ejercicios autogenerados, las funciones de preguntas y respuestas y la usabilidad general del sistema, lo que demuestra que la narración visual impulsada por IA puede reducir eficazmente las barreras de aprendizaje y mejorar el aprendizaje independiente de los estudiantes con discapacidad visual.