对于世界各地数以百万计的聋人和听障人士来说，沟通障碍会使日常交流变得困难。传统的解决方案，如手语翻译，往往稀缺、昂贵且依赖于人力。在日益数字化的世界中，对提供实时、准确和可访问的通信解决方案的智能辅助技术的需求正在增长，旨在弥合这一重大差距。
美国手语（ASL）是使用最广泛的手语之一，由不同的手势组成，代表字母、单词和短语。现有的ASL识别系统经常在各种环境下的实时性能、准确性和鲁棒性方面苦苦挣扎。
美国手语系统的一个主要挑战在于区分视觉上相似的手势，如“A”和“T”或“M”和“N”，这经常导致错误分类。此外，数据集质量存在重大障碍，包括图像分辨率差、运动模糊、不一致的照明以及手的大小、肤色和背景的变化。这些因素会引入偏差，并降低模型在不同用户和环境中进行泛化的能力。
为了应对这些挑战，佛罗里达大西洋大学工程与计算机科学学院的研究人员开发了一种创新的实时美国手语解释系统。结合YOLOv11的目标检测能力和MediaPipe精确的手部跟踪功能，系统可以实时准确识别ASL字母。使用先进的深度学习和关键手点跟踪，它将美国手语手势翻译成文本，使用户能够以惊人的准确性交互式拼写名称，位置等。
它的核心是一个内置的网络摄像头，作为一个非接触式传感器，捕捉实时视觉数据，并将其转换为数字帧，用于手势分析。MediaPipe识别每只手上的21个关键点来创建一个骨架图，而YOLOv11使用这些点来高精度地检测和分类美国手语字母。
“这个系统特别引人注目的是，从捕捉手势到对其进行分类的整个识别管道，无论光照条件或背景如何，都能实时无缝地运行，”FAU电气工程与计算机科学系的第一作者、博士候选人巴德尔·阿尔沙里夫（Bader Alsharif）说。“所有这些都是使用标准的、现成的硬件实现的。这强调了该系统作为一种高度可访问和可扩展的辅助技术的实际潜力，使其成为现实应用的可行解决方案。”
发表在《传感器》杂志上的研究结果证实了该系统的有效性，该系统以最小的延迟实现了98.2%的精度（平均精度，mAP@0.5）。这一发现突出了该系统实时提供高精度的能力，使其成为需要快速可靠性能的应用的理想解决方案，例如实时视频处理和交互技术。
拥有13万张图像，ASL字母表手势数据集包括在不同条件下捕获的各种手势，以帮助模型更好地泛化。这些条件涵盖了不同的照明环境（明亮，昏暗和阴影），一系列背景（室外和室内场景），以及各种手的角度和方向，以确保鲁棒性。
每张图像都精心标注了21个关键点，突出了重要的手部结构，如指尖、指关节和手腕。这些注释提供了手部的骨架图，使模型能够非常准确地区分相似的手势。
“这个项目是一个很好的例子，说明了尖端人工智能如何应用于服务人类，”FAU电气工程和计算机科学系的合著者兼Tecore教授Imad Mahgoub博士说。“通过将深度学习与手部地标检测相结合，我们的团队创造了一个系统，不仅实现了高精度，而且在日常使用中保持了可访问性和实用性。这是迈向包容性通信技术的有力一步。”
美国的失聪人口约为1100万，占总人口的3.6%，约15%的美国成年人（3750万）有听力障碍。
“这项研究的意义在于，它有可能通过提供一种人工智能驱动的工具，将美国手语手势翻译成文本，从而改变聋人社区的沟通方式，从而在教育、工作场所、医疗保健和社会环境中实现更顺畅的互动，”FAU电气工程和计算机科学系教授、合著者穆罕默德·伊利亚斯博士说。“通过开发一个强大且易于使用的美国手语翻译系统，我们的研究有助于推动辅助技术的发展，为聋人和重听人群打破障碍。”
未来的工作将集中于扩展系统的能力，从识别单个的美国手语字母到解释完整的美国手语句子。这将使交流更加自然和流畅，允许用户无缝地传达整个想法和短语。
工程与计算机科学学院院长Stella Batalama博士说：“这项研究突出了人工智能驱动的辅助技术在赋予聋人社区权力方面的变革力量。”“通过实时的美国手语识别来弥合沟通的差距，这个系统在促进一个更包容的社会中发挥了关键作用。它可以让听力受损的人更无缝地与周围的世界互动，无论是自我介绍，导航环境，还是仅仅参与日常对话。这项技术不仅提高了可访问性，而且还支持更大的社会融合，帮助为每个人创造一个更紧密、更有同理心的社区。”
作者：佛罗里达大西洋大学
链接：https://www.sciencedaily.com/releases/2025/04/250409114945.htm
著作权归作者所有。
声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：152 6451 3609，邮箱：1027830374@qq.com
地址：山东省烟台市开发区南昌大街48号
