jd-opensource / jd-opensource/JoyAI-VL-Interaction

希望参与 JoyAI-VL-Interaction 无障碍主动提醒真实场景测试

Open
#24 0 comments 1 reaction 0 assignees View on GitHub
Dominant language
Python
Stars
1.9k
Forks
190
PR merge metrics
No merged PRs in 30d

Description

您好,我叫张振宇,是一名视障者,也是一名钢琴调律师。

我和一些视障朋友长期关注 AI 对盲人生活、出行和就业的帮助。我们有一个盲人 AI 沙龙,主要讨论和测试如何用 AI 帮助视障者识别环境、理解物品和场景、提升独立生活与工作能力。

最近我们也在自己摸索类似方向,例如:用手机摄像头做主动提醒,看到目标物体、障碍物、门牌、屏幕变化时提醒;结合导航路线、GPS 和视觉确认,帮助视障者更安全地完成出行;以及在工作场景中用 AI 辅助识别环境和获取信息。

我们现在尝试的是“两模型协作”的模式:一个视觉模型负责快筛画面是否命中任务,另一个对话模型负责接收任务、组织语言并播报。目前主动提醒已经可以稳定触发,常见简单任务从画面出现到听到提醒,平均大约可以压到 2 到 3 秒左右。

我看到 JoyAI-VL-Interaction 的方向是让模型持续观察视频画面,在需要时主动提醒、无事时保持静默。这和视障者真实需求非常接近。

去年底我也在腾讯“智变之我”跨年演讲中分享过 AI 给视障者带来的改变,视频链接如下:
https://weixin.qq.com/sph/A5Ddd5kYeQ

想请问贵团队是否有内测、体验或用户反馈渠道?如果方便,我很希望能以真实视障用户的身份参与测试,并反馈它在盲人生活、出行、工作辅助中的实际可用性。

我的手机和微信是:13818148651。希望能取得联系,谢谢。

Contributor guide

No contributing guide indexed for this repository

Research direction

The issue names no files, tests, or entry points and requests participation in real-world accessibility testing. Start by checking the repository's existing testing and feedback guidance; done would be a confirmed contact channel and an agreed evaluation plan with the maintainers.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
accessibility, testing
Issue type
Feature
Difficulty
5/5
Estimated time
Over a week
Activity status
Quiet
Clarity
Needs clarification
Newbie friendliness
20/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.