很多人都曾在教材长进修过海伦·凯勒的《如果给我三天光明》，由于失落聪和失落明，她只能通过触觉来学习说话，比如把手指放在老师的鼻子、嘴唇和咽喉上，去感想熏染某个单词的发音办法。

图 | 小时候的海伦·凯勒和莎莉文老师（来源：维基百科）

一个四肢健全的盲人固然有触觉，但却由于眼盲、而无法操作那些凡人可以轻松操作的键盘，比如微波炉和电饭煲的物理操作界面。
对他们来说，这些操作界面的按钮，不仅在触觉上难以区分，并且屏幕上还有他们无法阅读的视觉信息。

基于此，郭安鸿研发出一款人机交互系统，来帮助盲人读取、以及利用物理操作界面上的内容。

图 | 郭安鸿（来源：受访者）

该系统包含三大块：VizLens、Facade 和 StateLens。
个中 VizLens 帮助盲人通过音频指示去利用物理操作界面，Facade 利用 3D 打印技能给其供应盲文标签，而 StateLens 则可以帮助他们识别动态操作界面。

VizLens：可给盲人供应实时帮助

VizLens 是用于静态物理操作界面的交互式屏幕阅读器，它结合了按需众包和实时打算机视觉技能。

图 | 盲人利用 VizLens 操作微波炉（来源：受访者）

当盲人碰着某个无法阅读的静态界面如微波炉界面时，利用手机对操作界面进行拍照，之后 VizLens 会把照片发送给网络众包职员。

众包是一种通过互联网多人协作得到数据资源的办法，比如 Amazon Mechanical Turk 众包网站便是借助遍布在互联网上的自由职业者，通过他们完成一些眇小事情，终极搜集在一起办理大型问题。

图 | 用户利用界面的操作过程（来源：受访者）

众包职员收到盲人的旗子暗记后，就会标记界面布局、并注释干系元素如按钮或其他控件，随后会描述每个元素，描述出的图片也会成为参考图像，进而帮助打算机视觉更好地事情。

图 | VizLens 运用程序利用界面（来源：受访者）

之后，当盲人要操作微波炉界面时，只需打开 VizLens 运用程序，把手机摄像头对准界面，接着把手指悬停在界面上，这时 VizLens 会利用基于 SURF（Speeded Up Robust Features，加速稳健特色）的工具匹配技能，将众包标记的参考图像、与实时捕获的图像进行匹配，并跟踪用户的手指，进而去做检索、供应音频反馈和辅导用户。

图 | VizLens 运用程序（来源：受访者）

有了这种即时反馈，VizLens 就能实时地把界面内容见告给盲人。
此外，VizLens 还权衡了众包人类智能和打算机视觉的上风，因此它对物理界面的阐明能力，险些和人工一样准确，并且它和打算机视觉系统一样快捷且低本钱。

Facade：方便盲人独立读取的 3D 打印触觉覆盖层

一样平常来说，盲人常常在家电上贴盲文标签。
基于 VizLens，郭安鸿进一步开拓出 Facade，这是一款可让盲人独立读取的 3D 打印触觉覆盖层。

图 | Facade 触觉覆盖层（来源：受访者）

盲人拍摄操作界面照片时，照片中须要包含绝对尺寸的标记（fiducial marker），比如泉币或者信用卡。
拍摄往后，Facade 可通过照片来规复按钮标签尺寸信息。

接着，Facade 会用类似 VizLens 的众经办法对图像作出标记。
这时，盲人可以利用 Facade 运用程序，来自定义触觉覆盖层，随后 Facade 可据此生成 3D 模型，这时利用家用 3D 打印机，即可制造出触觉覆盖层。

研究中，郭安鸿经历几次设计迭代，终极确定了最有效的覆层设计、材料配置和打印机设置，以使 3D 打印的覆层易于附着、读取和按压。

概括来说，VizLens 和 Facade 使盲人用户可以访问许多静态界面。
郭安鸿又在此根本上，开拓了 StateLens，这是一种用于"大众信息显示屏和支付终端等动态触摸屏。

StateLens：办理误触难题

盲人一旦触碰屏幕，就很随意马虎带来误操作，为办理此类触摸难题，针对利用过程中的意外触发成分，郭安鸿又设计出一套 3D 打印附件，即指帽和手写笔。

利用中，盲人通过手势激活所需的触摸位置，无需直打仗摸屏幕即可浏览。
据悉，StateLens 可在不修正触摸屏根本硬件或软件的情形下，为公共触摸屏带来 “无风险利用”，这也是可访问触摸屏交互的核心。

图 | 触摸交互设计（来源：受访者）

在对 StateLens 进行评估的过程中，他们首先通过 12 个触摸屏设备和 70K 多帧的实验***，证明出 StateLens 可从固定***、手持***和网络***中准确地重修界面。
随后，再对 14 位盲人参与者做用户研究。
这时，他们创造这款人机交互系统，可使盲人访问此前无法访问的动态触摸屏。

“你是我的眼”：盲人自己也可利用微波炉

谈及研发过程，郭安鸿表示：“我刚到匹兹堡时，不太熟习当地用户和组织，但我做的是和盲人有关的项目，想要打仗他们就更难。
后来参加了一些当地的 meet up 活动，得知在一些图书馆里，有一些盲人在那里事情。
通过这样一个滚雪球的办法，我一点点地找到了一系列用户。
后面很多类似项目，我都可以去联系他们，看他们是否有韶光给到一些反馈见地、试用一下我们做的产品等等。
”

他说：“除了和 IBM 盲人教授相处的经历之外，通过不雅观察图书馆盲人事情职员，也让我更加关心盲人的生活，比如说他们在利用微波炉这种物理操作界面或触屏设备的时候，有很多未便利的地方。
然后我就想到可以通过打算机视觉、众包以及可穿着设备等技能，设计一个别系，来帮助盲人用这种物理操作界面。
”

图 | VizLens 在各种肤色和照明条件下都能很好地事情（来源：受访者）

系统初步完成后，郭安鸿在用户给产品做测试的过程中，非常有个人造诣感。
一方面系统可给盲人生活供应本色性帮助，另一方面他自己对人机交互领域的兴趣和热爱，也带来了一定的现实影响。

而在做每个项目之前，郭安鸿都会约请盲人用户到实验室里，或去他们家里进行访谈，网络他们的痛点后、再和团队进行头脑风暴。
研究过程中，也会得到盲人用户的持续反馈，得到新数据后再进行迭代，终极完成系统设计。

比如 Facade，其过程涉及到 3D 打印。
那么，它到底该怎么打盲文？怎么让盲人摸到后就能识别？需不须要考虑多种颜色？如何让有一点点视力的盲人得到更好的帮助？针对这些问题，郭安鸿在网络用户反馈后，终极找到了最佳 3D 打印设置。

目前他正操持把该成果放在网上，作为免费运用供盲人利用。
另一方面，微软、苹果、谷歌也在做残疾人干系的技能研究，郭安鸿之前曾和他们有过详细的互助，往后他想在这方面做更多拓展。

“毕业即教授”：28 岁拿到博士学位、并成为助理教授

郭安鸿是辽宁沈阳人，1992 年生人，小学毕业后就读于东北育才少儿班，16 岁高中毕业，随后北上并来到北京邮电大学读书，20 岁时本科毕业。

本科毕业后，他来到佐治亚理工学院读硕士，毕业后到卡内基梅隆大学读博，28 岁时博士毕业，2020 年是他博士毕业的年份，也是他在密西根大学得到助理教授教职的年份。
来密西根大学传授教化之前，他还在微软、谷歌等公司参与过项目。

谈及过往，他表示：“我在这个过程中碰着了很多非常好的导师，参与到一些非常开眼界的项目，然后才让我一点点打仗到科研，并可以独立开展这些故意思的研究。
”

由于他本科是电子信息工程专业，期间曾参与一个用打算机视觉、来进行手势识别和脸部识别的掌握游戏项目。
后来他逐渐理解到人机交互，并且对此十分感兴趣，于是申请了一些干系项目，并一步步走上研究轨迹。

当问到是否初心不改、延续着一贯以来的研究路线时，郭安鸿说：“我以为研究路线实在一贯都在变，由于韶光也都在变，并且这些研究的学科也都在发展。
不变的是我想要让天下变得更好，希望做的项目实际上可以帮助到残疾人，让他们的生活变得更便利。
”