jjzjj

手语服务让信息世界没有障碍

华为开发者论坛 2023-03-28 原文
​内容来源:华为开发者大会2021 HMS Core 6 App Services技术论坛,主题演讲《手语服务,助您构建信息无障碍应用》。演讲嘉宾:华为消费者云服务 手语服务技术总监 北京师范大学教授 郑璇 大家好。今天为大家分享一下HMS Core为什么要做


​手语服务​​,背后的故事和进展。 首先看一下我们服务的对象,据世界部门组织调查,当前有4.6亿听障群体,而我国至少有2700万听障群体,并且每年国家也有将近2.3万的听障儿童出生,但是仅有不到5%的听障群体使用助听器等辅助设备。因此由于信息的缺失,我们听障朋友在日常的学习交流中存在一些困难,这就是为什么在公共场所应用场景中手语的渠道非常迫切。

手语是什么?对听障群体意味着什么?对健全的群体意味着什么?我们邀请到北京师范大学郑璇教授跟大家做分享。

大家好,我是北京师范大学的郑璇,很高兴跟大家面对面交流。 其实我是聋人,大家可能看不出我左耳戴了助听器,但是我的口语还是不错的,我的手语翻译是听力健全人士,但是她可以流畅地使用手语,我想在这一刻,聋人和听人界限不那么分明了,这要感谢科技的进步。

今天要跟大家分享的是《解锁手语密码,走进无声世界》。

说到手语大家可能感觉很神秘,手语从语言学来说,是一种语言,我在读博士的时候,在复旦大学中文系语言学与应用语言学专业,我所做的是从语言学角度研究手语到底是什么样的语言,手语是用手的手形、位置、运动、手掌朝向、配合面部表情和身体姿态,还有必要的口形,表达特定意思的交际工具,是一种真正的语言。为什么这么说?因为手语是有完整复杂系统的语言,有它的语音、语汇、语法,如果孩子的父母是聋人,就可以把手语当作第一语言学习,这时发展的路径和口语基本是同步的,而且我们从脑科学的角度可以证明,聋人在用手语的时候,大脑里面活跃的区域基本也是左脑的语言区。 关于手语的地位已经有了比较成熟的法律规定,比如2006年联合国的残疾人权利公约,以及后来在中国签署的联合国教科文组织的岳麓宣言强调,手语和口语是平等的,是两种语言,每个国家有义务保护促进推广手语的使用,目前世界聋人联合会的数据显示,世界有66个国家和地区通过立法承认了手语的地位。 我们国家在通用手语推广上,也有很大的进步,比如2015年和2021年分别是“十三五”和“十四五”的起点,我们发布了两期《国家手语和盲文的规范化行动计划》,2018年的时候,我们出台了《国家通用手语词表》,这个上升到了国家语言文字规范的高度,在2019年又出版了《国家通用手语词典》,如果大家有兴趣的话,可以直接从华为应用市场上下载APP。

上图是一个中国残疾人艺术团的演员演示“中国”的手语打法,“中国”的手语打法是伸出手指,从左肩到右肩往下,这时模仿汉服当中传统服装的式样,来模仿中国的概念。

手语对聋人朋友意味着什么?

我是一名聋人,所以我非常深刻地感受到手语对我们的重要性,可能大家不知道,超过95%的聋孩子,他们的父母是听力健全的人,这就意味着在家里他们不能像正常孩子一样顺利的跟父母沟通。国外有一个词形容:餐桌综合症,即使在餐桌上我们跟父母都是最熟悉的陌生人。所以,手语的介入可以改变这个状况。 当他们成长进入学校以后,手语可以作为教学语言,连接孩子和世界,促使他们对知识的学习;当他们走入社会以后,可以通过手语跟普通人建立连接,当社会上每个人都会手语,聋人朋友就会感受到平等和尊重;当他老了以后,手语会为他营造一个精神家园,聋人朋友对手语是非常有感情的,曾经有句诗描写他们对手语的感情,“如果你砍掉了我双手,我就用双臂打手语,如果你砍断了我的双臂,我就用双肩打手语”。

我曾经多次在高校教手语课,学生们问我:“老师,手语要怎么表示我爱你?”手语对青年学生来说是技艺才能,对刚出生的婴儿可以作为早教益智的手段开发他的智力,当他走入社会以后,如果他会手语,其实有助于构建信息无障碍的社会,让他知道每个人都可以接纳世界的多元性,让这个世界更美好。 此外,手语可以在特别的时候沟通,比如当环境嘈杂的时候,当秘密交流的时候,手语都非常地有用,当老去以后,有助人助己的意义,以前是他帮助别人,但是每个人都会老去,听力会下降,手语可以作为视觉语言支撑他的沟通。

我自己也有过多年的手语教学倡导和科研的经历,我自己非常欣赏一句话“如果你接纳了一个人,那你必将接纳他的语言,反过来如果你拒绝了一个人的语言,那就是拒绝了他本身”。我曾经在美国的孔子学院,教美国的聋孩子学习中国的手语和中国文化,我曾经在重庆师范大学的课堂上教空乘专业学生学习手语,我曾经拍摄过《我和我的祖国》手语歌的MV,我也曾经跟南京聋人学校的老师和同学们,一起编创我们的国学手语的图书。 做这些事的时候,我就有一个深刻的感受,手语其实并不是小众的语言,离每个人都不远,我们说手语是桥梁,可以连接世界上每一座孤岛,手语是资源,让我们明白每种语言独特的美,它还是人生经验的传承,是团结奋斗的桥梁,是聋听共建的纽带。 我作为顾问参与这样的项目,我们的愿景是:手语并不遥远,触手可及。其实每一个人在年老以后,在生病以后,在某些特殊的状况下,都会变成所谓的“残障者”。 手语不神秘,其实手语人人可学。比如说,这个手势表示一个人,那人从远到近是来,从近到远是去,两个人相遇、分开、追逐,你看,我们一下可以把一串手语词学会,真的并不难。

手语也不狭隘,海纳百川,我们不希望聋人朋友内部有什么手语群体、口语群体的撕裂,我真心希望,我们可以一起交流、一起建设家园、一起共享现代生活的便利。

手语更加不是一个小众的语言,我们可以开脑洞,可以打造一个手语的生态系统和新的经济体。从玻璃墙到破壁者,华为走出了关键一步。 参与这个项目的过程当中,其实也经历了非常多的坎坷,我个人非常地荣幸能参与其中。我自己是一名聋人,我自己是手语言学的研究者,对于我们来说,这个产品可以帮助到我们。但是在现在可能不是所有的人都能够理解,但是我们非常高兴通过一段时间的攻关,终于有了一个阶段性的成果,我想,黑暗给了我们黑色的眼睛,但是我却用它寻找光明,从黑暗中走过的眼睛,是世界上最明亮的眼睛。 最后我想教大家两个手语。

第一个是欢迎欢呼的意思,我们欢呼这个伟大的时代。 第二个是谢谢,谢谢大家给了我们无声世界新的希望。 谢谢大家。 从郑老师的分享可以看到,手语无论对听障人士还是健听人都非常重要,国家也意识到这个问题,并颁布了相应的法律条款。深圳市特区的条例今年9月1日刚刚实施的,还有10月1日北京市的条例、10月 22日广电总局发布了“十四五”的规划,都在推动和鼓励使用手语。 我们总结了三点国家法律条款。 第一,在党和国家以及地方重大活动中安排国家通用手语翻译。 第二,市级以上电视台应积极创造条件,播出节目配备手语或者字幕,开办手语栏目,推广和使用国家通用手语。 第三,飞机、铁路、地铁等公共交通应为听力残疾人提供国家通用手语服务。 华为公司做手语服务,并不是从零到一开始做的,我们在2018年跟欧洲聋人协会和世界聋人协会推出了Storysign的项目,是面向三到六岁的儿童阅读的场景,使用华为手机对着儿童阅读书籍拍摄,可以通过人工智能的技术自动产生手语动画。

在Storysign项目的基础上,我们开发了手语服务,不再面向特殊的年龄特殊人群,我们开发的是面向开放人群、开放场景、智能手语动作生成的。 手语不仅包括手部动作,还有唇动和面部表情整个的表达,因为手语是一种视觉语言,跟口语不太一样,有自己的语法,比如“我没有带身份证”,在手语当中不是逐词打的,整个的手语是按照视觉语言,会先打“身份证”“我”“带”“没有”,其次是手语动作是否连贯自然,再就是是否自带面部表情。 ​​华为手语服务​​主要有三个模块。

第一个模块,首先把语音转成文本,这是在日常生活当中经常使用语音转文字的能力,这是比较成熟的技术。 第二个模块,从文本转到手语表达,这里有一个手语翻译的关键技术,利用的是华为公司的自研的语言大模型,再结合手语语言学数据做的,我们跟其他技术不一样的是,我们有训练大模型,在特定语义环境下训练,所以效果非常好。 第三个模块,文本产生3D动作,这是非常难的技术问题,我们是利用了神经网络多模态的模型实现的。当然这个过程当中,我们不仅有人工智能算法和数据,还把手语语言学跟手语翻译、手语生成两个模块进行深度融合,输出3D的动作,最后通过3D虚拟人呈现。要驱动3D虚拟人,还要通过骨骼运动带动肢体运动,再进行3D虚拟人的渲染呈现。 当前的语种只支持中国的手语,后续对英文也有规划。关于词汇也是非常重要的,刚才郑老师也讲了,国家通用词典2019年发布了以后,其实里面收录了8214个词汇,但是实际上还有很多词汇并没有输入,我们跟郑老师一起,把日常生活当中,没有被国家通用词典收录的词进行拓展,当前覆盖了一万多个词汇,当然还会继续增加,预估在明年达到2万的词汇,基本可以覆盖90%-95%的日常词汇。 如果您想将手语服务运用到您的业务场景当中,也支持3D虚拟人定制,比如将穿红衣服的3D小姐姐换个造型。 以上介绍的是​​手语服务​​的关键技术,​​那手语服务的能力在什么场景中应用呢​​?

在To C的应用场景中,​​面向普通消费者,可以降低交流和信息获取难度​​,实现沟通无障碍。

第一, 日常生活。日常生活可以用于比如在家庭、朋友交流的场景。 第二, 教育学习。手语也是有口音和地方标准的,国家一直在推广国家通用的手语,而真正懂或者是非常熟练专业手语的人是非常少的,那么基于国家通用手语标准的华为手语服务,应用于聋人朋友的教育是非常好的。 第三, 用于对社会资讯的获取。比如旅游资讯、就餐、购物等场景。

手语服务在一些To B的场景中也发挥了很大作用。比如国家鼓励或推动在一些行业里进行推广和使用国家通用手语。

第一, 广播电视、直播和转播的场景。 第二,在政务、银行、交通等场景使用。 第三,在大型会议、活动直播等场景使用。 手语服务的产品发布,不是我们的终点,只是我们的起点。希望我们的创新能够推动整个社会信息无障碍持续的进步。 以上就是我的分享,谢谢。 了解更多详情>> 访问​​华为开发者联盟官网​​获取​


​开发指导文档​​华为移动服务开源仓库地址:​


​GitHub​​、​​Gitee​​关注我们,第一时间了解 HMS Core 最新技术资讯~

有关手语服务让信息世界没有障碍的更多相关文章

  1. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  2. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时,它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器?这是不可能的吗?谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  3. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  4. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  5. ruby - 难道Lua没有和Ruby的method_missing相媲美的东西吗? - 2

    我好像记得Lua有类似Ruby的method_missing的东西。还是我记错了? 最佳答案 表的metatable的__index和__newindex可以用于与Ruby的method_missing相同的效果。 关于ruby-难道Lua没有和Ruby的method_missing相媲美的东西吗?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/7732154/

  6. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  7. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem,所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  8. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近,当我启动我的Rails服务器时,我收到了一长串警告。虽然它不影响我的应用程序,但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次?当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗?/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  9. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中,我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常,但在生产环境中它会抛出如下错误,ActionView::Template::Error(noimplicitconversionofnilintoString)在View中,create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  10. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

随机推荐