jjzjj

第12章 增强现实技术

果冻喜之郎 2024-03-08 原文

12.1  增强现实技术概述

12.1.1        增强现实技术

增强现实(Augmented Reality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界合成到现实世界并进行互动。

混合现实(Mixed Reality,简称MR)是虚拟现实技术的进一步发展,该技术包括了增强现实和增强虚拟,指的是介于真实世界和虚拟环境之间的一种新的可视化环境。

增强虚拟是指在虚拟三维场景中叠加现实场景信息,以增强计算机对于环境的认知能力,以虚拟场景为主,现实场景作为补充。

 AR的三个特征:虚实结合、实时交互、三维注册。

  • 虚实结合

虚实结合是指在现实环境中加入虚拟对象,可以把计算机产生的虚拟对象与用户所处的真实环境融合,做到虚中有实,实中有虚。  

“虚”是指用于增强的信息,可以是指虚拟的对象,可以指真实物体的非几何信息,如标注信息、提示等。

  • 实时交互

实时交互是指实现用户与真实世界中的虚拟信息间的自然交互。      

实时是指不管用户身处何地,都能迅速识别现实世界的事物,并在设备中合成,通过传感技术将可视化信息反馈给用户。

  • 三维注册

 AR中的三维注册是指将计算机产生的虚拟物体与用户的真实场景全 方位的对准。在VR中,注册是指呈现给用户的虚拟环境与用户的各种 感官匹配。    

AR系统实时检测用户头部位置和方向,根据这些信息确定所要添加虚拟信息在真实坐标中的位置,使得用户眼前真实景象和虚拟景象保持同步。

VR与AR特征对比

VR

AR

沉浸感(完全虚拟)

虚实结合

交互性

实时交互

想象力

三维注册

1.VR看到的场景和人物全是虚拟的,是把人的意识带入虚拟的世界。

2.AR看到的场景和人物一部分是真实,一部分是虚拟,是把虚拟的信息带入到现实世界中。

12.1.2        AR系统的基本结构

(1)场景采集系统采集真实场景,并传送给虚实合成系统。

(2)头部跟踪系统实时跟踪头部方向和位置信息,并将信息传给虚拟场景发生器。

(3)虚拟场景发生器根据这些数据确定虚拟对象在真实场景中应呈现的大小、方向和位置。

(4)虚拟图像以及在真实场景图像中的位置信息传送给虚实合成系统;

(5)经过虚实合成系统合成带有增强信息的虚实融合场景,显示在显示系统上。

 12.1.3        AR与VR的联系与区别

AR与VR的相同点

 1.都需要计算机生成相应的虚拟信息

 2.都需要用户使用显示设备

 3.都需要与虚拟信息进行实时交互

AR与VR的不同点

1.用户对沉浸感要求不同

2.对注册的意义和精度要求不同

3.对于系统计算能力要求不同

4.侧重的应用领域不同

相比于VR,AR由于技术难度大(尤其光学部分),硬件要求高,目前产品种类不多,价格昂贵,没有形成大规模量产。

移动式VR眼镜

VR头盔与一体机

AR眼镜

产品技术含量

技术含量低

技术含量高

技术含量非常高

对硬件性能的要求

对硬件性能的要求较低,主流智能手机配置即可

对硬件性能要求很多,以高端配置的PC主机为主,GPU要求很高

对硬件性能要求很高,尤其是光学投影与图像处理部分,高端的CPU与GPU,同时需保证硬件的小巧轻便

市场产品种类数量

产品种类多,数量庞大

产品种类一般,数量稍大

产品种类极少,数量极少

价格

售价偏低(50-200美金)

售价偏高(400-800美金)

价格及其昂贵(1000-3000美金,大部分还处于开发阶段)

代表产品

三星GearVR 、 暴风魔镜、乐视VR

Oculus Rift 、HTC Vive、索尼PS VR

微软HoloLens、Meta眼镜

12.1.4        全球AR四大名星

  1. 微软HoloLens:全息眼镜
  2. Magic Leap:光场技术
  3. Meta:双手控制3D内容
  4. 以色列Lumus:波导光学元件

12.2  增强现实核心技术

AR核心技术有三种:显示技术、三维注册技术、标定技术。

12.2.1   显示技术

  • 头盔显示器(HMD)

头盔显示器分为视频透视式显示器和光学透视式显示器两种。

VR中的HMD将现实世界隔离,只能看到虚拟世界中的信息。

AR中的HMD将现实世界和虚拟信息两个通道的画面重叠显示给用户。

 (a)视频透视式显示器      

由安装在用户头盔上的摄像机摄取真实世界的图像,计算机通过对这些图像进行计算处理,将要添加的图像信号叠加在视频信号上,通过视频图像叠加器实现虚拟场景和真实场景的融合,最后显示给用户。  

(b)光学透视式显示器      

用户借助光学融合器部分透明,部分折射的原理完成虚实场景的融合,半透明可以直接透过融合期看到真实世界,半反射可以反射来自上方的显示器显示场景生成器生成的虚拟图像。

 光学投影主要原理方案:Stereoscopic(立体光,技术难度较大,相对成熟)和Light Field (光场,技术难度很大,实验阶段)。

  • 手持显示器

常用手持式显示器设备包括智能手机、PDA等。手持显示器易于携带,避免了佩戴头盔的不适感。

  • 投影显示器

投影式显示是由计算机生成的虚拟信息直接投影到真实场景上进行增强。

12.2.2   三维注册技术

注册:为了实现虚拟信息和真实环境的无缝结合,必须将虚拟信息显示在现实世界的正确位置,这个定位的过程就是注册。

注册的任务:

(1)实时检测用户头部佩戴摄像头的位置和用户视线的方向。

(2)根据检测信息计算出虚拟信息在投影平面中所在的位置。

(3)将这些信息显示在用户视野的正确位置。

AR中的注册技术实质上就是跟踪和定位技术。

性能指标:

(1)精度 (2)分辨率 (3)响应时间 (4)鲁棒性 (5)跟踪范围

AR系统应该具有高精度、高分辨率、延迟小、跟踪范围大,鲁棒性好等特性。

 

12.2.3   标定技术

 标定技术是确定摄像机的光学参数、几何参数、摄像机相对于世界坐标系的方位以及与世界坐标系的坐标转换。

 世界坐标系(在视觉中的定义): 由于摄像机可安放在环境中的任意位置, 在环境中选择一个基准坐标系来描述摄 像机的位置,并用它描述环境中任何物 体的位置,该坐标系称为世界坐标系。

标定的任务就是确定各系统相对真实世界的坐标系变换的关系。

虚实匹配的关键要确定虚拟对象的每个点在真实场景的投影坐标,核心工作就是确定个坐标系之间的转换关系。

12.3  移动增强现实技术

12.3.1   移动增强现实

移动增强现实(Mobil Augemented Reality,简称MAR):增强现实技术在移动设备终端(如平板电脑、手机等)上的应用。

传统增强现实

移动增强现实

虚实结合

虚实结合

实时交互

实时交互

三维注册

三维注册

移动性差

自由、灵活

专业设备

普通移动终端

专业开发

网络APP下载

使用时间特定

随时使用

使用地点是实验室

随地使用

 12.3.2   移动增强现实体系架构

(1)移动终端通过摄像头获取真实场景视频信息

(2)无线网络设备将获取的视频信息传送给服务器

(3)服务器根据接收到的真实场景信息,实现三维注册,根据注册结果计算虚拟对象模型的渲染参数

(4)无线网络将渲染参数传送给移动终端设备

(5)移动终端根据渲染参数进行虚拟场景的渲染绘制,并叠加到真实场景中

(6)将增强后的场景图像信息以可视化形式显示在移动终端

12.4  增强现实的开发工具

AR不是通过摄像头拍摄产生的,准确的说,AR的应用调用了摄像头。      

AR的开发软件有很多,如Unity 3D、Flash、C++等。此外,AR的开发还需要借助专门的SDK(软件开发包)。常用的AR系统开发工具包有ARToolKit、Vuforia、Opencv等。

12.5  增强现实的主要应用领域

娱乐游戏领域、军事领域、教育领域、医 疗领域、电子商务领域、HUD领域、产品装配领域等。

12.6  增强现实技术未来发展趋势

增强现实技术将会是未来的发展方向。

增强现实技术将会是计算机发展的最终形式。

有关第12章 增强现实技术的更多相关文章

  1. Unity 热更新技术 | (三) Lua语言基本介绍及下载安装 - 2

    ?博客主页:https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创,首发于CSDN??学习专栏推荐:Unity系统学习专栏?游戏制作专栏推荐:游戏制作?Unity实战100例专栏推荐:Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正!?未来很长,值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  2. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

  3. ruby-on-rails - 用于门户的 Ruby 技术 - 2

    我刚刚看到whitehouse.gov正在使用drupal作为CMS和门户技术。drupal的优点之一似乎是很容易添加插件,而且编程最少,即重新发明轮子最少。这实际上正是Ruby-on-Rails的DRY理念。所以:drupal的缺点是什么?Rails或其他基于Ruby的技术有哪些不符合whitehouse.org(或其他CMS门户)门户技术的资格? 最佳答案 Whatarethedrawbacksofdrupal?对于Ruby和Rails,这确实是一个相当主观的问题。Drupal是一个可靠的内容管理选项,非常适合面向社区的站点。它

  4. 深度学习12. CNN经典网络 VGG16 - 2

    深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG(VisualGeometryGroup)是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军,定位竞赛冠军;VGG网络采用连续的小卷积核(3x3)和池化层构建深度神经网络,网络深度可以达到16层或19层,其中VGG16和VGG

  5. iNFTnews | 周杰伦18年前未发布的作品Demo,藏在了区块链技术里 - 2

    当音乐碰上区块链技术,会擦出怎样的火花?或许周杰伦已经给了我们答案。8月29日下午,B站独家首发周杰伦限定珍藏Demo独家访谈VCR,周杰伦在VCR里分享了《晴天》《青花瓷》《搁浅》《爱在西元前》四首经典歌曲Demo背后的创作故事,并首次公布18年前未发布的神秘作品《纽约地铁》的Demo。在VCR中,方文山和杰威尔音乐提及到“多亏了区块链技术,现在我们可以将这些Demos,变成独一无二具有收藏价值的艺术品,这些Demos可以在薄盒(国内数藏平台)上听到。”如何将音乐与区块链技术相结合,薄盒方面称:“薄盒作为区块链技术服务方,打破传统对于区块链技术只能作为数字收藏的理解。聚焦于区块链技术赋能,在

  6. ruby-on-rails - 无法构建 gem native 扩展 (mkmf (LoadError)) - Ubuntu 12.04 - 2

    这个问题在这里已经有了答案:Unabletoinstallgem-Failedtobuildgemnativeextension-cannotloadsuchfile--mkmf(LoadError)(17个答案)关闭9年前。嘿,我正在尝试在一台新的ubuntu机器上安装rails。我安装了ruby​​和rvm,但出现“无法构建gemnative扩展”错误。这是什么意思?$sudogeminstallrails-v3.2.9(没有sudo表示我没有权限)然后它会输出很多“获取”命令,最终会出现这个错误:Buildingnativeextensions.Thiscouldtakeawhi

  7. ruby - 使用 OpenSSL ruby​​ 从一个 .p12 文件中提取多个 key - 2

    我想知道如何从Apple.p12文件中提取key。根据我有限的理解,.p12文件是X504证书和私钥的组合。我看到我遇到的每个.p12文件都有一个X504证书和至少一个key,在某些情况下有两个key。这是因为每个.p12都有一个Apple开发人员key,有些还有一个额外的key(可能是Appleroot授权key)。我只考虑那些具有两个key的.p12文件是有效的。我的目标是区分具有一个key的.p12文件和具有两个key的.p12文件。到目前为止,我已经使用OpenSSL来检查X504文件和任何.p12的key。例如,我有这段代码可以检查目录中的所有.p12文件:Dir.glob(

  8. ruby - 使用哪种群发消息技术? - 2

    我感到有点困惑——大约24小时以来,我一直在考虑在我的项目中使用哪种组播技术。基本上,我需要的是:创建组(通过一些后端进程)任意客户端广播消息(1:N,N:N)(可能)直接消息(1:1)(重要)使用我自己的后端(例如,通过某种HTTPAPI)对客户端进行身份验证/授权能够通过后端进程(或服务器插件)踢出特定的客户端这是我要的:Ruby或Haxe中的后端相关流程JS+Haxe(Flash9)中的前端—在浏览器中,因此理想情况下通过80/443进行通信,但不一定。因此,这项技术必须能够在HaxeforFlash中轻松访问,最好是Ruby。我一直在考虑:RabbitMQ(或OpenAMQ)、

  9. ruby - 为什么 openssl 在 windows 上产生错误但在 centos 上不产生错误:PKCS12_parse: mac verify failure (OpenSSL::PKCS12::PKCS12Error) - 2

    require'openssl'ifARGV.length==2pkcs12=OpenSSL::PKCS12.new(File.read(ARGV[0]),ARGV[1])ppkcs12.certificateelseputs"Usage:load_cert.rb"end运行它会在Windows上产生错误,但在Linux上不会。错误:OpenSSL::PKCS12::PKCS12Error:PKCS12_parse:macverifyfailurefrom(irb):21:ininitializefrom(irb):21:innewfrom(irb):21fromC:/Ruby192/

  10. 企业大数据发展面临问题之存算分离技术思考 - 2

    文章目录概述背景为何要存算分离优势**应用场景**存算分离产品技术流派华为JuiceFSHashDataXSKY概述背景Hadoop一出生就是奔存算一体设计,当时设计思想就是存储不动而计算(code也即是代码程序)动,负责调度Yarn会把计算任务尽量发到要处理数据所在的实例上,这也是与传统集中式存储最大的不同。为何当时Hadoop设计存算一体的耦合?要知道2006年服务器带宽只有100Mb/s~1Gb/s,但是HDD也即是磁盘吞吐量有50MB/s,这样带宽远远不够传输数据,网络瓶颈尤为明显,无奈之举只好把计算任务发到数据所在的位置。众观历史常言道天下分久必合合久必分,随着云计算技术的发展,数据

随机推荐