6.1技术路线
首先,根据《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》,结合项目团队自身的研究条件和研究优势,确定“基于AR技术的非遗文化传承与创新研究——以世界级非物质文化遗产‘烟台剪纸’为例”这一课题。其次,研究国内外基于AR对ICH保护现状和发展动态,扬长避短,剖析问题所在,探讨解决方案。再次,团队展开对增强现实(AR)、剪纸建模、APP开发等技术深入的研究,并探索相关技术与利用AR技术对ICH传承创新的契合点。最后,以烟台剪纸为研究目标,研发APP,通过AR眼镜对用户开展沉浸式、真实可控的增强现实体验。
具体研究路线如图37所示:

图37 基于AR技术的ICH传承与创新研究技术路线图
6.1.1剪纸三维模型复原
将准备好的剪纸图纸导入PS中,用魔棒等工具抠除空白部分后,将剪纸图形转换为路径,导出为svg格式的文件,将该文件导入C4D中,通过挤压工具将路径转换为具有厚度的实体,调整厚度即可得到剪纸的模型,添加相应的材质,合适的灯光渲染后可以得到如图38所示的渲染图像。

图38 剪纸建模
6.1.2利用Unity2017.3平台下的AR插件 Vuforia 开发“AR”剪纸
Vuforia是与高通公司的合作产品,致力于虚拟现实的技术。VR和AR的结合在Android端和iOS端表现效果相当不错,并且可以通过终端自带的摄像头进行虚拟现实,同时支持VR和AR的交互工作,达到体验不输给传感器的效果。
Unity2017.3平台开始全面支持Vuforia 7。通过Unity编辑器,开发人员可以直接将各种各样的实物、环境与3D图像混合,对图片、物体、文本和标记的识别和追踪,以及重建环境,开发“AR剪纸”。随后开启移动设备摄像头,通过扫描剪纸识别卡来解锁AR内容。从而开发出跨平台的AR应用。
6.1.3 利用C#编写脚本控制模型动画
可以利用C#语言去编写控制脚本,然后将脚本绑定在Hierarchy中的Cude上,去控制其进行旋转,平移,缩放等运动。
图39 在unity的inspector窗口通过Animator脚本组件实现对object的动画
本项目的动画开发流程设计为:
1.动画片段制作:动画片段是Unity动画系统的基础,片段中包含了对象如何随时间变化其位置、旋转或其他属性的信息。每个片段可以被认为是一个单一的线性记录。源于外部的动画片段由第三方工具(如Max或Maya)制作,或来自运动捕捉等。
2.动画控制器编辑:使用动画控制器来组织动画片段,动画控制器是类似流程图结构的系统(如上图),它内部拥有一个“状态机”,用于控制当前动画片段的播放,以及何时进行不同片段之间的切换,包括动画片段间的插值过渡和混合,动画控制器的内容被保存为后缀名为”.controller”文件进行存储。
3.片段混合设置:一个非常简单的动画控制器可能只包含一个或两个片段,例如控制在正确的时间开门或者关门的动画。更高级的动画控制器可能包含数十种人形动画片段来表现主角的所有动作,同时可以在多个片段之间进行混合,以便为角色在场景中移动时提供流畅的动作。
4.绑定动画与模型:Unity的动画系统还具有一些特殊功能来处理人形动画,使您能够将任意来源(例如运动捕捉,Asset Store中下载或其他第三方动画库)的人形动画重新定位到您自己的角色模型中,同时定义肌肉调整。这些特殊功能由Unity的Avatar系统提供,它将人形角色映射到了通用的内部格式。
5.引用关系:所有的这些内容 - 动画片段、动画控制器和Avatar,它们都通过GameObject上的Animator组件组合在一起。Animator组件具有对动画控制器(Controller)的引用,以及对该模型的Avatar的引用。动画控制器则包含对其使用的动画片段的引用。
6.1.4 5G+AR
从5G应用的角度,在4G考虑人与人的连接的基础上,也考虑人与物、物与物的连接,聚焦于eMBB(增强移动带宽)、uRLLC(超可靠超低时延)、mMTC(海量物联网连接)三大业务特征场景。相比4G主要追求速率,5G则同时关注速率、连接密度和时延三大关键性能指标,其与4G在主要性能指标上的对比如图所示。
图40 5G主要性能指标与4G对比
5G关键性能的实现与无线新技术、网络切片、边缘计算三大核心能力密不可分。
1.无线新技术:无线侧的技术突破使得5G网络支持更高带宽和更低时延,如大规模天线阵列(64天线)、新空口(F-OFDM/Polar/LDPC、灵活的Numerology)等。
2.网络切片:将物理网络划分为多个虚拟网络,每一个虚拟网络根据不同的服务需求,如时延、带宽、安全性和可靠性等来划分,以灵活地应对不同的网络应用场景;与传统网络相比,网络切片通过灵活的网络资源组合,实现按需购买差异化服务品质。
3.边缘计算:随着通信网络的发展,运营商原有核心网集中式部署无法满足新业务需求,网络随业务流向边缘迁移是产业趋势,这对于运营商而言是一种网络架构和业务模式的创新。并且通过按需在地市/客户侧园区级按需就近部署边缘计算(MEC)节点实现内容与应用的下沉,满足垂直行业客户低时延、数据不出厂等定制化需求的网络结构成为5G时代行业专网建设的主要形态。
5G通信技术能够与云计算技术实现有效对接。云计算技术对通信技术发展起着至关重要的技术。将5G技术与云计算技术进行有效融合,可以增加网络通信的计算形式,有效提高系统服务水平。现如今,国民的生产与生活日益趋向通信客户端方向发展,5G技术的应用范围将会更加广泛。通信网络的发展也逐渐趋向低能耗、高智能,用户在网络体验方面将会变得更加完善与具体,进而为通 信用户提供更优质的服务。
6.1.4.1 5G无线关键技术
5G国际技术标准重点满足灵活多样的物联网需要。在OFDMA和MIMO基础技术上,5G为支持三大应用场景,采用了灵活的全新系统设计。在频段方面,与4G支持中低频不同,考虑到中低频资源有限,5G同时支持中低频和高频频段,其中中低频满足覆盖和容量需求,高频满足在热点区域提升容量的需求,5G针对中低频和高频设计了统一的技术方案,并支持百MHz的基础带宽。为了支持高速率传输和更优覆盖,5G采用LDPC、Polar新型信道编码方案、性能更强的大规模天线技术等。为了支持低时延、高可靠,5G采用短帧、快速反馈、多层/多站数据重传等技术。
6.1.4.2 5G网络关键技术
5G采用全新的服务化架构,支持灵活部署和差异化业务场景。5G采用全服务化设计,模块化网络功能,支持按需调用,实现功能重构;采用服务化描述,易于实现能力开放,有利于引入IT开发实力,发挥网络潜力。5G支持灵活部署,基于NFV/SDN,实现硬件和软件解耦,实现控制和转发分离;采用通用数据中心的云化组网,网络功能部署灵活,资源调度高效;支持边缘计算,云计算平台下沉到网络边缘,支持基于应用的网关灵活选择和边缘分流。通过网络切片满足5G差异化需求,网络切片是指从一个网络中选取特定的特性和功能,定制出的一个逻辑上独立的网络,它使得运营商可以部署功能、特性服务各不相同的多个逻辑网络,分别为各自的目标用户服务,目前定义了3种网络切片类型,即增强移动宽带、低时延高可靠、大连接物联网。
6.1.5.3 利用5G强大的云计算能力
AR影像通信系统架构包括用户客户端、5G核心网、边缘云服务和云服务,客户端用于采集用户AR人像并呈现。依赖5G的低延时和强大的无线传输能力,AR影像通信数据的传输将更加流畅,清晰度也可进一步提高;同时,通过5G网络将部分渲染工作交给能力更强的云计算服务完成,最终实现内容上云、渲染上云、运算上云;AR影像通信应用场景的多样化对5G网络提出了不同的性能和功能要求,5G核心网通过网络切片技术拥有向业务场景适配的能力,针对不同业务场景提供恰到好处的网络控制功能和性能保证,实现按需组网,基于SDN/NFV(软件定义网络/网络功能虚拟化),为不同切片提供对应的QoS服务。
通过将内容与远端场景渲染的业务层的内容全部下沉到5G边缘云。5G边缘云服务器可以位于单个5G基站之后(针对特定热点区域)或部署在多个5G基站的汇聚节点之后。通过边缘云服务器强大的边缘转码和计算能力,可以更好更快的实现复杂的本地AR影像场景渲染。另一方面,通过将行业业务数据与AR影像通信技术有机融合,使得技术与业务绑定更为紧密。
图41 5G云计算与AR
6.2拟解决的问题
课题组针对于剪纸的三维模型进行复原,利用C#编写脚本控制模型动画,尝试更真实的还原烟台剪纸并增加更多的交互设计,使用户更加沉浸于其中。再利用Unity2017.3开发平台下载高通AR插件 Vuforia Developer Portal对图片、物体、文本和标记的识别和追踪,以及重建环境,开发“AR剪纸”。随后开启移动设备摄像头,通过扫描剪纸识别卡来解锁AR内容。最后用 Unity2017.3平台发布安装包,将此APK下载安装到与改造后的5G+AR头戴式设备(Hololens),运行后进入识别环境,就能看到自己感兴趣的对象。
课题拟解决的关键问题如下:
1.针对于如何丰富非物质文化遗产“烟台剪纸”相关资料的问题,课题组拟决定联系烟台剪纸传承基地——李强剪纸研究室,朱曼华剪纸艺术工作室等传承基地,与专家进行交流学习,得到专业的指导。
2.针对于剪纸三维模型复原的问题,课题组拟先进行实物观察,理解其外观及内涵,再利用建模软件进行三维模型复原,针对于剪纸中细微的地方尽力做到一比一复刻。
3.针对于利用C#编写脚本控制模型动画的问题,课题组拟用C#语言去编写控制脚本,然后将脚本绑定在Hierarchy中的Cude上,去控制其进行旋转,平移,缩放等运动。尝试更真实的还原烟台剪纸并增加更多的交互设计,使用户更加沉浸于其中。
4.针对于利用Vuforia制作AR剪纸素材的问题,课题组拟利用用Unity2017.3开发平台下载高通AR插件 Vuforia Developer Portal对图片、物体、文本和标记的识别和追踪,以及重建环境,开发“AR剪纸”。随后开启移动设备摄像头,通过扫描剪纸识别卡来解锁AR内容。
5.针对于将该项目设计的APP移植到AR头戴式设备的问题,课题组拟采用 Unity2017.3平台发布安装包,将此APK下载安装到与改造后的5G+AR头戴式设备(Hololens),运行后进入识别环境,即可观察对象。
6.3预期结果
1.研究报告一篇。
2.成功申请软件著作权1项。
3.发表论文一篇。
4.参加比赛获得省部以上奖励。