详情

基于AR技术的非遗文化传承与创新研究——以世界级非物质文化遗产“烟台剪纸”为例

申报人:潘青晨 申报日期:2022-04-03

基本情况

2022
基于AR技术的非遗文化传承与创新研究——以世界级非物质文化遗产“烟台剪纸”为例 学生申报
创新训练项目
工学
计算机类
学生自主选题
一年期
本项目拟设计和开发一套针对非物质文化遗产(ICH)传承模式的APP,该项目核心部分拟通过AR技术实现,网络传输方面采用5G传输技术。该APP可以与AR终端设备(如眼镜)配合使用,将虚拟的信息通过与现实的空间叠加,从而构成交互式画面。5G通信技术具有大容量低延时技术优势,可以提升AR传输数据容量和多媒体内容的实时加载速度,可以增强用户的真实感体验。烟台剪纸有着较高的艺术研究价值,因此以烟台剪纸为例。

1. 参与校内计划书撰写技巧及PPT制作技巧技能培训

2. 参与“互联网+”,“挑战杯”等赛制、规则解读培训。

3. 有过参与全国大学生电子设计竞赛“智能送药小车”题目解决的经验

4.  有过参与大学生创新创业大赛的经历参赛题目为U 医佳-基于窄带物联网技术及多传感器融合技术的低功耗智能药箱”。 

一、课题

1.无源辅助802.1x的井下定位与通信系统的研究和开发(2015ZH062),烟台市科技发展计划项目,2015.06-2017.06, 1/5

2.创新创业实践,校级混合式教学改革立项课程,2017.12-2019.12, 1/9

3.校企联合创新孵化基地,(201602011036),教育部产学合作协同育人项目,2016.12-2018.01,教研,1/4

4.基于混合式课程的高校创新型人才培养体系研究与实践,(201801065007),教育部产学合作协同育人项目 ,2018.08-2019.12,教研,1/5

5.新工科校园众创空间创新人才培养基地,(201801284008),教育部产学合作协同育人项目, 2018.08 -2019.12,教研,1/5

6.以建设国家级一流本科专业为契机,打造地方院校计算机类人才培养实践基地研究与实践”,教育部产学合作协同育人项目,2020.12-2022.06,1/4

7.基于IPv6和WSN的实验室安全主动预警平台研究与开发,赛尔网络下一代互联网技术创新项目,2017.12-2019.12

8.基于DNN和rVSM的软件缺陷静态定位模型研究,2018年山东省高等学校科技计划2018.06-2020.06

9.基于6LoWPAN的渔业水环境检测信息监控平台研究与开发,赛尔网络下一代互联网技术创新项目,2018.12-2020.12

二、获奖

1.新工科背景下计算机类专业系统能力培养模式的研究与实践,山东省省级教学成果奖,一等奖,2018,5/10

2.2013年全国大学生电子设计竞赛国家一等奖;

3.2013年全国大学生电子设计竞赛家二等奖;

4.2013年全国大学生电子设计竞赛山东省优秀指导教师;

5.2004年山东省高等学校实验教学与实验技术成果三等奖;

6.2009年中国煤炭工业科学技术奖三等奖;

7.2010年中国煤炭工业科学技术奖三等奖;

8.2010年山东省科学技术进步奖贰等奖;

9.智能猫眼,创青春省赛,银奖2016

10.简易电子秤,全国大学生电子设计大赛,省级,一等奖,2016

11.自适应滤波器,全国大学生电子设计大赛,省赛,一等奖,2017

12.可见光室内定位装置,全国大学生电子设计大赛省赛,一等奖,2017

13.基于IPv6的家庭安防系统,2018C4网络技术挑战赛,三等奖,2018

14.基于Type-C的便携仪甲醛测试仪,2018iCAN省赛,二等奖,2018

15.第七届山东省大学生科技创新大赛,二等奖1项,三等奖1项,银牌指导教师

三、专利

ZL 2017 2 0905877.4

ZL 2017 2 08788356.4

ZL 2016 2 0321269.4

ZL 2016 2 0320581.1

ZL 2019 2 1652254.6

1.提供对系统设计的建议和部分修改意见。

2.提供引导系统进行APP测试所需要的物理条件。

3.项目组成员组织协调上的支持:包括任务分配、人员变动等。

4.项目经费使用上的监管:劳务费发放、实验费用支出等。

5.项目实施过程中技术上的指导:包括资料调研、实验设计、平台搭建、数据分析、论文撰写及投稿等。

国家级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
潘青晨 计算机科学与技术学院(人工智能学院) 数字媒体技术(校企) 2021 项目负责人,软件设计
栾吉宁 计算机科学与技术学院(人工智能学院) 软件工程 2021 软件设计
周川智 计算机科学与技术学院(人工智能学院) 人工智能 2021 3D建模
韩露 计算机科学与技术学院(人工智能学院) 数字媒体技术 2020 3D建模
魏源辰 计算机科学与技术学院(人工智能学院) 数字媒体技术 2021 软件开发
钟晓洁 计算机科学与技术学院(人工智能学院) 网络工程 2021 网络技术支持

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
李大社 计算机科学与技术学院(人工智能学院)

立项依据

2.1 AR+5G技术如何解决ICH传承的问题

本项目针对AR+5G技术,如何解决ICH传承的问题展开研究。利用沉浸式的ARAugmented Reality)物理环境和通过移动设备获取的数字信息结合在一起的方式作为“媒介”,将虚拟数字信息叠加在现实环境中,并实时渲染呈现在智能终端显示器中,从而达到现实环境增强信息的效果。而5G关键技术可以提升AR系统的性能带来更好更强的观感。

2.1.1 AR对于ICH传承的促进作用

1.AR能够打造出一个真实感极强的虚拟与现实融合世界,把观众带入非物质文化遗产的世界之中,新颖的形式也能够吸引一大批年轻人,激起更多人了解非物质文化遗产的欲望,促进非遗的传承。

  2.基于AR技术创造的内容在形式上可以实现多样化,可以是音频、视频、游戏、沉浸式体验等,能够适应不同人群的需要和口味,让大众能在非遗得到保护的情况下从多个方面深度接触非遗项目。

3. AR技术特有的互动性提高了大众的参与度。遥不可及的非物质文化遗产成了触手可及的文化产品,过去只能隔着屏幕、隔着书本了解的东西,如今可以亲身体验。在互动过程中,观众的主观能动性被调动起来了。

2.1.2 5G的发展对于AR与ICH传承的促进

随着5G时代的到来和国家对于虚拟现实技术的大力支持,AR技术将迎来长足发展。“十四五”时期,要进一步加强非遗系统性保护,健全非遗保护传承体系,提高非遗保护传承水平,加大非遗传播普及力度,推动非遗保护事业取得更大进步。在中国联通研究院看来,首先5G可以可观的提升AR传输数据容量:5G网络能够提供包括高频毫米波在内的MIMO技术、多频谱能力,可为人工集中区域提供更充裕的网络容量。而现存的各类其他硬件产品都不支持5G,仅支持Wi-Fi或4G。为了应对这一问题,课题组利用5G CPE设备。其可以将5G信号转化为Wi-Fi信号,现存产品就可以通过Wi-Fi连到5G CPE,再连上5G网络。

与其Wi-Fi、4G等无线网络技术不同的是,5G能提供上下行大带宽能力、确定性的低时延、高精度的定位以及移动性,能真正提升AR体验。5G网络对于AR设备与远程计算资源的连接也至关重要,可以让AR头显变得更加小巧,不用连接实体线。此外,5G是无处不在的桥梁,能将AR体验和其他设备,如其他AR用户、物联网设备和数据库整合在一起。

2.1.3运营商在推动的5G+AR应用

5G发展方面,目前许多城市5G规模部署,完全可以支持AR应用。截止202110月底,我国5G基站建设总数超过129万,占全球基站总数的70%以上,是全球规模最大、技术最先进的5G独立组网网络,全国所有地级市城区、超过97%的县城城区和50%的乡镇镇区实现5G网络覆盖;5G终端用户达到4.5亿户,占全球80%以上。5G在经济社会各领域的应用示范项目已经超过1万个,这事都为产业应用的普及奠定了基础。

2021年5G建设将保持适度超前的态势。业界普遍认为适度超前建设符合公共基础设施的普遍特点,尤其是结合移动通信2G、3G、4G的技术发展规律来看,都实现了支持产业快速成型的目的。2021年四大电信运营商将持续加大5G网络投资力度,预计将是2020年的1.5到2倍。此外,国家和地方对5G基础设施建设都大力支持,部分省市针对2020-2022年5G建设计划进行了明确,2022年5G基站建设将会达到一个高潮,2021年保持稳步推进的趋势。

1部分省市2020年对比于2022年5G基站建设计划(万个)

2部分省市2020年对比于2022年5G基站建设计划(万个)

1. 韩国运营商LG U+推出了Kakao Navi服务

韩国运营商LG U+推出了Kakao Navi服务,能够为司机提供车道级导航,比GPS定位更加精准。5G定位也适用于室内场景,比基于GPS的地图更具优势。AR设备上的外向传感器还可以为司机提供潜在危险提醒。

3车道级导航显示

2. 巴塞罗那的旅游巴士安装AR屏幕

运营商Telefónica与内容伙伴Mediapro和当地运输公司TMB合作,在巴塞罗那的旅游巴士上安装了AR屏幕。5G网络能提供基于地理位置的富媒体内容直播,为游客带来互动式体验。

3. 沃达丰意大利的5G联网救护车使用AR技术

沃达丰意大利的5G联网救护车也使用了AR技术,让救护车人员可通过AR获得相关程序指导,通过其“见我所见”功能获得医院人员的远程协助。

4. Verizon与多家伙伴合作开展5G现场急救实验室项目

Verizon正与多家伙伴合作开展5G现场急救实验室(5G First Responder Lab)项目。Qwake是其中一家合作伙伴,他们为消防人员提供专用AR头盔。该头盔配备红外线摄像头,能够让视线穿透烟雾,并利用相关数据形成增强现实图像,在肉眼难以看清的环境中为消防员导航。

2.1.4 5G具有以下技术特点可以提升AR性能

1.峰值速率可以达到10Gbps,可以满足高清视频、虚拟现实(如AR)等大数据量传输。

2.空中接口时延低至毫秒级,可以满足自动驾驶、远程医疗,AR等实时应用。

3.具备百万连接/平方公里的设备连接能力,满足物联网通信。

4.频谱效率要比LTE提升5倍-15倍。

5.连续广域覆盖和高移动性下,用户体验速率达到0.1-1Gbps。

6.流量密度达到30Tbps/km以上。

7.移动性支持500km/h的高速移动。

 

4  5G之花

 性能和效率需求共同定义了5G的关键能力,犹如一株绽放的鲜花。红花与绿叶相辅相成,其中花瓣代表了5G的六大性能指标,体现了5G满足未来多样化业务与场景需求的能力,而花瓣顶点代表了相应指标的最大值;绿叶则代表三个效率指标,是实现5G可持续发展的基本保障。

2.2 AR所提供人机实时交互的特性对于ICH传承作用

本项目针对于AR所提供人机实时交互的特性对于ICH传承作用展开研究。这种类型的互动中,受众不仅要注意非物质文化遗产展品的物理特性,还要与历史背景或文化背景进行互动,即无形内容的情感互动,从而提供更深入的参观学习体验。AR是一种保存历史和促进大众积极学习体验的新方式。在 ICH 传播中使用 AR 技术为增加个人间的互动和娱乐性学习提供了新的机会,也使传播过程加活跃、有效和有意义。

2.3我国的非遗工作面临的难点

1.传承人的人数不足。

非物质文化遗产的核心和最宝贵的资源就在于传承人,不少传承人因年龄已高,传承人不断减少,传承其所掌握的技艺后继乏人,众多非物质文化遗产正面临灭绝的危险。

2.传播形式有待提高。

国内大部分非物质文化遗产保护工作还停留在拍照、采访、口头讲述、实物收藏等形式上。这些保护手段曾经的确保存下了一大批珍贵的非物质文化遗产资料,但随着时间的推移,受损的实体资料、老旧的照片和抽象的口头记录无法完全肩负起保护与传承的重任。

3.宣传内容缺乏深度。

目前许多推出的非遗宣传活动仅仅停留在形式层面,内容缺乏深度和内涵。

4.传承人群的学习与传承创新问题。

非遗的传承人和所有人一样,都有学习新知识的权利。并不因为是传承人就不需要学习,更不是承担了传承的义务就必须放弃学习新知识的权利。

5.数字化保护与传承力度不平衡。

目前,发达地区的非物质文化遗产工作较多已经采用上数字技术,但偏远地区很多非遗项目无人问津,许多非遗传承人没有意识到要通过现代手段进行宣传和保护,最后陷入“了解人数少——难以传承——了解人数更少”的恶性循环。

2.4目前非遗文化社会需求

非物质文化遗产的传承保护不能是一种僵化死板的保护,而应该是一种“活态传承”,应挖掘非遗的社会需求、经济需求、人文需求并合理利用,让非物质文化遗产投入社会各领域的运作,以实现更加有效、有利的传承和发展。

全国政协文化文史雒树刚认为,非物质文化遗产既是凝聚人心的纽带,又是满足人民精神文化生活需求,增进民生福祉的重要内容。人民群众关心非遗、了解非遗的意愿更加强烈,自觉参与非遗保护传承的意识不断增强,将为非遗保护营造出更浓厚的社会氛围。

课题组以发布在线问卷调查的形式进行调研,拟了解大众对于AR与非遗结合的接受程度以及非物质文化遗产的认知情况与需求(问卷详细数据参照附录1)。

本次调研问卷,共发放问卷325份,回收问卷323份,其中有效问卷320份。(问卷网址:https://www.wjx.cn/vj/hs1nn1n.aspx男女比例平均,性占48.75%。受众年龄集中于18至25岁之间,占总体的73.75%。大学生及以上学历占比73.75%85%的人认为自己对于非物质文化遗产比较了解,略知一二。92.5%的人认为5G与AR结合是可行的。 如果有一款AR技术与虚拟模型互动介绍剪纸文化的APP受众对制作的工艺手法剪纸种类及其风格历史文化背景用途以及功能部分感兴趣,并且大部分人愿意通过好的用户体验,掌握一些非遗知识技艺。受众认为AR/VR等数字技术作为宣传非物质文化遗产的媒介有优势的,形式新颖,会吸引很多人体验视频,游戏,沉浸式体验等能满足不同人群的需求其互动性可以提高大众的参与度以及国家对于虚拟现实技术的大力支持。受众认为目前非物质文化遗产传承收到的阻碍因素外来、现代文化发展冲击民众保护意识不足传统技术难以掌握宣传推广力度较小以及缺乏系统的传承教育等。


5 男女比例


6 年龄比例


7 职业分布


8 受众对于非物质文化遗产的认知情况

9 受众对于5GAR结合可行度的认知


10 受众对于一款运用AR技术与虚拟模型互动介绍剪纸文化的APP感兴趣的部分


11 AR/VR等数字技术作为宣传非物质文化遗产的媒介优势


12 受众认为目前非物质文化遗产传承到的阻碍因素

3.1基于AR技术的ICH传承模式的创新

课题组针对于党的十九大报告提出“加强文物保护利用和文化遗产保护传承”,对保护和传承民族文化遗产高度重视,因此,提出运用AR技术创造ICH在传承上的创新。

AR借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象准确"放置"在真实环境中,借助显示设备将虚拟对象与真实环境融为一体,并呈现给使用者一个感官效果真实的新环境。充分发挥增强现实系统所具有虚实结合、实时交互、三维注册的特点实现ICH传承模式的创新。

3.2基于C4D建模软件对“烟台剪纸”进行3D建模复原

课题组利Maxon Cinema 4D 25建模软件对烟台剪纸经典作品进行建模,实现三维复原模型。三维建模设计制作的过程当中,通过多个繁杂的步骤,尤其是在对三维建模进行着色和渲染等操作,就可以得到剪纸效果图,可以使用户在现实中接触不到“烟台剪纸”的情况下,可以多方位的去研究烟台剪纸的细节,对其进行旋转,缩放,移动等操作。

3.3基于5G网络提高AR系统性能,适应本项目要求

3.3.1目前AR所面临问题

1.数据传输速率及时延——对于虚拟现实应用程序或沉浸式游戏,帧信息需要在低于20毫秒的延迟下发送,若延迟过高,则会导致受众在体验AR时产生恶心以及头晕目眩等不良反应。3D图像渲染数据量是相当大的数据块,需要从某些内容交付网络(CDN)端点通过塔传输到用户设备并呈现。

2.数据拥塞——AR场景的并发用户数量过高时,因AR场景提供的4K甚至更高的超清视频将大量消耗网络带宽,从而导致网络数据的拥塞。

3.3.2 5G将为AR系统带来提升

1.网络改进:如更广泛的无线电信道,载波聚合等。这将满足网络对信息的高要求。与4G相比,5G带宽更高,频谱效率更高。这对于提供高清视频和其它内容以及360度视频至关重要。

2.更高的网络密度:此功能通常与物联网,智能城市等相关联。沉浸式体验将许多其它技术用作传感器网络的一部分,从而创建更丰富,更具情境化的体验。

3.超低延迟:这将使高保真内容更加的清晰,并使交互更加无缝快捷。增强现实(AR)和虚拟现实技术将对我们在个人生活和工作中消费内容的方式产生变革性影响。

 

13 5G性能与4G性能对比

3.4基于轻量级AR可穿戴无线设备

课题组在对于AR可穿戴设备的选择上,选择了AR增强现实头戴设备,如微软的Hololens,Vuzix M100,ODG R-7等。AR眼镜可以将虚拟内容与现实世界相叠加,可以实现达到超越现实的感官体验。而且相比于智能手机实现AR,AR眼镜可以更好地展现该项目所设计与开发的APP的内容,更大程度上的实现人机互动,娱乐性学习以及更强的沉浸感。

1. HoloLens

HoloLens使用的传感器是一种高效节能的深度摄像头,具有120°×120°的视野。传感器提供的其他功能包括头部跟踪,视频拍摄,以及声音捕捉。除了高性能的CPU和GPU,HoloLens带有全息处理器(HPU)这一协处理器用于从所述的各种传感器集成数据,并处理诸如空间映射,手势识别和语音识别的任务。改变了传统的有线式AR可穿戴设备,避免了AR数据包中因包含过多的3D模型而造成的数据传输延时的问题,从而使用户有更好的体验性。

 

14 HoloLens

2. Vuzix M100

Vuzix M100内置了Android系统,并且配置了一块400×240像素分辨率的屏幕,可以通过蓝牙与Android或者iOS设备进行连接。使用这部智能眼镜我们可以接听电话、查看短信、邮件。同时还可以将应用的图像显示在显示屏上。我们可以使用它来进行导航,网页浏览,增强现实或者其他类型的应用。Vuzix还配置了GPS、三轴陀螺仪、电子罗盘,利用这些来跟踪我们的行动。

15 Vuzix M100

Vuzix M100拥有和谷歌眼镜一样的摄像头,支持720p分辨率视频录制。其他方面这款产品搭载了TI OMAP4430处理器,1GB RAM,4GB机身内存,支持microSD卡扩展。M100在免提模式下可以使用8小时,在屏幕显示内容的情况下可以使用2小时。

3. ODG R-7

这款ODG R-7智能眼镜搭载了Android系统以及高通骁龙处理器,同时并不需要与智能手机配合使用,而且体积相对更加小巧。

ODG R-7配备了主频高达2.7GHz的高通骁龙8084四核处理器和4GB RAM,机身存储容量在16-128GB之间。软件方面,ODG R-7运行的是基于Android 4.4 KitKat的Reticle OS操作系统,并根据头戴式设备的要求对系统架构进行了优化。ODG R-7的屏幕分辨率为1280×720,每秒刷新了高达100帧,而且由于采用了半透明设计,在佩戴时用户的视线并不会被完全阻挡。

ODG R-7的镜腿部分也支持拆卸,并内置有支持OTG的USB接口,同时鼻托也能够根据不同面部形状来进行调节。另外,ODG R-7还配备了支持连接耳塞的磁性立体声音频输出接口以及可拆卸的变色镜片。在鼻夹上方ODG R-7还搭载了一个支持自动对焦的720p摄像头,能够与虚拟现实App搭配工作。

16 ODG R-7

3.5基于Unity2017.3平台AR APP的开发

课题组利C#编写脚本控制模型动画,在Unity2017.3开发平台,下载高通AR插件 Vuforia Developer Portal(Vuforia的特性是对图片、物体、文本和标记的识别和追踪,以及重建环境,它支持iOS 和Android平台)开发AR剪纸。开启移动设备摄像头,通过扫描剪纸识别卡来解锁AR内容。用 Unity2017.3平台发布成(安装包,命名为HXPY),将此APK下载安装到任何智能设备,运行后进入识别环境,就能看到自己感兴趣的对象。

文化的保护一直是研究的热点,特别是对于ICH的传承与保护。与有形的物质文化遗产相比,无形的非遗难以找寻合适的保护方式和传承方式。对于物质文化遗产的数字化保护,世界各国以及联合国教科文组织已经做了大量的工作,然而对于非物质文化遗产的数字化保护,很多国家,尤其是中国,才刚刚起步。究其原因主要是由于非物质文化遗产大多是长期经验的积累,主要靠口传心记、言传身教传承,具有活态性、生态性、传承性、变异性等特殊性质,保护难度较大。

4.1 国内基于AR对ICH保护现状和发展动态

目前,国内已经涌现出很多基于AR/VR技术去进行非物质文化遗产的传承与创新,并且在一定程度上吸引很多人体验,提高了大众对于ICH保护的参与度。但大多数项目是以手机APP作为载体,去利用AR技术实现ICH的宣传,其互动性,趣味性以及所提供的沉浸感相比于利用AR眼镜都相差一截。课题组拟利用AR头戴设备去更好地展现该项目所设计与开发的APP的内容,更大程度上的实现人机互动,娱乐性学习以及更强的沉浸感。

4.1.1 睟颜APP AR京剧人物

睟颜是一款以介绍与推广京剧为目的的APP,其中佐以iOS平台的AR技术,AR京剧人物采用国画笔锋加上现代动漫风格,只要点击AR功能就会有一位栩栩如生的“角儿”平地而起在你眼前唱念做打。该APP所创建的角色以及故事十分具有特色,但没有实现Android系统的普及。


 17《睟颜》界面


图18创作人物形象1


19 创作人物形象2


图20 创作人物形象3

 

21《睟颜》选取的经典剧目

22 睟颜APP中的AR京剧角色“白玉堂”

4.1.2《大花脸AR脸谱》

京剧表演艺术家、“京韵歌后”储兰兰专门为小朋友们精心推出了《大花脸AR脸谱》,是首次将AR技术运用在国粹艺术上的一本画册,选取了京剧版《大闹天宫》中10个经典场景,为16个京剧脸谱人物进行AR技术嫁接。 这样一款与众不同的画册达到了寓教于乐,普及京剧艺术的效果,深受小朋友喜爱。该APP的场景十分惊艳,但其受众范围过窄。

23《大花脸AR脸谱》配合手机APP使用


24《大花脸AR脸谱》手机APP界面


图25《大花脸AR脸谱》人机互动

4.1.3《白蛇传》

杭州宋城景区推出AR导游“小青”,游客可以通过宋城导览APP召唤虚拟导游之一“小青”,游客通过“小青”的实景导航和专业介绍能够更深度地游玩和了解宋城景区。

 

26 AR导游“小青”

4.1.4《木兰传说》

艺术游戏绘本《AR中国经典故事:花木兰》,在大家耳熟能详的花木兰从军故事基础之上增加了AR互动游戏,添加了互动性与趣味性。

 

27AR中国经典故事:花木兰》绘本页面

4.1.5格萨尔王AR游戏

国家科技支撑计划项目“基于增强现实互动的西藏主题动漫游戏关键技术集成与应用示范”子课题“增强现实互动关键技术研究”(项目编号:2012BAH61F03)。

作为我国北方游牧民族三大史诗之一的《格萨尔王》,历史悠久结构宏伟,内容丰富,流传广泛。数字素材通过游戏引擎加工成可以和用户进行互动的APP,分别构建了知识性游戏和娱乐性游戏两个模块。


 28《格萨尔王》游戏界面


29《格萨尔王》游戏AR效果

4.2 国外基于AR对ICH保护现状和发展动态

  国外对于非物质文化遗产的数字化保护早于中国,并且对于参观者基于展馆空间的客观因素限制,难以全方位欣赏文化古迹的问题衍生出AR博物馆,AR向导,通过实时交互与三维沉浸融入式体验,助力文化遗产的数字化传播。并且利用数字化的视觉呈现实现古迹虚拟重建与再现。激发大众积极参与非遗文化传统知识的探索和文化互动式体验中。课题组受其启发拟利用增强现实技术去实现对于中国传统非遗文化的发掘与传承,并结合5G关键技术以及其强大的云计算能力对于AR技术的性能提升,给用户带来更好的体验。

4.2.1 ARCHE0GUIDE 项目

EUIST 支持的,一些欧洲组织参与的ARCHE0GUIDE,为文物遗迹提供了可交互的、个性化的增强现实(AR)向导。

这个系统由计算机服务器、无线网络、个人数据助理(PDA)客户端组成,其目的是使游人可以在现场看到古迹复原的效果,如图30、图31所示Hera 神庙AR实景再现的效果。

 

30 Hera 神庙AR实景再现前


图31 Hera 神庙AR实景再现后

4.2.2庞贝古城的文化遗产数字化

 

32 庞贝古城

瑞士日内瓦大学研究人员研宄利用数字动画、虚拟现实等数字技术,对代表欧洲文化特色的庞贝古城的有关活态传统文化、文化事项进行数字化的视觉呈现,主要包括可视化、情境化的三维角色、三维动画、虚拟古建筑场景、关键活态事件与体现当时特色文化元素的服饰、发型等虚拟重建与再现(如图33所示),并最终利用增强现实技术(AR)将这些虚拟的数字文化内容信息叠加在现实的庞贝古城文化遗迹环境中,使用户能在真实的文化遗迹现场环境中体验到遗迹背后的历史情境。

 

33 当时特色文化元素的服饰、发型等虚拟重建与再现

4.2.3罗马的PALAZZO MADAMA

意大利罗马的PALAZZO MADAMA,博物馆全程增强现实技术(AR)伴随,体验渗透在馆内的每一个地方,无论是进门指示,还是路标,无论是视频讲解,还是全息投影人物,都给人们在博物馆的旅程充满了乐趣。

 

34夫人宫中AR视频讲解

4.2.4纽约NOMA博物馆

纽约MOMA博物馆AR应用很有意思。来自全球的参与者可以提前在线上提交自己的作品。而它们随后被内嵌于博物馆的虚拟空间里,成为了一个叠加在常规展之上但又不甚相关的“隐藏展览”。现场的参观者必须通过特定的APP来召唤出这些有意思的展品。

   

    图35 隐藏展览

4.2.5土著舞蹈游戏

美国西北大学的和澳大利亚德邦大学探索了一种AR利用技术、运动捕捉技术将土著人的舞蹈、土著人体彩绘和土著人原来的居住环境等土著传统文化进行可视化呈现的游戏娱乐装置,用于帮助、激发小孩积极参与土著文化传统知识的探索和文化互动式体验。

 

36 小孩积极参与土著文化传统知识的探索和文化互动式体验

课题组在分析了现阶段国内外基于AR对ICH保护现状和发展动态,结合中国非物质文化“烟台剪纸”的现状,提出了数字化ICH传承与创新,并基于5G和AR技术的结合,去实现沉浸式的互动APP,用于帮助、激发用户积极参与非遗文化知识的探索和文化互动式体验。

5.1 基于AR技术的ICH传承模式的创新

本项目通过增强现实AR技术,把虚拟的信息应用到真实世界、真实的环境中,并将虚拟的物体实时地叠加到同一个画面或空间内,构成交互式的3D图像画面,使用户可以感受烟台剪纸魅力,得到最真实的体验及感受。并且该项目积极的响应了国家对于“非遗文化”创造性转化、创新性发展的政策。

5.2 基于AR技术培养新媒体环境下的“传承人”

人是传承实践的主体,非遗传承的关键在于培养人才和持续实践。AR特有的视听盛宴能够打造出一个真实感极强的虚拟世界,把观众带入非物质文化遗产的世界之中,新颖的形式也能够吸引一大批年轻人,激起更多人了解非物质文化遗产的欲望,促进非遗的传承。大众能在非遗得到保护的情况下从多个方面深度接触非遗项目,而AR技术特有的互动性大大提高了大众的参与度。

5.3 5G+AR+ICH

动作跟踪延迟导致眩晕的问题,视野范围过小问题,分辨率低导致的颗粒感问题,还有因机能限制导致的画面过差问题。这些问题都是制约AR发展的主要原因之一。

目前AR产品之所以出现动作跟踪延迟、分辨率低、视野范围小,都与网络的流畅性有着极大的关系。而当前的4G网络的时延大概在40毫秒左右,根本无法让用户在移动的环境中得到很好的AR产品体验。

相比于4G网络,5G网络的峰值理论传输速度可达每秒数10Gb,这比4G网络的传输速度快数百倍,5G网络的覆盖,意味着更低的延迟,在更短的时间内传输更大的数据量,也为三维创造了良好的条件。以上提到的关于AR产品的这些痛点将在很大程度上得到解决,从而用户的体验也能够进一步得到提升。

6.1技术路线

首先,根据《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》结合项目团队自身的研究条件和研究优势,确定基于AR技术的非遗文化传承与创新研究——以世界级非物质文化遗产‘烟台剪纸’为例”这一课题。其次,研究国内外基于AR对ICH保护现状和发展动态,扬长避短,剖析问题所在,探讨解决方案。再次,团队展开对增强现实(AR)、剪纸建模、APP开发等技术深入的研究,并探索相关技术与利用AR技术对ICH传承创新的契合点。最后,以烟台剪纸为研究目标,研发APP,通过AR眼镜对用户开展沉浸式、真实可控的增强现实体验。

具体研究路线如图37所示:

 

37 基于AR技术的ICH传承与创新研究技术路线图

6.1.1剪纸三维模型复原

将准备好的剪纸图纸导入PS中,用魔棒等工具抠除空白部分后,将剪纸图形转换为路径,导出为svg格式的文件,将该文件导入C4D中,通过挤压工具将路径转换为具有厚度的实体,调整厚度即可得到剪纸的模型,添加相应的材质,合适的灯光渲染后可以得到如图38所示的渲染图像。


38 剪纸建模

6.1.2利用Unity2017.3平台下的AR插件 Vuforia 开发“AR”剪纸

Vuforia是与高通公司的合作产品,致力于虚拟现实的技术。VR和AR的结合在Android端和iOS端表现效果相当不错,并且可以通过终端自带的摄像头进行虚拟现实,同时支持VR和AR的交互工作,达到体验不输给传感器的效果。

Unity2017.3平台开始全面支持Vuforia 7。通过Unity编辑器,开发人员可以直接将各种各样的实物、环境与3D图像混合,对图片、物体、文本和标记的识别和追踪,以及重建环境,开发“AR剪纸”。随后开启移动设备摄像头,通过扫描剪纸识别卡来解锁AR内容。从而开发出跨平台的AR应用

6.1.3 利用C#编写脚本控制模型动画

以利用C#语言去编写控制脚本,然后将脚本绑定在Hierarchy中的Cude上,去控制其进行旋转,平移,缩放等运动。

 

39 在unity的inspector窗口通过Animator脚本组件实现对object的动画

本项目的动画开发流程设计为:

1.动画片段制作:动画片段是Unity动画系统的基础,片段中包含了对象如何随时间变化其位置、旋转或其他属性的信息。每个片段可以被认为是一个单一的线性记录。源于外部的动画片段由第三方工具(如Max或Maya)制作,或来自运动捕捉等。

2.动画控制器编辑:使用动画控制器来组织动画片段,动画控制器是类似流程图结构的系统(如上图),它内部拥有一个“状态机”,用于控制当前动画片段的播放,以及何时进行不同片段之间的切换,包括动画片段间的插值过渡和混合,动画控制器的内容被保存为后缀名为”.controller”文件进行存储。

3.片段混合设置:一个非常简单的动画控制器可能只包含一个或两个片段,例如控制在正确的时间开门或者关门的动画。更高级的动画控制器可能包含数十种人形动画片段来表现主角的所有动作,同时可以在多个片段之间进行混合,以便为角色在场景中移动时提供流畅的动作。

4.绑定动画与模型:Unity的动画系统还具有一些特殊功能来处理人形动画,使您能够将任意来源(例如运动捕捉,Asset Store中下载或其他第三方动画库)的人形动画重新定位到您自己的角色模型中,同时定义肌肉调整。这些特殊功能由Unity的Avatar系统提供,它将人形角色映射到了通用的内部格式。

5.引用关系:所有的这些内容 - 动画片段、动画控制器和Avatar,它们都通过GameObject上的Animator组件组合在一起。Animator组件具有对动画控制器(Controller)的引用,以及对该模型的Avatar的引用。动画控制器则包含对其使用的动画片段的引用。

6.1.4 5G+AR

5G应用的角度,在4G考虑人与人的连接的基础上,也考虑人与物、物与物的连接,聚焦于eMBB(增强移动带宽)、uRLLC(超可靠超低时延)、mMTC(海量物联网连接)三大业务特征场景。相比4G主要追求速率,5G则同时关注速率、连接密度和时延三大关键性能指标,其与4G在主要性能指标上的对比如图所示。

      

40  5G主要性能指标与4G对比

5G关键性能的实现与无线新技术、网络切片、边缘计算三大核心能力密不可分。

1.无线新技术:无线侧的技术突破使得5G网络支持更高带宽和更低时延,如大规模天线阵列(64天线)、新空口(F-OFDM/Polar/LDPC、灵活的Numerology)等。

2.网络切片:将物理网络划分为多个虚拟网络,每一个虚拟网络根据不同的服务需求,如时延、带宽、安全性和可靠性等来划分,以灵活地应对不同的网络应用场景;与传统网络相比,网络切片通过灵活的网络资源组合,实现按需购买差异化服务品质。

3.边缘计算:随着通信网络的发展,运营商原有核心网集中式部署无法满足新业务需求,网络随业务流向边缘迁移是产业趋势,这对于运营商而言是一种网络架构和业务模式的创新。并且通过按需在地市/客户侧园区级按需就近部署边缘计算(MEC)节点实现内容与应用的下沉,满足垂直行业客户低时延、数据不出厂等定制化需求的网络结构成为5G时代行业专网建设的主要形态。

5G通信技术能够与云计算技术实现有效对接。云计算技术对通信技术发展起着至关重要的技术。将5G技术与云计算技术进行有效融合,可以增加网络通信的计算形式,有效提高系统服务水平。现如今,国民的生产与生活日益趋向通信客户端方向发展,5G技术的应用范围将会更加广泛。通信网络的发展也逐渐趋向低能耗、高智能,用户在网络体验方面将会变得更加完善与具体,进而为通 信用户提供更优质的服务。

6.1.4.1 5G无线关键技术

5G国际技术标准重点满足灵活多样的物联网需要。在OFDMA和MIMO基础技术上,5G为支持三大应用场景,采用了灵活的全新系统设计。在频段方面,与4G支持中低频不同,考虑到中低频资源有限,5G同时支持中低频和高频频段,其中中低频满足覆盖和容量需求,高频满足在热点区域提升容量的需求,5G针对中低频和高频设计了统一的技术方案,并支持百MHz的基础带宽。为了支持高速率传输和更优覆盖,5G采用LDPC、Polar新型信道编码方案、性能更强的大规模天线技术等。为了支持低时延、高可靠,5G采用短帧、快速反馈、多层/多站数据重传等技术。

6.1.4.2 5G网络关键技术

5G采用全新的服务化架构,支持灵活部署和差异化业务场景。5G采用全服务化设计,模块化网络功能,支持按需调用,实现功能重构;采用服务化描述,易于实现能力开放,有利于引入IT开发实力,发挥网络潜力。5G支持灵活部署,基于NFV/SDN,实现硬件和软件解耦,实现控制和转发分离;采用通用数据中心的云化组网,网络功能部署灵活,资源调度高效;支持边缘计算,云计算平台下沉到网络边缘,支持基于应用的网关灵活选择和边缘分流。通过网络切片满足5G差异化需求,网络切片是指从一个网络中选取特定的特性和功能,定制出的一个逻辑上独立的网络,它使得运营商可以部署功能、特性服务各不相同的多个逻辑网络,分别为各自的目标用户服务,目前定义了3种网络切片类型,即增强移动宽带、低时延高可靠、大连接物联网。

6.1.5.3 利用5G强大的云计算能力

AR影像通信系统架构包括用户客户端、5G核心网、边缘云服务和云服务,客户端用于采集用户AR人像并呈现。依赖5G的低延时和强大的无线传输能力,AR影像通信数据的传输将更加流畅,清晰度也可进一步提高;同时,通过5G网络将部分渲染工作交给能力更强的云计算服务完成,最终实现内容上云、渲染上云、运算上云;AR影像通信应用场景的多样化对5G网络提出了不同的性能和功能要求,5G核心网通过网络切片技术拥有向业务场景适配的能力,针对不同业务场景提供恰到好处的网络控制功能和性能保证,实现按需组网,基于SDN/NFV(软件定义网络/网络功能虚拟化),为不同切片提供对应的QoS服务。

通过将内容与远端场景渲染的业务层的内容全部下沉到5G边缘云。5G边缘云服务器可以位于单个5G基站之后(针对特定热点区域)或部署在多个5G基站的汇聚节点之后。通过边缘云服务器强大的边缘转码和计算能力,可以更好更快的实现复杂的本地AR影像场景渲染。另一方面,通过将行业业务数据与AR影像通信技术有机融合,使得技术与业务绑定更为紧密。

 

41 5G云计算与AR

6.2拟解决的问题

课题组针对于剪纸的三维模型进行复原,利用C#编写脚本控制模型动画,尝试更真实的还原烟台剪纸并增加更多的交互设计,使用户更加沉浸于其中。再利用Unity2017.3开发平台下载高通AR插件 Vuforia Developer Portal对图片、物体、文本和标记的识别和追踪,以及重建环境,开发“AR剪纸”。随后开启移动设备摄像头,通过扫描剪纸识别卡来解锁AR内容。最后用 Unity2017.3平台发布安装包,将此APK下载安装到与改造后的5G+AR头戴式设备(Hololens),运行后进入识别环境,就能看到自己感兴趣的对象。

课题拟解决的关键问题如下:

1.针对于如何丰富非物质文化遗产“烟台剪纸”相关资料的问题,课题组拟决定联系烟台剪纸传承基地——李强剪纸研究室,朱曼华剪纸艺术工作室等传承基地,与专家进行交流学习,得到专业的指导。

2.针对于剪纸三维模型复原的问题,课题组拟先进行实物观察,理解其外观及内涵,再利用建模软件进行三维模型复原,针对于剪纸中细微的地方尽力做到一比一复刻。

3.针对于利用C#编写脚本控制模型动画的问题,课题组拟用C#语言去编写控制脚本,然后将脚本绑定在Hierarchy中的Cude上,去控制其进行旋转,平移,缩放等运动。尝试更真实的还原烟台剪纸并增加更多的交互设计,使用户更加沉浸于其中。

4.针对于利用Vuforia制作AR剪纸素材的问题,课题组拟利用Unity2017.3开发平台下载高通AR插件 Vuforia Developer Portal对图片、物体、文本和标记的识别和追踪,以及重建环境,开发“AR剪纸”。随后开启移动设备摄像头,通过扫描剪纸识别卡来解锁AR内容。

5.针对于将该项目设计的APP移植到AR头戴式设备的问题,课题组拟采用 Unity2017.3平台发布安装包,将此APK下载安装到与改造后的5G+AR头戴式设备(Hololens),运行后进入识别环境,即可观察对象。


6.3预期结果

1.研究报告一篇

2.成功申请软件著作权1项。

3.发表论文一篇

4.参加比赛获得省部以上奖励

项目总时间约为12个月。

2022年4月—2022年7月

1. 确定项目成员人数、分配任务、方案设计。负责人:潘青晨

2.ICH相关研究资料的收集,论文,文档的研读,从不同方面多角度研究考察。负责人:潘青晨,栾吉宁

2022年7月—2022年9月

完成剪纸的三维模型进行复原。负责人:周川智,韩露

2022年9月—2023年2月

开始APP开发,完善软件设计,进行测试。负责人:魏源辰,钟晓洁,韩露,栾吉宁

2023年2月—2023年4月

APP进行完善修改,撰写资料及论文。负责人:潘青晨,钟晓洁

前面研究有一定的积累,本项目在其基础上进行的。以下专利与软件著作权(见图42-47)为本项目提供技术支持:

[1]唐焕玲,窦全胜,于立萍,宋英杰,鲁眀羽. 一种基于有监督主题模型的文本分类方法及系统[P]. 山东省:CN109408641B,2020-06-02.

[2]张晓,许强,周伟明,刘春蕊. 基于零知识证明的公民隐私保护的方法、系统及存储介质[P]. 山东省:CN110336672B,2020-07-28.

[3]张晓,许强,周伟明,范辉,刘培强. 个人信息的零知识证明方法、系统及存储介质[P]. 山东省:CN110311782B,2020-04-14.

[4]宋英杰,张斌,李升起,叶李虎,赵强,刘琴. 一种大数据服务器散热柜[P]. 山东省:CN210776537U,2020-06-16.

[5]李大社,舒志远,徐吉刚,习兴越,聂靖华,韩梦,安志勇. 一种信号转发装置[P]. 山东省:CN210244618U,2020-04-03.


42 软著登字第4411309号

      
43 软著登字第4420513号


44 ZL 2019 2 0249054.X


图45 ZL 2019 2 0249054.X


46 ZL 2019 2 0663527.0

图47 ZL 2019 2 0663527.0

(1)已具备条件

1.创新实验室独立工作位和讨论区创新实验室提供开发环境和测试场地。 实验室曾经开发过相关APP项目,对本项目具有良好的指导价值。

2.团队成员配置合理,小组内成员均为创新实验室成员,且均能够在windows系统下熟练掌握C语言,Java等编程语言并有基于C语言和Java开发项目的相关经验。小组成员合作经验丰富分工明确,学习能力强,为缩减工期创造了有利条件

3.指导教师能给予团队在软件技术方面指导,并能给出具有建设性意义的思考方向,对本项目本团队有错误的地方进行指正的帮助。

4.学校同时开设了软件开发、计算机原理、概率论与统计的课程,能够让项目小组成员快速上手相关部分,了解详细的知识,完成项目的开发。计算机科学与技术学院为项目团队提供了师资条件,能够解决项目研究过程中的专业知识不够丰富的问题。

(2)尚缺少的条件和解决办法

1.课题组成员均为一年级学生, APP开发实践目前刚结束内部训练课题和项目,基于本项目的实践,进行更深层面的学习及案例实战。

2.AR设备及测试条件限制。AR设备方面,完全满足该项目性能要求的设备昂贵,后续,一或可借助学院力量借用或者租用方式解决,二或可通过改造现有AR设备、增加特定的功能模块的方式。测试条件方面,鉴于本项目测试条件要求较高,目前没有完全符合要求的测试条件,项目后期或可协调工学实验中心数据中心算力以解决测试条件问题。

3.进一步调研。为确保项目的顺利进行,获得项目的基本需求,得到与非物质文化遗产烟台剪纸的有关信息,互联网及相关研究报告,课题组拟与烟台剪纸相关传承人进一步沟通交流,更深刻地理解剪纸艺术,从而在技术层面制定更符合ICH的战略。

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 14000.00 用于项目研究 7100.00 6900.00
1. 业务费 3000.00 收集可用信息 1100.00 1900.00
(1)计算、分析、测试费 1000.00 用于处理大量建模图像信息 300.00 700.00
(2)能源动力费 0.00 0.00 0.00
(3)会议、差旅费 0.00 0.00 0.00
(4)文献检索费 1000.00 用于在中国知网、万方数据库等网站检索相关文献 600.00 400.00
(5)论文出版费 1000.00 论文、期刊等发表时所需要的必要费用 200.00 800.00
2. 仪器设备购置费 5000.00 用于AR眼镜等设备的购买与配置 3000.00 2000.00
3. 实验装置试制费 3000.00 摄像、三维图像分析设备的使用与配置 1000.00 2000.00
4. 材料费 3000.00 对三维图像信息进行处理分析时所产生的必然固件损耗及办公用品 2000.00 1000.00
结束