1.系统设计框架遵循分层原则
平台的设计总体要遵循网络信息安全体系标准和数字化校园建设体系标准，所有数据接口按标准和规范执行。系统平台按体系框架进行分层设计，按照从内到外可分为：人脸识别平台、数据分析平台、数据计算存储平台、硬件设备及应用平台、终端用户平台。
（1）人脸识别平台
人脸识别板块分为识别面部和识别头部两个板块。
对于识别面部，我们使用的是基于LDA的Fisherface算法，将高维的模式样本投影到低维最佳矢量空间，以达到抽取重要分类信息和压缩特征空间维度的效果，投影后保证模式样本在新的子空间有最大的类间距离、最小的类内距离，即模式在该空间中有最佳的可分离性。
LDA算法可以用作降维，该算法的原理和PCA算法很相似，因此LDA算法也同样可以用在人脸识别领域。相比于PCA算法，LDA算法与识别头部所用到的Head Pose Estimation更为匹配，能更好地适应课堂数据反馈系统。
Fisherface算法流程：
a.获得人脸图像数据，然后求出人脸的均值。
人脸检测算法的输入是一张图片，输出是人脸框坐标序列(0个人脸框或1个人脸框或多个人脸框)。这是是一个“扫描”加“判别”的过程，即算法在图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸、图像内容相关。开发过程中，我们可以通过设置“输入图像尺寸”、或“最小脸尺寸限制”、或“人脸数量上限”的方式来加速算法。
b.特征值的观测
一般的人脸属性识别算法的输入是“一张人脸图”和“人脸五官关键点坐标”，输出是人脸相应的属性值。人脸属性识别算法一般会根据人脸五官关键点坐标将人脸对齐(旋转、缩放、扣取等操作后，将人脸调整到预定的大小和形态)，然后进行属性分析。
本算法识别每一个人脸属性时都是一个独立的过程，即人脸属性识别只是对一类算法的统称，性别识别、年龄估计、姿态估计、表情识别都是相互独立的算法。
c.进行人脸鉴定，观察人脸特征，判断是否是个人
人脸比对算法的输入是两个人脸特征(注：人脸特征由前面的人脸提特征算法获得)，输出是两个特征之间的相似度。人脸验证、人脸识别、人脸检索都是在人脸比对的基础上加一些策略来实现。相对人脸提特征过程，单次的人脸比对耗时极短，几乎可以忽略。它的输入是两个人脸特征，通过人脸比对获得两个人脸特征的相似度，通过与预设的阈值比较来验证这两个人脸特征是否属于同一人(即相似度大于阈值，为同一人;小于阈值为不同)。
d.最后进行人脸识别
它的输入一个人脸特征，通过和注册在库中N个身份对应的特征进行逐个比对，找出“一个”与输入特征相似度最高的特征。将这个最高相似度值和预设的阈值相比较，如果大于阈值，则返回该特征对应的身份，否则返回“不在库中”。
对于识别头部，我们则是应用了基于三维图像的Head Pose Estimation算法。该算法是通过一幅面部图像来获得头部的姿态角（pitch，yaw 和 roll 三个欧拉角（俯仰角、偏航角和滚转角））
Head Pose
Estimation算法包括了2D人脸关键点检测（基于LDA的Fisherface算法）、3D人脸模型匹配、求解3D点和对应2D点的转换关系、根据旋转矩阵求解欧拉角。
识别头部的目的有以下三点：
注意力检测，通过判断头部姿态可以判断人的注意力情况。可以检测学生在课堂上是不是在目视前方，并以此计算学生有效学习时间；或者是判断学生上课时是否集中精力，并记入垃圾时间的范畴。
行为分析，和上面的有点类似，但还是有点不同。通过识别面部算法分析再辅助识别头部算法可以判断一个人是否具有多种不同范围的行为，让系统做到有序化分时间，制作学生时间表。
人机互动，人的头部动作有时可以表示意义，传递信息。长时间有规律性的的上下摆头代表睡觉；摇头在大多数人看来是否认，点头表示同意；特定的长时间低头代表上课专注度不高。如果课堂数据反馈系统能理解这样的行为，将提高人机交互的质量和有效性。
（2）数据分析平台
根据系统进行人像采集与标识后，对学生在课堂上产生的数据进行统计汇总，自动生成一种具有高可读性的可以根据不同单位进行查看的报告。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。分类的方法：逻辑回归是一种常用的分类方法，非常成熟，应用非常广泛。
特点：
a、回归不只可以用于分类，也能用于发现变量间的因果关系；
b、最主要的回归模型有多元线性回归和逻辑回归；
c、有些时候逻辑回归不被当作典型的数据挖掘算法。
逻辑回归的步骤：
a、先训练，目的是找到分类效果最佳的回归系数；
b、然后使用训练得到的一组回归系数，对输入的数据进行计算，判定它们所属的类别
逻辑回归模型的检验：
由于希望模型中的输入变量与目标变量之间的关系足够强，为此需要做两个诊断：
a、对模型整体的检验——R2，即全部输入变量能够解释目标变量变异性的百分之多少。R2越大，说明模型拟合得越好；如果R2太小，则模型不可用于预测。
b、回归系数的显著性（p-value），如果某个输入变量对目标变量的作用p-value小于0.05，则可以认为该输入变量具有显著作用。对不显著的输入变量可以考虑从模型中去掉。
决策树与逻辑回归的比较：
a.决策树由于采用分割的方法，所以能够深入数据细部，但同时失去了对全局的把握。一个分支一旦形成，它和别的分支或节点的关系就被切断，以后的挖掘只能在局部中行；
b.逻辑回归始终着眼于整数数据的拟合，所以对全局模式把握较好；
c.决策树比较容易上手，需要的数据预处理较少；
d.逻辑回归模型不能处理缺失值，而且对异常值敏感。因此回归之前应该处理缺失值，并尽量删除异常值。
分类和回归分析被称为有监督学习：
a.有标识；
b.通过模仿做出正确分类的已有数据，从而能够对新的数据做出比较准确的分类。这就像教小孩学习一样。
首先数据分析平台落地的基础就是数仓建设，而数据分析平台面向对象是学校的高层领导者，从数仓建立到运转，我认为可以帮助管理者解决以下几个问题：
a.首先数据治理分析将不同业务系统的数据进行加工汇总，管理决策者可以减少用直觉来做判断，一切依靠数据来说话；
b.其次有时老师可以不必依靠IT信息部人员就能快速地生成学习状态表，大大提升了工作效率，不用担心数据的准确性，数据可真实的反映出学生的问题，从数据倒闭业务或其他相关问题；
c.最后数仓储存了大量的历史数据，可以帮助学生分析不同时期和趋势做出相应的对比，从而对接下来的学习成绩进行预测
（3）数据计算存储平台
负责将采集来的数据同存储中的数据进行对比计算，得出有效数据，存储到数据库中。数据计算存储层还负责将存储中的原始图片数据进行实时更新，以保证系统在数据识别上高速度和高准确率。
动态人脸识别技术应用的最终结果是身份信息的确认，身份信息是极度敏感的数据，涉及到个人的隐私，系统平台设计和使用过程中重视数据信息的安全是极其重要的，在平台设计时，要考虑局域网专用，与公共网络进行隔离，增加必要的防火墙、行为检测等硬件防护设备，同时要做好数据的存储备份，防止突发事件导致数据丢失，以备不时之需。
在平台的设计、编写、部署实施、实验及最终使用阶段，应聘请有资质的第三方信息安全评估检测机构对平台各阶段进行信息安全评估测试，及时找出平台不安全因素进行整改。数据计算存储层计算出的数据结果应加密后再存储到数据库中，数据加解密算法应考虑其先进性和不可破解性。
开源大数据存储分析平台架构——Uber Hadoop大数据架构
我们以Uber的一套大数据架构为例，图中展示了各类数据库通过Kafka推送到Hadoop集群中进行全量批计算，结果集合会再写入几类存储引擎中进行结果查询展示。
在传统的Hadoop架构中，各类结构化数据例如日志数据通过采集管道进入Kafka，Spark 可以实时的消费Kafka的数据写入集群内的HDFS中。数据库例如RDS中的数据会使用Spark定期全量扫表同步到HDFS，通常周期是一天一次，在业务低峰期进行同步。这样使用HDFS存储汇总了用户的数据，对数据库数据而言其实是一个定期的snapshot。例如每天的凌晨会把行为日志与数据库中用户的信息进行联合的分析，产生当天的分析报告比如包含当天访问量汇总，用户的消费倾向等报表数据，给业务负责人决策使用。架构中之所以说RDS的数据是全量入库，主要原因是HDFS本身只是一个分布式文件存储，对Record级别的更新删除并不友好。所以为了简化这些数据库中的合并修改删除逻辑，在数据规模不大的情况下会选择全量扫描。当数据库数据较大时，例如Uber的架构中，基于HDFS开发了一套存储引擎来支持修改和删除。
这套方案的特点是，分析时数据已经是静态，借助于Hadoop集群的高并发能力，可以较为容易的实现百TB到PB量级行为数据的离线计算和处理，同时数据大块的存储在HDFS上，综合存储成本也相对较低。美中不足的是数据是定期入库，数据计算的时效性通常是T+1。如果业务方有近实时推荐的需求，这时架构会从离线计算升级到『Lambda架构』。架构如下图：
（4）终端用户平台
用户在管理应用层下发相应权限后，可通过手机APP或微信小程序等其他终端查看相应的数据，通过便于操作的交互界面增强学生对自身的了解程度和提升技巧。
目前提供3套SDK：iOS平台原生SDK、Android平台原生SDK、APICloud跨平台SDK。
开发者可以根据项目需要自行选择，其中APICloud版本SDK可以用H5技术一次开发，同时适配iOS和Android两个平台。
a.应用开发 - APP方案
原生SDK：主要帮助开发者通过sdk接口调用的方式维护用户系统，用户与设备的绑定关系，设备的配置上线以及设备状态的获取和控制指令的发送。开发者应用SDK，无需对APP与设备、云端交互进行再次开发，根据产品原型定义，可快速开发产品APP。同时推出十大开源项目，下载、学习开源项目APP源码，更可快速应用机SDK开发APP。
b.应用开发 - 微信小程序方案
应用app提供WebSocket通信方案。WebSocket通信基本内容：用户登陆，接收设备上线下线消息，发送和接收设备业务逻辑数据，心跳。
厂商需要在独立部署的WEB系统中调用"用户管理API"获取身份资格，然后需要绑定设备才能控制设备。厂商需要在独立部署的WEB系统中的Javascript中调用"Web
Socket API"进行设备的控制与设备数据的实时展示，让微信（网页）应用能够实时获取设备状态数据，对最终消费者提供更好的体验。
c.应用开发 - 设备厂家业务云开发
应用Noti接口接收设备事件，包括故障与报警事件、数据点编辑事件、设备上下线事件、设备状态事件。使用Noti接口，可实时接收产品最新数据。
d.应用开发 - Android APP开源框架
Android开源框架工程源码链接：
马智.国内物联网平台2016-09-06
https://git.oschina.net/dantang/GizOpenSource_AppKit_Android
Android Gokit App是使用开源框架工程的源码范例，源码链接：
[2]马智.国内物联网平台2016-09-06
https://git.oschina.net/dantang/GoKit_Demo_Android
e.应用开发 - Android设备接入
SDK:
设备接入SDK（以下简称SDK）封装了手机（包括PAD等设备）与机智云智能硬件的通讯过程，以及手机与云端的通讯过程。
这些过程包括配置入网、发现、连接、控制、心跳、状态上报、报警通知。
使用SDK，可以使得开发者快速完成APP开发，开发者仅需关注APP的UI和UE设计即可，而f.相对复杂的协议与错误处理等事项可忽略。
f.应用开发 - 设备接入流程
SDK已经封装了所有的用户、配置、发现、连接、控制的过程，开发者使用这些API可以完成上述流程中的功能开发，不需要再自行实现通讯协议。
SDK采取回调的工作方式，所以必须设置必要的监听，比如通用监听和设备监听，具体请参见流程详解。SDK在主线程中给APP回调。
Android
SDK支持APP在Activity之间以及在Activity和Service之间传递对象。
（5）硬件设备及应用平台
该平台包括物联网设备、AI摄像头、网络及视频交换设备（MTP交换机）、移动终端设备（显示屏）等外部硬件的选择，以及外部硬件在不同教室的安置位置，如前置摄像头如何安置以避免逆光拍摄模糊、移动终端设备如何设计以避免占地面积过大。
人脸识别技术部件选择专业级别的摄像机，进行避光、逆光等多角度多方位试验，细微的捕捉学生的一举一动，通过深度学习判断学生课堂中学习状态。系统依托于显示屏进行交互，故我们在教室使用的摄像头是球形摄像头、300万画质、2k像素、AI人脸检测。手机自带摄像头进行3D to F人脸识别、web开发技术。
硬件设备外观要求较高，不仅小巧美观，有很好的兼容性，能够主动融入校园环境，而且还要保障使用过程中不降低软件统的性能，保证人脸识别系统的动态效果。
系统依托现有学校官方平台实现技术管理上的互补
动态人脸识别技术的应用不应该是单一的、独立的，作为一种先进的、创新的技术手段，它应该与现有的校园平台相融合，在解决问题和提升管理效能的同时要考虑引入成本，不能因为引入一种新的技术和管理模式就全盘摒弃原有设备和平台，例如：动态人脸识别系统可以依原有校园网络和网络设备进行系统部署等。
系统应用地点的选择
由于课堂数据分析系统用于记录学生在课堂的个人表现并及时反馈给学生，且需要收集同一学生在不同教室不同课程的数据，所以本系统需要在各个上课教室安装。由于不同教室的不同构造（包括占地面积、透光率等），分析摄像头的像素、视野范围、涉及角度和地面坡度、光线等问题，选择合适的摄像头教室内合适的位置，安置系统的硬件设备。
