320
参赛单位：苏州大学
参赛队伍：Gmirror
参赛作品:基于EAIDK-310的智能镜系统
作者姓名：文晨锐
获奖等级：第十五届中国研究生电子设计竞赛Arm中国企业命题二等奖
我的研电赛记忆
初识比赛时，一直对研电赛“激励创新、鼓励创业、提高素质、强化实践”的十六字宗旨印象深刻。研究生期间不像本科期间，各类电子竞赛层出不穷，研究生的圈子范围往往不大于实验室范围，然而实验室内研究方向大抵相似。因此，研电赛给予的一个与不同专业相互协作的机会，是我们研究生生涯中的一大福音。
我们的作品设定是专为女性量身打造了一款非接触式的智能美妆镜——Gmirror(Girl Mirror)。本文设计的智能镜子以EAIDK 310为控制核心，核心功能为肤质、肤色、脸型检测，妆容选择和对比分析，为女生提供了一套全面的出门方案。同时还带有一些辅助功能，例如，时间、天气显示，重大新闻提示、音乐播放等，能够带给用户更加舒适便利的体验。所做研究工作与研究结论如下：
分析智能镜子的研究背景，结合目前的市场需求，研究智能镜子的实现方式和所配备功能。熟悉并掌握人脸识别、图像处理等算法原理。学习前端开发，实现交互式界面。
完成硬件选择和整体电路设计，进行实现功能所需的软件开发，共分为交互式界面的系统设计和硬件模块的功能实现两方面。前者利用JavaScript语言开发智能镜的显示界面，同时融入了手势识别，人脸属性检测以及语音同步等多个交互式功能，后者通过人体红外感应模块感应人体的靠近，并通过摄像头采集图像，电源开关进行通电等之，实现对智能镜功能的完善以及整个系统稳定有效运行。
对智能镜的各功能模块进行测试，查看其实际使用情况。结果表明，智能镜能够进行一系列的检测，为用户提供智能化的服务，实现了预期的目标。
拂晓
选题初始，结合团体人员专业和实验室研究内容，选取了Arm的非接触智能控制设备的选题。于是，导师和我们便开始了漫长的幻想道路，我们登录各大商品网站开始搜罗新奇事物，直到我们发掘到了一款智能试穿镜子。就智能魔镜这个项目来说，它能够实现我们自身专业的优势，又能够满足女生对于一款优越的化妆镜的幻想，最后还能够满足Arm对于非接触智能控制设备的设定。
曙光
确定项目要做的内容后，黎明的曙光方才展现。从设计魔镜的功能到设计进程中的不断改善，历经波折。需要考虑不同场景下的使用，以及实现的实时性与实际生活能否匹配，最后还需考虑的便是不同任务的时间分配问题。由于旨在做出一款美妆推荐型魔镜，一开始，女生们的讨论便如火如荼地展开了，有的想要一览无余镜中人的毛孔，有的想要清晰明确地指出镜中人的肤色，还有想要魔镜能够提供美妆的手法以及美妆的内容，以供学习实践。在进行物件的选型时，充分考虑了想要实现的功能所要的硬件设施，由于Arm公司直接提供边缘智能板子，便省去了部署硬件的选择。
整个项目的进行主要是围绕功能展开，为实现不同的功能，除了思考算法上的实现外，最后算法的部署，以及实时地测试，占据了我们绝大部分时间。有对实现的内容满意的地方，也有不满的地方。早期对于linux系统不太熟悉，甚至对于这种推理板子也不太熟悉，前期花费了较多的时间去摸索，正是这种不断摸索的精神，使人愈战愈勇。最终能够熟练使用板子以及在板子上开发前端与后端算法的链接，是我们最满意的地方。对我们自己不满的地方在于训练的模型导出时，无法顺利转出onnx，最终使用传统的图像处理算法进行的一些功能实现，这是最挫败的地方。传统的算法能够快速给予反馈，但是准确率并不能满足于我们对于魔镜的幻想。但是挑战的出现永远带来更好的实现，既然准确率不高，那就自己提高，无论是从硬件上，还是算法上。在处理挑战的阶段，所有的人都处于一种特别“燃”的状态下，即使最终到不了顶峰，但那时的我们永远是最好的状态。
破晓
黑夜逐渐下沉，东方的日光冲破了黑夜的身影。我们对着镜子贡献着自己的面庞，自己的皮肤，自己的手掌用来调试实物最后的显示阶段。里面有隐藏的手势交互，还有天气预报，科技新闻，日历等插件，通过人体感应模块，感应到人的靠近，随后便开始进行肤质肤色、脸型的检测，将根据匹配到的脸型提供一定的妆容建议，界面会停留足够的化妆时间，并通过手势交互实现对妆容的对比度分析。
系统测试流程图
后记
这个手势识别来之不易，前期由于HSV空间调参，实现肤色分割，再通过凸包点实现的手势识别。但是不同的人肤色略微有效差距，调参就很费时费力。好在经典手势可以最终实现交互！
智能镜子的信息显示模块主要由显示屏、原子镜组成，信息显示是智能镜与用户交互的基础模块，可以显示包括天气、新闻、时间等由互联网获得的信息。信息显示模块主要依托显示技术，在智能镜上显示用户想要获取的信息。最重要的是，镜子本身的成像特性不会受到影响，因此要对显示的信息提前进行筛选、排版，仅应使用镜子的外角显示信息，以此在中部留出足够的空间作为普通镜子使用。下图是设计并实现的显示界面。
下图是小师妹友情贡献的面庞来测试81个关键点，由于目前对于脸型的定义，仅仅是定性的定义，通过查阅资料，从定性的定义中结合81个关键点，设计出一套定量使用的脸型测试模板。
下图为找到人脸的81个面部关键点，通过不同关键点的连线分割脸部化妆区域。常见的脸部化妆区域有眉眼、脸颊、嘴唇三大区域，分割这三个区域，将不同妆容的三个区域两两对比，对比计算同样区域下的不同色彩点的数量，通过直接调用直方图函数实现，再将其标准化后进行对比。
下图是疫情期间，合照不易，斗胆从以往合照中截出老师头像用来拼接团体合照。
