东华大学信息科学与技术学院教授赵鸣博：深耕科研一线 顺应发展潮流

　　信息化是当今世界发展的必然趋势，是推动经济社会变革的重要力量。党的十九大提出：推动互联网、大数据、人工智能和实体经济深度融合，加快数字中国、网络强国和智慧社会的建设等任务要求。2019年政府工作报告和中央经济工作会议又分别提出要拓展“智能+”和大力发展数字经济，当前及今后一段时间，我国信息化发展将会进入一个新阶段，呈现出一些新特点。

　　不懈探索 深入研究

　　2016年，赵鸣博正式加入华东大学任教。在这之前，他主要从事判决学习度量、基于流形学习的图像检索方法以及深度学习特征提取等研究。在基于迹比值的判决分析的距离度量方法研究中，他发现，迹比值准则比传统判决学习方法主要基于比迹值准则，具有更加明确的物理意义和正交优势。在此基础上，他提出了一种快速收敛的方法，得到的投影矩阵是正交的，可用于去掉不同投影方向的冗余信息，从而快速有效地对数据进行特征提取，从而解决了基于迹比值的线性判决准则的优化问题。赵鸣博常用此方法进行图像识别、机器错误检索和计算机辅助诊断等。

　　赵鸣博还从事半监督学习方面的研究，主要用来解决类标信息不足的问题。传统的半监督学习有两类，即直推学习和归纳学习。但是，对于半监督学习，两者很难兼顾。于是，赵鸣博率先提出一个通用模型，在模型中额外增加一个回归因子及无相关限制，也能够实现半监督回归以及降维，解决了半监督直推和归纳学习两者兼顾的问题。该方法在大规模数据分类、多媒体数据标识等方面得到了广泛的应用。

　　随着科技的发展，多媒体信息检索研究也日益成为科研人士关注的焦点。赵鸣博对此也进行了深入的研究。他提出了一套基于大规模流行排序的多模态图像检索方法。该方法根据用户提供查询图片以及部分标注及描述信息，能够通过弱监督学习方式使细粒度图像检索和目标定位得以实现。通过采用图神经网络的方式连接不同图像之间的关系，能够使图库之间的语义关联并提升图像检索性能。该方法现在已用于商品图像的检索及推荐以及丝绸多元属性与检索。

　　关注焦点 取得成果

　　科技的发展也使人工智能与服装、时尚等发生了巨大的变化，尤其是服装检测、检索与推荐、服装生成与换装等，发生了不同程度的改变。赵鸣博在不断科研的同时，也把目光聚焦于此，进行了一系列的研究，取得了显著的科研成果。

　　首先，在服装实例分割及生成方面。赵鸣博发现，在真实的环境中，如果把服装穿在模特身上或者平铺在背景上，会有多个模特或者服装单品出现在一张包含服装的图片里。在进行服装搭配时，把整张图像输入搭配网络，就会因为多种服装单品和比较复杂的图像背景达不到理想的效果。在对服装单品进行搭配时，需要将其从图片中分割开，处理后再输入服装搭配网络中。由于一张图片中也许会出现多个相同的类别，此时，就需要将其分别进行分割，并将其归到实例分割任务。

　　要实现这个目标，可以从两方面进行。一是基于mask-rcnn服装检测，二是基于生成模型的2D服装平铺生成。要想有效生成质量高的服装图片，从而进行推荐以及3D重构，可以采用生成模型对穿在人身上的服装进行平铺生成。但是，由于采用Mask-RCNN的实例分割框架和生成对抗网络分别是独立的，还没有形成端对端的网络模型，赵鸣博将会对此进行更加深入的研究。

　　其次，在服装推荐系统搭建研究方面，赵鸣博也收获颇丰。服装推荐需要对服装单品之间的相容性进行探索。这表现在两方面：一是一套搭配中的所有单品都要风格相似，二是所有单品要能组成一套完整的搭配方案。

　　做服装搭配，比较好的方法是给服装图片标注属性标签，利用服装的类别和风格信息进行合理的搭配。然而，由于这种方式费时费力，大规模使用并不现实，并且有着很强的主观性，很难得到统一的标准。MM-fashion 提出了在端到端的框架中共同学习视觉语义映射和时尚元素图像特征之间的相容性，然而，该方法却不能应用于没有语义表达的图片。对此，赵鸣博提出的服装搭配网络是在MM-fashion 基础上进行的优化网络，主要包括3个模块：特征提取模块、风格相容性学习模块和特征融合模块。赵鸣博正在考虑采用建立知识图谱和图卷积的方式对以上网络进行改进，以便提升搭配性能。

　　再接再厉 瞩目未来

　　赵鸣博在服装检测、检索与推荐等方面的研究成果，还表现在服装3D虚拟试衣方面。

　　根据使用的方法不同，传统的3D虚拟试装方法可分为两类：一是利用已有的人体数据模型，从单张RGB图片或视频中直接使人体三维模型得以恢复，再把服装模板融合至3D模型；要想直接从RGB图片或者视频中恢复3D模型，有一定的难度。该方法具有不需要用特定的深度传感器、应用范围广、对环境要求低等优点。然而，由于构建的模型精度不高，实时重构较为困难。二是用3D深度传感器对深度信息进行直接采集，然后，通过拼接的方式构建完整模型，再把服装模板融合至3D模型。然而，由于体感设备、深度传感器小型化所需成本大，要想得到规模化应用，非常困难。对此，赵鸣博将对其进行着重研究，并提出一种基于视频的端对端虚拟试衣的方法。

　　取得的科研成果激励着赵鸣博一路奋进，他对未来的科研充满了信心。未来，赵鸣博将主要侧重于建立多模态检索和服装问答系统以及服装私人定制系统。他将通过图像和文字的结合进行服装多模态图像检索，研究如何学习一种用于表述文字和图像的跨模型组合特征，建立多模态服装问答系统。尤其是近年来“私人订制”服务模式的兴起，使更多的人热衷于服装的挑选，根据服装属性、款式和用户个人信息打造的服装款式，越来越受到用户的喜欢。赵鸣博的研究，正是适应了时代发展的需求，顺应了科研发展的潮流。