(12)发明专利申请
(10)申请公布号 CN 111145081 A(43)申请公布日 2020.05.12
(21)申请号 201911294295.7(22)申请日 2019.12.16
(71)申请人 佛山科学技术学院
地址 528000 广东省佛山市南海区狮山镇
广云路33号(72)发明人 曾凡智 余家豪 周燕 陈嘉文
项杨 (74)专利代理机构 广州嘉权专利商标事务所有
限公司 44205
代理人 蔡伟杰(51)Int.Cl.
G06T 3/00(2006.01)G06T 19/20(2011.01)
权利要求书2页 说明书5页 附图2页
(54)发明名称
基于空间体积特征的三维模型视图投影方法及系统(57)摘要
本发明公开了基于空间体积特征的三维模型视图投影方法及系统，通过对三角面片的空间体积进行规范化并作为编码特征值，对三维模型进行渲染；设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图；可以使得三维模型生成的二维投影视图保留一定的空间体积特征；空间特征编码蕴含了三维模型的面片大小及空间位置关系，减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题，在一定程度上减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题，因此在相同数量的投影视图的情况下包含了更加丰富的空间信息特征，弥补了视图投影方法的不足之处。
CN 111145081 ACN 111145081 A
权 利 要 求 书
1/2页
1.基于空间体积特征的三维模型视图投影方法，其特征在于，所述方法包括以下步骤：S100：对三维模型坐标进行标准化；S200：找出各三角面片的三个顶点；S300：计算任意三角面片的法向量、面积及三角面片到坐标原点的距离；S400：计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围；S500：对三角面片的空间体积进行规范化并作为编码特征值；S600：通过编码特征值对三维模型进行渲染；S700：设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。2.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法，其特征在于，在S100中，对三维模型坐标进行标准化的方法为：计算三维模型顶点的中心点O的坐标：
将三维模型的全部顶点坐标减去中心点坐标，实现标准化，并将新的坐标原点
记为O′，i＝1到N，N为三维模型顶点数，其中，三维模型的顶点集为V＝{pi＝(pix,piy,piz)|i＝1,2,...N}，三角面片集为F＝{Fj|j＝1,2,...M}。
3.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法，其特征在于，在S200中，找出各三角面片的三个顶点的方法为：对于每一个三角面片Fi，由网格模型的顶点和面片关系找出构成面片的三个顶点坐标{A,B,C}。
4.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法，其特征在于，在S300中，计算任意三角面片的法向量、面积及三角面片到坐标原点的距离的方法为：计算任意三角面片Fi的方向向外的法向量：三角面片到坐标原点距离的
三角面片面积：
及
其中代表两点构成的向量。
5.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法，其特征在于，在S400中，计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围的方法为：计算以三角面片为底坐标原点为顶点的三棱椎体积
并求出三棱椎体积的体积的取值
范围V∈[minV,maxV]；minV是三棱椎体积的最小值，maxV是三棱椎体积的最大值。
6.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法，其特征在于，在S500中，对三角面片的空间体积进行规范化并作为编码特征值的方法为：将三棱椎体积的体积取值区间[minV,maxV]映射到像素区间[0,255]上对三角面片的空间体积进行规范化，将规范化后的三角面片的空间体积作为编码特征值。
7.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法，其特征在于，在S700中，所述多个角度为等距离的多个角度，如每隔30°投影一张视图，形成12张视图。
8.基于空间体积特征的三维模型视图投影系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
2
CN 111145081 A
权 利 要 求 书
2/2页
坐标标准化单元，用于对三维模型坐标进行标准化；面片顶点查询单元，用于找出各三角面片的三个顶点；距离计算单元，用于计算任意三角面片的法向量、面积及三角面片到坐标原点的距离；体积计算单元，用于计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围；规范化单元，用于对三角面片的空间体积进行规范化并作为编码特征值；模型渲染单元，用于通过编码特征值对三维模型进行渲染；视图投影单元，用于设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。
3
CN 111145081 A
说 明 书
基于空间体积特征的三维模型视图投影方法及系统
1/5页
技术领域
[0001]本公开涉及计算机视觉与图像处理领域，具体涉及一种基于空间体积特征的三维模型视图投影方法及系统。
背景技术
[0002]随着三维物体建模、数字化和可视化技术的进步，对三维形状进行识别并实现分类与检索的技术变得越来越普遍。与二维图像相比，三维图形具有更高的维度，这也使得它具有更为复杂的几何结构和更加冗余的数据量。因此，如何对三维模型进行特征提取和寻找其低维度的描述子就变成了三维识别技术的关键所在。在传统的三维模型表示方法中，比较典型的方法有两种，一种是基于三维模型的原有结构特征，如点云、体素化模型等来提取三维模型的特征描述子。另一种方法则是将三维模型投影为二维视图的方法，包括极视图、多角度视图等。在三维模型的分类与检索技术的应用上，基于视图的方法其准确率一般高于基于模型空间结构特征的方法，其优点在于可以利用现有的较为成熟的二维卷积神经网络来实现对三维模型投影的二维特征视图进行特征提取从而实现三维模型的分类与检索。比较典型的框架有2015年的多视图卷积神经网络(MVCNN)[1]框架，该方法是通过构造平面上的多个视角来进行模型投影，得出多张投影视图，并将其放入多通道的卷积神经网络框架来进行视图特征的提取和融合。很多最新的研究成果都是基于这个基准上进行的，参考文献[2]在其基础上引入视图分组模块，通过不同视图之间的差异性来给出视图融合的权重，替换了原先的取均值池化。参考文献[3][4]在原有基础上分别引入了多元中心损失函数和最优传输距离损失函数来训练不同类别样本间的距离，从而替代原有的分类方法。
[0003]其中，现有技术的参考文献如下：[0004][1]Su H,Maji S,Kalogerakis E,et al.Multi-view Convolutional Neural Networks for 3D Shape Recognition[J].2015.[0005][2]Feng Y,Zhang Z,Zhao X,et al.GVCNN:Group-View Convolutional Neural Networks for3D Shape Recognition[C]//2018IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2018.[0006][3]He X,Zhou Y,Zhou Z,et al.Triplet-Center Loss for Multi-View 3D Object Retrieval[J].2018CVPR.[0007][4]Xu L,Sun H,Liu Y.Learning with Batch-wise Optimal Transport Loss for 3D Shape Recognition[J].2019CVPR.
[0008]现有技术虽然在视图投影上做了广泛的探索并取得了比较好的效果，然而却无法解决视图投影方法具有的一个根本性的缺点，就是在三维投影到二维的过程中丢失了原有的空间结构信息。目前以MVCNN框架为代表的方法在视图的投影过程都存在丢失空间特征问题，因此需要增加观察视点的个数来产生出更多的视图。然而该方法会导致网络训练样本数据冗余和增大和网络结构的复杂度上升，因此对设备性能有更高的要求，同时也增大
4
CN 111145081 A
说 明 书
2/5页
了对多个视图提取特征进行融合的难度。[0009]为了解决现有技术的这一缺点，本发明提出了一种基于空间体积特征的三维模型视图投影方法。在多视图投影方法框架的基础上，提取了三维模型网格模型的空间体积结构特征，并将提取的特征作为投影视图的编码值，对三维投影视图进行编码，从而得出一种基有空间体积结构特征的三维模型投影视图。
发明内容
[0010]本公开提供基于空间体积特征的三维模型视图投影方法及系统，本公开提出一种空间体积编码视图，可以使得三维模型生成的二维投影视图保留一定的空间体积特征；提出的空间特征编码蕴含了三维模型的面片(或称三角形面片)大小及空间位置关系，减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题。[0011]本公开的目的是针对上述问题，提供基于空间体积特征的三维模型视图投影方法及系统，具体包括以下步骤：[0012]S100：对三维模型坐标进行标准化；[0013]S200：找出各三角面片的三个顶点；[0014]S300：计算任意三角面片的法向量、面积及三角面片到坐标原点的距离；[0015]S400：计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围；[0016]S500：对三角面片的空间体积进行规范化并作为编码特征值；[0017]S600：通过编码特征值对三维模型进行渲染；[0018]S700：设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。
[0019]进一步地，在S100中，对三维模型坐标进行标准化的方法为：计算三维模型顶点的中心点O的坐标：
将三维模型的全部顶点坐标减去中心点坐标，实现标准化，并
将新的坐标原点记为O′，i＝1到N，N为三维模型顶点数，其中，三维模型的顶点集为V＝{pi＝(pix,piy,piz)|i＝1,2,...N}，其中，顶点pi＝(pix,piy,piz)，pix、piy、piz分别为顶点pi在x、y、z方向上的坐标分量，三角面片集为F＝{Fj|j＝1,2,...M}。[0020]进一步地，在S200中，找出各三角面片的三个顶点的方法为：对于每一个三角面片Fi，由网格模型的顶点和面片关系找出构成面片的三个顶点坐标{A,B,C}。[0021]进一步地，在S300中，计算任意三角面片的法向量、面积及三角面片到坐标原点的距离的方法为：计算任意三角面片Fi的方向向外的法向量：
及三角面片到坐标原点距离的
向量，
为O′到顶点C的向量，
为顶点A到顶点B的向量，
三角面片面积：
其中代表两点构成的为顶点A到顶点C的向量，
为第i个法向量。[0022]进一步地，在S400中，计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值
5
CN 111145081 A
说 明 书
3/5页
范围的方法为：计算以三角面片为底坐标原点为顶点的三棱椎体积并求出三棱
椎体积的体积的取值范围V∈[minV,maxV]；minV是三棱椎体积的最小值，maxV是三棱椎体积的最大值。
[0023]进一步地，在S500中，对三角面片的空间体积进行规范化并作为编码特征值的方法为：将三棱椎体积的体积取值区间[minV,maxV]映射到像素区间[0,255]上对三角面片的空间体积进行规范化，将规范化后的三角面片的空间体积作为编码特征值。[0024]进一步地，在S700中，多个角度为等距离的多个角度，如每隔30°投影一张视图，形成12张视图。
[0025]本发明还提供了基于空间体积特征的三维模型视图投影系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：[0026]坐标标准化单元，用于对三维模型坐标进行标准化；[0027]面片顶点查询单元，用于找出各三角面片的三个顶点；[0028]距离计算单元，用于计算任意三角面片的法向量、面积及三角面片到坐标原点的距离；
[0029]体积计算单元，用于计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围；
[0030]规范化单元，用于对三角面片的空间体积进行规范化并作为编码特征值；[0031]模型渲染单元，用于通过编码特征值对三维模型进行渲染；[0032]视图投影单元，用于设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。
[0033]本公开的有益效果为：本发明公开了基于空间体积特征的三维模型视图投影方法，提出的投影图相对原有未编码的特征视图，在一定程度上减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题，因此在相同数量的投影视图的情况下包含了更加丰富的空间信息特征，弥补了视图投影方法的不足之处。附图说明
[0034]通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
[0035]图1所示为本公开的基于空间体积特征的三维模型视图投影方法的流程图；[0036]图2所示为本公开实施方式的基于空间体积特征的三维模型视图投影系统。具体实施方式
[0037]以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
6
CN 111145081 A[0038]
说 明 书
4/5页
如图1所示为根据本公开的基于空间体积特征的三维模型视图投影方法的流程
图，下面结合图1来阐述根据本公开的实施方式的方法。
[0039]本公开提出基于空间体积特征的三维模型视图投影方法，具体包括以下步骤：[0040]设三维模型的顶点集为V＝{pi＝(pix,piy,piz)|i＝1,2,...N}，其中，顶点pi＝(pix,piy,piz)，pix、piy、piz分别为顶点pi在x、y、z方向上的坐标分量，三角面片集为F＝{Fj|j＝1,2,...M}。算法过程如下：
[0041]
S100：计算三维模型顶点的中心点O的坐标：将三维模型的全部顶点坐
标减去中心点坐标，实现标准化，并将新的坐标原点记为O′，i＝1到N，N为三维模型顶点数；[0042]S200：对于每一个三角面片Fi，由网格模型的顶点和面片关系找出构成三角面片的三个顶点坐标{A,B,C}；
[0043]
S300：计算任意三角面片Fi的方向向外的法向量：
及三角面片到坐标原点的距离
三角面片面积：
其中代表两点构成的为顶点A到顶点C的向量，
向量，为O′到顶点C的向量，为顶点A到顶点B的向量，
为第i个法向量。
[0044]
S400：计算以三角面片为底坐标原点为顶点的三棱椎体积并求出体积
的取值范围V∈[minV,maxV]；minV是三棱椎体积的最小值，maxV是三棱椎体积的最大值。
[0045]S500：将三棱椎体积的体积取值区间[minV,maxV]映射到像素区间[0,255]上对三角面片的空间体积进行规范化，将规范化后的三角面片的空间体积作为编码特征值；[0046]S600：利用MATLAB平台上的trisurf函数通过编码特征值对三维模型进行渲染，编码特征值即为渲染时视图投影点的像素值；
[0047]trisurf函数见https://ww2.mathworks.cn/help/matlab/ref/trisurf.html。[0048]S700：设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图，如在水平面上每隔30°来投影一张视图，形成12张视图。
[0049]本公开的实施例提供的基于空间体积特征的三维模型视图投影系统，如图2所示为本公开的基于空间体积特征的三维模型视图投影系统结构图，该实施例的基于空间体积特征的三维模型视图投影系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于空间体积特征的三维模型视图投影系统实施例中的步骤。[0050]所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：[0051]坐标标准化单元，用于对三维模型坐标进行标准化；[0052]面片顶点查询单元，用于找出各三角面片的三个顶点；[0053]距离计算单元，用于计算任意三角面片的法向量、面积及三角面片到坐标原点的距离；
7
CN 111145081 A[0054]
说 明 书
5/5页
体积计算单元，用于计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值
范围；
规范化单元，用于对三角面片的空间体积进行规范化并作为编码特征值；
[0056]模型渲染单元，用于通过编码特征值对三维模型进行渲染；[0057]视图投影单元，用于设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。
[0058]所述基于空间体积特征的三维模型视图投影系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述基于空间体积特征的三维模型视图投影系统可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是基于空间体积特征的三维模型视图投影系统的示例，并不构成对基于空间体积特征的三维模型视图投影系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于空间体积特征的三维模型视图投影系统还可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于空间体积特征的三维模型视图投影系统运行系统的控制中心，利用各种接口和线路连接整个基于空间体积特征的三维模型视图投影系统可运行系统的各个部分。
[0059]所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于空间体积特征的三维模型视图投影系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0060]尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
[0055]
8
CN 111145081 A
说 明 书 附 图
1/2页
图1
9
CN 111145081 A
说 明 书 附 图
2/2页
图2
10
因篇幅问题不能全部显示，请点此查看更多更全内容