课程文献中心 更多>>

关键词： 深度神经网络   显存   张量   卸载   重计算  

摘要： 深度神经网络(Deep Neural Network,DNN)是人工智能领域的关键技术,在多种应用领域展示出卓越的性能。近年来,为了提高DNN的准确性,训练数据集的规模和模型的复杂度均大幅增加。由于DNN训练必须保留大量的张量,随着模型规模的不断扩大,对GPU(Graphics Processing Unit,GPU)的显存资源需求显著增加。然而,由于硬件技术限制,GPU设备的显存扩容速度远低于DNN训练作业的发展速度。现有GPU显存的硬件限制制约了大规模DNN模型的发展。卸载和重计算是降低训练时显存资源需求的常用机制。卸载是将显存中的张量通过PCI-E总线迁移到大容量的CPU内存中,重用时再将其预取回GPU的显存,但卸载/预取机制可能带来训练过程阻塞的代价。重计算机制只保留部分张量作为检查点,通过从检查点重新计算来满足张量的重用需求,其缺点是引入了张量重复计算的代价。两种机制引入代价的原理不同,分别消耗PCI-E总线资源和GPU计算资源,存在结合优化的潜力。但不合理的结合策略会引入较高的阻塞和重计算代价,反而对训练性能造成严重的影响。本文主要研究如何在有限显存的条件下高效地结合卸载和重计算,以满足DNN训练的显存需求。论文的主要工作如下:(1)本文提出了混合显存优化统一代价模型,该模型以训练延迟为基准,准确描述卸载/预取和重计算机制的显存优化代价。基于该模型,本文提出了基于卸载和重计算混合机制的显存优化问题(Memory Optimization Problem for GPU Based on Hybrid Mechanisms,HGMOP)。该问题以张量计算的依赖关系和GPU显存容量为约束条件,在保证训练作业正确性的前提下,最小化显存优化带来的训练延迟代价。(2)本文设计了两种算法来求解基于卸载和重计算混合机制的最小化显存优化代价问题。本文设计了基于混合整数规划方法的显存优化算法MIP-MO(Memory Optimization Algorithm Based on Mixed Integer Programming,MIP-MO)。实验结果表明,与相关工作相比,MIP-MO算法能够平均提升DNN训练性能达23.5%。为了解决MIP-MO算法在处理大规模显存优化问题时求解时间长的问题,本文设计了一种基于深度强化学习的显存优化算法DRL-MO(Memory Optimization Algorithm Based on Deep Reinforcement Learning,DRL-MO)。DRL-MO采用了图同构神经网络来提取张量依赖关系,利用动作过滤模块来挑选满足张量依赖约束的操作,利用优势演员-评论家算法实现稳定的强化学习训练。实验结果表明,相比MIP-MO算法,DRL-MO算法开销平均减小79倍。与相关工作相比,DRL-MO算法能够平均提升DNN训练性能达18.1%。(3)现有训练框架未能提供完善的接口,在实现卸载和重计算的机制方面存在一定的限制,本文设计并实现了轻量的深度学习训练平台Ant-NN(Ant Neural Network,Ant-NN)。该平台是基于CUDA和CUDNN实现,支持张量卸载/预取和重计算等灵活的张量管理机制,支持DNN作业类型扩展和显存优化策略扩展。本文将所提出的两种显存优化算法集成于Ant-NN平台,实现了从全卸载、DRL-MO到MIP-MO的渐进式显存优化策略调整。该平台实现了对用户透明的显存优化策略实施,同时满足用户对训练作业快速启动和高效优化的需求。

关键词： 声矢量传感器阵列   张量模型   PARAFAC   DOA  

摘要： 传统的声矢量传感器阵列信号处理算法将获得的信号展开成矩阵或长矢量形式,破坏了声矢量传感器阵列获得信息的多维结构特点,为解决此问题,本文选择高维数据运算领域的代表方法——张量作为数据的表达形式,从张量数据模型角度出发,研究基于张量数据模型的声矢量传感器阵列信号方位估计算法,使得获得声源信息中的多维结构信息能够被充分利用,从而达到提高方位估计算法精度的目的。本文首先对张量数据模型与常规多重信号分类(MUSIC)算法和旋转不变子空间(ESPRIT)算法的融合进行研究,得到基于张量数据模型的MUSIC算法和ESPRIT算法,相较于常规MUSIC算法和ESPRIT算法而言,经张量数据模型改进后的算法具有估计精度更高的优势,但因计算过程从低维拓展到高维,同时也带来计算复杂度过高的问题。针对基于张量数据模型的MUSIC算法因数据模型维度拓展,需要更高维度的谱峰搜索,从而导致算法计算量庞大,基于张量数据模型的ESPRIT算法无法自动匹配二维方位估计结果的问题,本文继而对基于自协方差张量模型平行因子(PARAFAC)分解的DOA估计算法进行研究。通过分析可知,该算法虽无需上文中提到的高维谱峰搜索和参数配对过程,但存在低信噪比下进行PARAFAC分解时易陷入局部最优解从而导致方位估计失效的问题。针对基于自协方差张量模型PARAFAC分解的DOA估计算法低信噪比下估计失效的问题,本文相继对基于张量数据模型直接三线性PARAFAC分解的DOA估计算法和基于张量数据模型快速PARAFAC分解的DOA估计算法进行研究。上述两种算法利用不同的方法对因子矩阵进行初始估计,从而避免因随机初始化因子矩阵导致PARAFAC分解结果陷入局部最优解的问题,且后者相较于本文中研究的其他基于张量数据模型处理的相应算法可大幅降低计算复杂度,经仿真分析和外场试验数据处理证实这两种算法相关理论分析的正确性。

关键词： 光纤光栅   压力传感器   温度传感器   紧凑封装  

摘要： 压力和温度是油气井下的重要参数,在油气井勘探、钻井和生产阶段,均需要监测实时压力和温度。随着石油天然气资源的大量使用,勘探与开发的深度也随之增加,井下的压力和温度都在逐步上升,高温环境下的电学传感器不再具有明显优势。开发出新型油气井下温度压力传感器既是生产开发的需要,也是降低成本的需求。因此针对油气井下的恶劣环境,提出了两种基于光纤光栅的温度压力传感器,可以在高温高压环境下长期工作,对油气井下温度和压力的长期监测提出了一种有效的解决方案。本文以研制油气井下温度压力传感器为目标,研究内容主要有:(1)综述了光纤光栅温度压力传感器的研究现状,总结了常见光纤光栅温度压力传感器的封装结构,阐述了光纤光栅的基本传感原理,分析了油气井下的高温、高压、强腐蚀以及各种仪器产生的电磁干扰等环境特点。(2)提出了适用于油气井下环境的光纤光栅温度压力传感器的设计方案。传感器使用耐高温、耐腐蚀的飞秒脉冲激光刻写光纤光栅作为基本传感元件,使用不锈钢材料作为传感器的封装材料,使用低温玻璃焊料固定光纤光栅。根据该设计方案研制的传感器可在温度为200℃的环境下工作。(3)设计了一种基于膜片和杠杆组合结构的温度压力传感器,具有小体积和大量程的特点。传感器使用膜片结构和偏心杠杆组合结构,以膜片作为直接承压元件,形变后的位移被杠杆结构放大。研究发现在非对称部分结构中,将力传递杆设置在膜片的偏心位置可以提高传感器的灵敏度。该传感器的最大外径为26 mm,压力量程为0-30 MPa,压力灵敏度为29.8 pm/MPa,线性度为0.9999,重复性为0.01%,最小分辨压力灵敏度为0.04 MPa。温度测量范围为50-200℃,灵敏度32.7 pm/℃。该传感器具有较高的线性度、重复性和稳定性。(4)研究了一种基于膜片和梁组合结构的温度压力传感器,具有小体积,大量程,易封装,可准分布式测量的特点。传感器的压力测量范围为0-40 MPa,灵敏度为24.1pm/MPa,线性度为0.9997,重复性为0.38%,最小分辨压力灵敏度为0.05 MPa。温度测量范围为25-200℃,灵敏度为31.2 pm/℃。经过改进后的压力传感器理论量程为0-100MPa,灵敏度为12.7 pm/MPa,温度测量灵敏度及测量范围不变。本文提出的两种温度压力传感器可以用于高温高压环境下温度和压力的长期监测。

关键词： 非线性光学   有机非线性材料   光限幅   D-A型π共轭分子   瞬态吸收光谱   分子内电荷转移  

摘要： 激光技术的快速发展推动了激光武器的更新迭代与民用激光产业的普及。为了避免光电探测器以及人体受到激光的伤害,实现有效的激光防护迫在眉睫。光限幅是非线性光学学科中最为重要的应用之一,也是解决激光防护问题的有效手段。但数十年来,复杂的制备工艺和高昂的研究成本严重地阻碍了光限幅材料的开发与应用。功能性有机小分子成本低廉,分子结构多变且易于调控,在生物成像、全光开关、数字光存储、光动力学治疗、激光防护等领域具有广阔的应用前景。本论文以D-A（Donor-Acceptor）型π共轭分子为研究对象,利用量子化学计算软件进行分子建模及性能预测,设计并制备了一系列具有出色非线性光学响应的功能性有机小分子材料。结合Z扫描、瞬态吸收光谱、光限幅及简并泵浦探测等非线性光学实验,研究了材料的非线性光学性能,并系统地分析了其中的光物理机制。本文从分子构型、分子π共轭结构和分子内电荷转移三个角度分析了D-A型π共轭分子的结构-性能关系,逐步优化材料的激发态吸收性能,得到适用于纳秒时域532 nm波长且性能优良的光限幅材料。研究工作包括以下几个部分: （1）揭示有效π共轭结构对三联噻吩基查尔酮衍生物双光子吸收的增强作用。基于三联噻吩基团扩展查尔酮分子的π共轭长度,结合不同的电子受体基团调控分子内电荷转移强度,设计并合成了三个三联噻吩基查尔酮衍生物T3CT、T3CP2和T3CP3。利用飞秒多波长Z扫描技术及瞬态吸收光谱实验系统地研究了三联噻吩基查尔酮衍生物的超快非线性光学响应和瞬态动力学,并结合空穴-电子分析理论表征了激发态电子跃迁特征。研究发现,通过扩展有效π共轭结构,能够显著增强材料的双光子吸收,相比于650和750 nm,T3CT在580 nm处的双光子吸收截面增强了约20倍。此外,三联噻吩基查尔酮衍生物表现出明显的基于电荷转移态的激发态吸收信号。 （2）为了增强查尔酮衍生物基于电荷转移态的激发态吸收强度,设计并合成了三个具有不同电子推拉系统的D-A型查尔酮衍生物1、2和3。通过改变溶剂环境,结合飞秒瞬态吸收光谱,可视化地描述了分子内电荷转移过程,并分析了三联噻吩基查尔酮衍生物与三苯胺基查尔酮衍生物的激发态动力学差异。结合飞秒、皮秒Z扫描实验及空穴-电子分析,系统地研究了超快分子内电荷转移和电荷转移态分别对材料双光子吸收和激发态吸收的影响。研究发现,在查尔酮分子骨架中引入三苯胺基团,有利于建立更强的基于电荷转移态的激发态吸收。 （3）为了强化查尔酮衍生物的激发态吸收性能,提升材料纳秒时域光限幅响应,在三苯胺基查尔酮分子骨架中引入芘基扩展分子π共轭结构,设计并合成了两个三苯胺基查尔酮衍生物T1和T2。利用光限幅实验研究并比较了它们在纳秒时域532 nm处的光限幅性能,测得的光限幅阈值低至0.72 J cm-2。结合飞秒瞬态吸收光谱、简并泵浦探测实验和纳秒Z扫描技术系统地分析了主导光限幅性能的光物理机制。研究发现三苯胺基查尔酮衍生物是一种具有简单分子构型、优良光限幅响应的有机光限幅材料。此外,通过引入多环芳基扩展分子π共轭结构,有利于增大三苯胺基查尔酮衍生物激发态吸收截面。 （4）为了研究π共轭结构对D-A型扭转并苯衍生物反饱和吸收的调制作用,设计并合成了四个包含不同末端扭转π共轭单元的扭转并苯材料H1、H2、H3和H4。利用瞬态吸收光谱实验和Z扫描技术,系统地研究了扭转并苯材料宽波段的激发态吸收性能和飞秒、皮秒及纳秒时域下的反饱和吸收响应。同时,利用空穴-电子分析理论地表征了激发态电子跃迁特性。研究发现,在这类多环芳烃材料中,扩展分子π共轭结构能显著增强材料的反饱和吸收性能。此外,扭转并苯衍生物均表现出宽波段的激发态吸收特性,通过将扭转并苯类多环芳烃结构与三苯胺基查尔酮分子骨架相结合,有望进一步提升材料的激发态吸收性能。

关键词： 交通数据填补   低秩张量补全   Tucker分解  

摘要： 随着传感技术的发展与监控设备的普及,越来越多的交通数据可以以高分辨率的时空特征获取,这些数据在智能交通系统(ITS)中有着广泛的应用,例如交通流量预测、车辆行程规划等。然而,随着交通数据的大量收集,由于收集设备损坏和天气原因造成的交通数据丢失是一个无法避免的普遍问题,缺失的交通数据被精确地填补对于智能交通系统中的很多应用有着至关重要的作用,我们旨在通过将缺失的交通数据填补问题转换为张量补全或张量分解问题来填补缺失的交通数据。因此,本文中主要针对缺失的交通速度数据和交通流量数据填补任务展开了深入的研究。本文在低秩张量补全(LRTC)和Tucker分解技术下,针对交通数据填补中主要的两个问题展开研究:(1)交通数据填补的数据初始化问题,并在此基础上提出高精度的初始化策略;(2)适用于真实世界各种缺失情景下的高精度填补模型,并充分利用交通数据的时空特征。本文主要的贡献有以下几个方面:(1)针对交通数据填补中的数据初始化问题,本文提出了一个基于截断核范数最小化的低秩张量补全模型,并且使用高效的交替方向乘子(ADMM)优化算法来解决模型的优化问题。通过设置灵活的秩来截断张量的不同维度,更好地发掘时空交通数据中的隐藏模式。在真实世界的交通数据集上,通过在五种不同的缺失情况下进行广泛的对比实验,证明提出的模型有较高的填补精度,初始化性能较好。(2)提出了一种基于时空正则化张量分解模型,该模型先利用高精度的初始化方法预填充缺失的原始数据,然后通过设置奇异值比值阈值进行高阶截断奇异值分解(HOSVD),并在优化模型中加入时空相关的正则化项,最后通过梯度下降优化方法优化模型。在公共数据集(美国西雅图)上进行广泛的实验,在五种类似真实世界的缺失情况下,证明提出的模型较最先进的深度学习方法以及张量补全方法具有一定的优越性。

关键词： 弱群逆   弱核逆   MP弱核逆   吸收律  

摘要： 广义逆被广泛应用于数理统计、系统理论、优化理论、机器人等领域.在复数域、环、Hilbert空间中,广义逆的吸收律有着广泛的研究.多线性系统为工程和科学中的许多现象建模,张量被用来解决多线性系统的问题.因此,通过爱因斯坦积研究张量广义逆的吸收律将更适用.本文主要研究爱因斯坦积下张量的弱群逆,弱核逆和MP弱核逆的概念以及相关性质,讨论了张量广义逆吸收律的一些充要条件,全文内容分为四部分.第一部分,主要介绍张量广义逆理论和吸收律的发展历史以及国内外研究现状.第二部分,介绍本文要用到的一些符号,以及有关的张量广义逆的概念和引理.第三部分,首先对爱因斯坦积下张量的弱群逆和弱核逆进行定义,给出它们的相关性质.在此基础上,引入张量MP弱核逆,对其进行简单的刻画并给出相关性质.第四部分,在已有定义的爱因斯坦积下广义逆的基础上给出了张量MoorePenrose逆,Drazin逆,群逆,DMP逆,核逆,核EP逆,弱群逆和弱核逆的吸收律的充要条件,并给出了相应的例子.最后,考虑张量{i,j}-逆的吸收律.

关键词： 磁共振扩散张量图像   深度学习   估计精度   图像去噪  

摘要： 磁共振成像(MagneticResonanceImaging)因其具有非侵入式，无电离辐射等优势，已经成为临床诊断和生命科学研究的重要技术手段之一。但常规的磁共振成像所显示的是人体内部不同组织结构的灰度断面图像，无法进一步评估微观的肌体组织结构状态，这在一定的程度上限制了其临床应用的范围。磁共振扩散张量成像(DiffusionTensorImaging,DTI)是一种不需要任何造影剂、无创的技术手段。从微观的角度出发，该技术在测量和评估心肌及大脑的微观结构上具有无与伦比的能力。但是由于扫描时间过长以及采集到的图像信噪比低，噪声污染严重，成为该技术一直难以大范围在临床推广的瓶颈。　　围绕存在的上述两个问题，本文主要研究工作和贡献如下:　　一、针对磁共振扩散张量成像采集时间成本成倍增加的问题，本文提出了一个基于深度学习的框架(FG-Net)实现了仅使用6副扩散加权图像(DWIs)拟合出精度较高的DTI参数图。FG-Net从六个输入DWIs中生成了不同扩散梯度方向的DWIs,以补充损失信息并提高DTI参数的估计精度，并在两组离体心脏数据集上验证了算法的有效性。FG-Net在定性和定量指标上都优于传统的张量拟合和黑盒网络拟合，同时还证明FG-Net可以在不同b值的DWIs中获得高精度的各向异性参数图和螺旋角图。　　二、针对于磁共振扩散张量成像技术采集到的DWIs噪声污染严重，信噪比低的问题，本文提出了一种基于分数的磁共振扩散张量成像去噪的扩散模型(DMDM),实现了以自监督的方式训练生成信息先验，并证明了使用朗之万动力学方程(LangevinDynamics)进行后验采样可以实现对DWIs的高质量去噪。在公共的脑部DTI数据集上进行实验评估的结果表明，DMDM模型具有优越的去噪效果，且在DTI参数图的拟合上效果均优于所对比的去噪方法。