关键词： 语音增强   语音分离   脉冲编码   序列学习   知识蒸馏   声纹线索   视觉线索   听觉感知恢复  

摘要： 智能语音处理成为人机交互过程中重要的一环，被用到越来越多的智能设备中。语音增强与分离算法通常作为智能语音设备中的前端模块，增强和分离出目标语音，以提升自动语音识别、说话人识别等后端模块的识别性能。由于其实用价值，语音增强与分离算法被广泛地研究，并且是语音信号处理领域中的一个重要研究课题。语音增强与分离算法最初源于对鸡尾酒会问题的研究。回顾语音增强与分离算法的发展历程，当今主流研究逐渐往基于深度神经网络的语音增强与分离算法发展。尽管基于深度神经网络的语音增强与分离算法在标准数据集上取得了卓越的性能，由于其模型复杂性和计算量，部署到资源受限、功耗受限的端侧设备上仍面临挑战。与智能机器相比，动物的听觉系统往往能以更低的功耗，较为高效鲁棒地处理复杂的听觉场景。本文将围绕面向鸡尾酒会问题的听觉场景，从更节能、更轻量化、更鲁棒的角度出发，探索和研究面向低功耗的语音增强与分离算法。本文的主要贡献包括以下几点:　　1.本文提出一种基于脉冲编码与序列学习的语音增强与分离算法。脉冲神经网络是第三代神经网络，可以学习输入刺激的精确脉冲序列。脉冲神经网络的事件驱动特性使得其部署在专用芯片上时具有低功耗、高效率的特点。同时语音信号富含丰富的时空结构，因此脉冲神经网络是学习语音的时空结构的一个自然选择。本文首次将有监督的脉冲神经网络应用到语音增强与分离算法建模中。为了将语音刺激转换成脉冲序列，受神经科学中发现的编码方式的启发，我们提出两种时序编码方式，即时序-频率编码和时序-群体编码。我们进一步将动量和Nesterov加速梯度引入到远程监督方法(Remote Supervised Method，ReSuMe)中，分别得到ReSuMe-M和ReSuMe-NAG，提高脉冲神经网络训练收敛的速度和性能。实验结果表明，脉冲神经网络在建模语音增强与分离任务上具有一定的潜力。　　2.本文提出一种基于知识蒸馏和量化训练的语音增强与分离算法。虽然上一个工作的实验结果显示脉冲神经网络在应用到语音增强与分离任务时具有一定的潜力，但是由于缺乏有效的优化训练算法去提高脉冲神经网络的准确率，脉冲神经网络的性能有待提升。降低功耗的另一个思路是运用模型压缩技术对复杂模型进行压缩，减小参数量和模型尺度，降低计算成本。由此，本文利用模型压缩技术并提出蒸馏敏感的量化(Distillation-Aware Quantization，DAQ)算法对基于声纹辅助的深度神经语音增强与分离模型进行压缩。DAQ算法结合量化技术和知识蒸馏，将模型的权重应用量化函数做逐层非均匀量化，将激活应用最小-最大线性量化进行8比特量化。为了进一步提升低精度模型的性能，我们引入知识蒸馏，将全精度模型当作教师模型，将低精度模型当作学生模型。DAQ能够以端到端的方式进行训练。我们在之前提出的语音增强与分离模型WASE上使用DAQ，并提出用DAQ训练的低精度版本TinyWASE。WSJ0-2mix的结果显示我们提出的方法在权重量化到3比特的情况下也能实现和全精度模型相媲美的性能，实现了8.97的压缩比和2.15MB的模型尺寸。实验结果还显示我们提出的TinyWASE可以和其他模型压缩算法结合，比如参数共享，通过牺牲一定的性能实现达到23.81的压缩比。　　3.基于上一个工作，本文进行进一步拓展，融合声纹线索和视觉线索，提出一种基于组通信的多模态多通道的轻量化语音增强与分离算法。我们提出LiMuSE (Lightweight Multi-modal Speaker Extraction)。LiMuSE将组通信(Group Communication)模块引入到时序卷积网络(Temporal Convolutional Networks，TCN)组成基于组通信的TCN模块。基于组通信的TCN网络被用在上下文编译码器，沿着时间维度将长语音序列压缩成更短的时序序列;同时被用在听觉模块和融合模块中，沿着特征维度压缩模型以减轻主干网络的建模负担。LiMuSE进一步利用量化技术压缩模型尺寸。在GRID数据集上的实验结果表明，引入组通信和上下文编译码器到多模态模型中能够以更少的参数和更小的模型复杂度实现和全精度模型媲美甚至略优的性能。　　4.尽管人类听觉系统能同时从混合语音中提取出目标信号并且恢复受损或者缺失的部分，目前主流语音增强与分离算法一般仅关注目标语音的增强与分离，而无法恢复受损或缺失的部分。本文将再进一步，研究听觉感知恢复的计算建模及其轻量化优化。本文提出一种基于听觉感知恢复的语音增强与分离算法，其目标是恢复含有噪声含有缺失的混合语音中的目标语音。我们提出HCRN(Hourglass-shaped Convolutional Recurrent Networks)去抑制背景噪音的同时恢复目标语音中缺失的部分。为了进一步提升算法的

关键词： 大规模MIMO   毫米波   预编码   天线选择   神经网络  

摘要： 5G通信系统中人工智能、物联网等技术的广泛使用,增加了对带宽、网速以及时延的要求,毫米波(Millimeter Wave,mm Wave)技术以及大规模多输入多输出(Multiple Input Multiple Output,MIMO)的使用能够获得更多的频段资源以及增加系统的容量。为了能够充分发挥mmWave大规模MIMO系统所带来的系统增益,减少系统中射频(Radio Frequency,RF)链的使用和计算复杂度,所以设计计算简单的混合预编码器和天线选择网络是解决上述问题的途径之一。首先,交替最小优化(Manifold Optimization-Alternating Minimization,MO-Altmin)算法能减少混合预编码器在频谱效率方面存在的损失,然而MO-Altmin的嵌套环结构会导致算法收敛缓慢,因此本文改进MO-Altmin中的梯度算法,从而构成了复杂斜流形快速优化算法,该算法可降低MO-Altmin中由于嵌套环结构导致的迭代复杂性。由实验结果可知,提出的算法在频谱性能方面趋近于全数字预编码,且对RF链的依赖程度较低。其次,针对传统混合预编码算法在处理大量数据集时无法获得较优性能的问题,提出了基于深度神经网络(Deep Connected Neural Network,DNN)的混合预编码算法。利用神经网络输入和输出存在的线性关系,将信道矩阵作为输入,输出模拟预编码之后根据最小二乘法求解相应的数字预编码,由于全连接架构的部署难度比部分连接难,因此将天线选择和基于DNN的混合预编码进行联合设计。实验结果表明,DNN算法的性能几乎达到和全数字预编码一样,且复杂度也比较低。最后,在模拟预编码部分进行改进,在发送端引入电磁透镜,电磁透镜本身的能量聚焦特点,能将能量集中的天线进行选择并进行定向发送。神经网络在对大量数据进行处理以及分类领域具有一定的优势,所以将电磁透镜和神经网络相结合提出了一种DNN的电磁透镜阵列天线选择算法,该算法在系统性能保持一定的条件下使用了少量的射频链路。实验结果表明,提出算法的和速率基本趋近于穷搜法,同时比K-近邻算法、逻辑回归算法的准确率提高了 2%、7%。

关键词： 标志位   定时器   Timer   寄存器   超低功耗单片机   中断  

摘要： 定时器的中断包括溢出中断、比较中断、捕获中断3种类型。Timer1_A3定时器的中断标志位当定时器Timer1_A3发生中断时,相应的中断标志位被置1。需要注意的是,这些定时器的中断标志位来自多个寄存器。

关键词： 逐次逼近   模数转换器   电容阵列   低功耗  

摘要： 逐次逼近型模数转换器(successive approximation register analog-digital converter,SAR ADC)的电容阵列在比较过程中开关切换所产生的功耗是SAR ADC电路的主要能耗来源之一。为了降低电容阵列(DAC)的功耗,本文提出一种应用于低采样率低功耗的逐次逼近型模数转换器的高效低功耗开关策略。该开关策略采用V ref,GND,0.5V ref(Vcm),0.25V ref为电路的参考基准源。通过将最高位电容拆分为与次高位电容值相同的两个并联电容,同时将最高位电容预先连接低电平GND,其余位电容连接Vcm,使得在前三次比较过程中开关切换产生的功耗为0。仿真结果表明,相比较于传统的电容阵列DAC结构,本文提出的高位拆分的高效DAC电容阵列结构可以降低99%的能耗,节省75%的面积。

关键词： 事件驱动   低功耗单片机   信号处理   传感器  

摘要： 提出了一种带有事件驱动传感器数据处理单元的单片机设计方法,以为基本事件活动感测应用中的物联网设备提供节能的传感器数据采集。使用远程安装的IoT传感器设备的事件感测应用程序具有较长的事件距离特性,因此,在一定精度误差范围内,传感器数据处理足以从收集的感测数据中提取适当的事件。拟议的信号-事件转换器(S2E)作为常规传感器接口的预处理器,用于提取一组具有感兴趣的特定特征的基本事件,并对传入传感器信号的特征点进行早期评估。所提出的单片机架构实现了针对基本事件传感应用的节能信号处理。实验结果表明,与传统传感器数据处理方法相比,基于低功耗单片机的事件驱动信号处理方法仅消耗20%能量,有效降低了能耗。

关键词： 超低功耗   电池寿命   能量收集   能量消耗   MCU  

摘要： 全新的Simple Link^(TM)CC26xx/CC13xx超低功耗平台适用于Bluetooth■Smart、6Lo WPAN、ZigBee■、频率不到1GHz的Zig Bee RF4CE^(TM),在打造和设计时充分考虑到了低功耗。确保我们的解决方案能量消耗尽可能降低,从而支持更长的电池寿命、型号更小的电池乃至适合无电池应用的能量收集功能——我们已察看了对实现这些目标而言至关重要的方方面面。

关键词： NB-IoT   低功耗   燃气流量计   数据采集   IoT云平台  

摘要： 针对工商业燃气用量大、用户地域分散、抄表困难以及通过GPRS和4G网络抄表功耗大等问题,该文设计了一种基于NB-IoT的无线数据采集器,具有远程抄表、远程充值、远程阀控、告警主动上报等功能。实验及测试结果表明,所设计的无线数据采集器具有性能稳定、功耗低的优势。

关键词： 电压基准源   PVT补偿   皮安电流   超低功耗   高精度  

摘要： 设计了一种皮安级电源电流的高精度电压基准源。采用一种新型的PVT(工艺、电源、温度)补偿技术,在保证超低功耗的同时,有效抑制了PVT变化对电路性能的影响,提高了基准电压的稳定性和精度。基于标准0.18μm CMOS工艺进行设计,采用Spectre进行仿真。结果表明,在0.9~1.8 V输入电源电压下,输出电压为755.5 mV,线性调整率为4.16×10^(-6)/V,电源抑制比为-95.5 dB@10 Hz, 3δ误差为0.11%。在-20℃~120℃范围内,平均温度系数为1.65×10^(-5)/℃。室温环境下,典型工作电流为347 pA。该电压基准源性能优良,适用于低功耗物联网应用系统。

关键词： 自旋轨道扭矩-磁随机存储器(SOT-MRAM)   磁隧道结   低功耗   自终止  

摘要： 本文提出了在典型2T1MTJ自旋轨道扭矩-磁随机存储器(SOT-MRAM)阵列的源极线上增加平衡晶体管的新结构,有效解决对一个存储单元进行同时读写操作时读、写电流不对称的问题。该方案还与自终止写电路设计相结合,进一步降低了SOT-MRAM整体功耗。仿真结果表明,与典型SOT-MRAM写电路方案相比,本文的方案有效降低了77.35%的写入功耗。

关键词： 单目视觉里程计   单目深度估计   卷积神经网络   神经网络结构优化  

摘要： 随着人工智能、精密机械和计算技术的发展,微小型无人系统在未来战场上将会扮演重要的角色。为解决单目视觉里程计尺度缺失以及微型机器人自身体积和载荷限制带来的功耗问题,引入单目深度估计技术,构建了一个低视角数据集,通过搭建卷积神经网络从单张图像中预测深度信息,对神经网络模型进行结构优化,将深度估计与单目视觉里程计融合并部署到JetsonNano平台。实验表明,融合后的单目视觉里程计能够在特定环境下恢复尺度信息,在JetsonNano上的功耗能够保持在较低水平,可为微型无人系统在未来战场上的隐蔽化、轻量化部署提供一定的研究基础。