神经网络论文精品(七篇)

序论：写作是一种深度的自我表达。它要求我们深入探索自己的思想和情感，挖掘那些隐藏在内心深处的真相，好投稿为您带来了七篇神经网络论文范文，愿它们成为您写作过程中的灵感催化剂，助力您的创作。

篇(1)

关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习

模糊神经网络起源于20世纪80年代后期的日本,由于其简单、实用,已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而,如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则,研究人员提出了不同的算法,如文献[5]利用正交最小二乘算法确定径向基函数的中心,但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统,其算法使用了分层自组织学习策略,但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法,在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值,文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。

本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则,加速了网络学习过程,同时使用EKF调整网络的参数。在该算法中,模糊神经网络结构不是预先设定的,而是在学习过程中动态变化的,即在学习开始前没有一条模糊规则,在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比,本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长,特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然,如果设计者是领域专家,其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。

1SFNN的结构

本文采用与文献[9]相似的网络结构,如图1所示。其中,r是输入变量个数;xi(i=1,2,…,r)是输入语言变量;y是系统的输出;MFij是第i个输入变量的第j个隶属函数;Rj表示第j条模糊规则;wj是第j条规则的结果参数;u是系统总的规则数。

下面是对该网络各层含义的详细描述。

第一层:输入层。每个节点代表一个输入语言变量。

第二层:隶属函数层。每个节点代表一个隶属函数,隶属函数采用如下的高斯函数:

μij=exp(-(xi-cij)2σ2ij);i=1,2,…,r;j=1,2,…,u(1)

其中:r是输入变量数;u是隶属函数个数,也代表系统的总规则数;μij是xi的第j个高斯隶属函数;cij是xi的第j个高斯隶属函数的中心;σij是xi的第j个高斯隶属函数的宽度。

第三层:T-范数层。每个节点代表一个可能的模糊规则的IF-部分,也代表一个RBF单元,该层节点个数反映了模糊规则数。如果计算每个规则触发权的T-范数算子是乘法,则在第三层中第j条规则Rj的输出为

φj=exp(-ri=1(xi-cij)2σ2ij);j=1,2,…,u(2)

第四层:输出层。该层每个节点代表一个输出变量,该输出是所有输入变量的叠加。

y(X)=uj=1wjφj(3)

其中:y是网络的输出;wj是Then-部分。

2SFNN的学习算法

如前文所述,第三层的每个节点代表一个可能的模糊规则的IF-部分或者一个RBF单元。如果需要辨识系统的模糊规则数,则不能预先选择模糊神经网络的结构。于是,本文提出一种新的学习算法,该算法可以自动确定系统的模糊规则并能达到系统的特定性能。

2.1模糊规则的产生准则

在模糊神经网络中,如果模糊规则数太多,不仅增加系统的复杂性,而且增加计算负担和降低网络的泛化能力;如果规则数太少,系统将不能完全包含输入/输出状态空间,将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。

2.1.1系统误差

误差判据:对于第i个观测数据(xi,ti),其中xi是输入向量,ti是期望输出,由式(3)计算网络现有结构的全部输出yi。

定义:ei=ti-yi;i=1,2,…,n(4)

如果ei>keke=max(5)

则说明网络现有结构的性能比较差,要考虑增加一条新的规则;否则,不生成新规则。其中:ke是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0<β<1)是收敛因子。

2.1.2可容纳边界

从某种意义上来讲,模糊神经网络结构的学习是对输入空间的高效划分。模糊神经网络的性能和结构与输入隶属函数紧密相关。本文使用的是高斯隶属函数,高斯函数输出随着与中心距离的增加而单调递减。当输入变量采用高斯隶属函数时,则认为整个输入空间由一系列高斯隶属函数所划分。如果某个新样本位于某个已存在的高斯隶属函数覆盖范围内,则该新样本可以用已存在的高斯隶属函数表示,不需要网络生成新的高斯单元。

可容纳边界:对于第i个观测数据(xi,ti),计算第i个输入值xi与已有RBF单元的中心cj之间的距离di(j),即

di(j)=xi-cj;i=1,2,…,n;j=1,2,…,u(6)

其中:u是现有的模糊规则或RBF单元的数量。令

di,min=argmin(di(j))(7)

如果di,min>kd,kd=max[dmax×γi,dmin](8)

则说明已存在的输入隶属函数不能有效地划分输入空间。因此,需要增加一条新的模糊规则,否则,观测数据可以由已存在的距离它最近的RBF单元表示。其中:kd是可容纳边界的有效半径;dmax是输入空间的最大长度;dmin是所关心的最小长度;γ(0<γ<1)是衰减因子论文。

2.1.3误差下降率

传统的学习算法把误差减少率(ERR)[5]用于网络生长后的修剪过程,算法会因为修剪过程而增加计算负担,降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则,算法无须经过修剪过程,从而加速网络的学习过程。

给定n个输入/输出数据对(xi,ti),t=1,2,…,n,把式(3)看做线性回归模型的一种特殊情况,该线性回归模型为

t(i)=uj=1hj(i)θj+ε(i)(9)

式(9)可简写为

D=H+E(10)

D=TT∈Rn是期望输出,H=φT∈Rn×u是回归量,=WT∈Ru是权值向量,并且假设E∈Rn是与回归量不相关的误差向量。

对于矩阵φ,如果它的行数大于列数,通过QR分解:

H=PQ(11)

可把H变换成一组正交基向量集P=[p1,p2,…,pu]∈Rn×u,其维数与H的维数相同,各列向量构成正交基,Q∈Ru×u是一个上三角矩阵。通过这一变换,有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)可得

D=PQ+E=PG+E(12)

G的线性最小二乘解为G=(PTP)-1PTD,或

gk=pTkDpTkpk;k=1,2,…,u(13)

Q和满足下面的方程:

Q=G(14)

当k≠l时,pk和pl正交,D的平方和由式(15)给出:

DTD=uk=1g2kpTkpk+ETE(15)

去掉均值后,D的方差由式(16)给出:

n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)

由式(16)可以看到,n-1uk=1g2kpTkpk是由回归量pk所造成的期望输出方差的一部分。因此,pk的误差下降率可以定义如下:

errk=g2kpTkpkDTD,1≤k≤u(17)

把式(13)代入式(17)可得

errk=(pTkD)2pTkpkDTD,1≤k≤u(18)

式(18)为寻找重要回归量子集提供了一种简单而有效的方法,其意义在于errk揭示了pk和D的相似性。errk值越大,表示pk和D的相似度越大,且pk对于输出影响越显著。利用ERR定义泛化因子(GF),GF可以检验算法的泛化能力,并进一步简化和加速学习过程。定义:

GF=uk=1errk(19)

如果GF

2.2参数调整

需要注意的是,不管是新生成的隐节点还是已存在的隐节点,都需要对网络参数进行调整。传统的方法是使用LLS[10]方法对网络参数进行调整,本文提出使用EKF方法调节网络的参数。由于LLS方法在确定最优参数时计算简单、速度快,但该方法对噪声敏感,其学习速度随着信噪比的增加而下降。另外,与LLS方法相关的问题是其求解可能是病态的,这使得参数估计变得很困难。EKF方法由于其自适应过程比较复杂,计算速度没有LLS方法快,但是EKF方法在噪声环境下具有鲁棒性,使用EKF方法可以实现一种健壮的在线学习算法。网络参数可以用下面的EKF[11]方法进行调整。事实上,网络的参数向量θ可以看做一个非线性系统的状态,并用下面的方程描述:

θi=θi-1

ti=h(θi-1,Xi)+ei(20)

在当前的估计值i-1处将非线性函数h(θi-1,Xi)展开,则状态模型可以重写为

θi=θi-1

ti=Hiθi-1+εi+ei(21)

其中:εi=h(i-1,Xi)-Hii-1+ρi。Hi是如下的梯度向量:

Hi=h(θ,Xi)θ|θ=i-1(22)

参数向量θ使用下面的扩展卡尔曼滤波算法更新:

Ki=Pi-1HTi[HiPi-1HTi+Ri]-1

θi=θi-1+Ki(ti-h(θi-1,Xi))

Pi=Pi-1-KiHiPi-1+Qi(23)

其中:Ki是卡尔曼增益矩阵;Pi是逼近误差方差阵;Ri是量测噪声方差阵;Qi是过程噪声方差阵。

全局扩展卡尔曼滤波算法会涉及大型矩阵运算,增加计算负担,因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性,利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性,利用卡尔曼滤波算法对其进行调整,该方法等同于将全局方法简化为一系列解耦方法,可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显,为了简化计算,只对高斯隶属函数的宽度进行调整。

前件参数使用如下的扩展卡尔曼滤波算法更新:

Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1

δi=δi-1+Kδi(Ti-wi-1φi)

Pδi=Pδi-1-KδiGiPδi-1+Qi(24)

后件参数使用如下的卡尔曼滤波算法更新:

Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1

wi=wi-1+Kwi(Ti-wi-1φi)

Pwi=Pwi-1-KwiφiPwi-1+Qi(25)

2.3模糊规则的增加过程

在SFNN学习算法中,模糊规则增加过程如下:

a)初始参数分配。当得到第一个观测数据(X1,t1)时,此时的网络还没有建立起来,因此这个数据将被选为第一条模糊规则:c0=X0,δ1=δ0,w1=t1。其中δ0是预先设定的常数。

b)生长过程。当得到第i个观测数据(Xi,ti)时,假设在第三层中已存在u个隐含神经元,根据式(4)(7)和(19),分别计算ei、di,min、GF。如果

ei>ke,di,min>kd,且GF

则增加一个新的隐含神经元。其中ke、kd分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:Cu+1=Xi,δu+1=k0di,min,wu+1=ei,其中k0(k0>1)是重叠因子。

c)参数调整。当增加新神经元后,所有已有神经元的参数通过式(24)(25)描述的算法调整。

3仿真研究

时间序列预测在解决许多实际问题中是非常重要的。它在经济预测、信号处理等很多领域都得到了广泛应用。

本文采用的时间序列由Mackey-Glass差分延迟方程产生,其方程定义为[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)

为了能够与文献[5,6]在相同的基础上进行比较,取值Δt=P=6,式(27)中的参数选择为:a=0.1,b=0.2,τ=17。预测模型表示为x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)

为了获得时间序列,利用式(27)生成2000个数据,式(27)的初始条件为:x(0)=1.2。为了训练和测试,在t=124和t=1123之间选择1000个样本作为式(28)的输入/输出样本数据。使用前500个数据对作为训练数据集,后面的500个数据对验证该模型的预测性能。图2显示了SFNN生成的模糊规则数;图3显示了从t=124到t=623的训练结果;图4显示了SFNN良好的预测性能。表1列出了SFNN与其他算法的比较结果。表1显示,与OLS、RBF-AFS算法相比,SFNN具有最少的规则数、最小的误差和良好的泛化能力,同时具有快速的学习速度。SFNN的快速性就在于:采用无须修剪过程的生长准则,加速了网络学习过程;利用扩展卡尔曼滤波调整网络的参数,可以缩短网络的学习周期。从上面的分析可以看出,SFNN具有紧凑的结构、快速的学习速度、良好的逼近精度和泛化能力。

4结束语

SFNN采用在线学习方法、参数估计和结构辨识同时进行,提高了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的结构,网络结构不会持续增长,避免了过拟合及过训练现象,确保了系统的泛化能力。

参考文献:

[1]

HUANGHuan,WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences,2009,179(16):2762-2773.

[2]DENGXing-sheng,WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems,2009,160(7):972-987.

[3]韦玉科,汪仁煌,李江平,等.一种新的数据智能化处理算法[J].计算机应用研究,2008,25(5):1328-1329.

[4]CHENSheng,HONGXia,LUKBL,etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting,2009,72(10-12):2670-2681.

[5]CHENS,COWANCFN,GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks,1991,2(2):302-309.

[6]CHOKB,WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems,1996,83(3):325-339.

[7]RIVALSI,PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing,1998,20(1):279-294.

[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing,2002,48(1):455-475.

[9]WUShi-qian,ERMJ,GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems,2001,9(4):578-594.

篇(2)

由于数据的获取难度较大，因此本文借用了相关文章的数据[4]，选取了湖南省十一个省市的数据作为研究的样本，为了确保输入数据（包括训练以及将来要预测的数据）在比较接近的范围里，我们需要对数据进行归一化处理。本文的数据主要包括输入数据和期望输出数据，输入数据主要是湖南省十一个市的电子政务指标数据，包括16个输入维度，输出的是对电子政务系统的评价结果，主要包括：好、较好、一般、较差、差五个结果。利用下面的线性函数转换方法完成数据的归一化。公式中的P为归一化处理后的数据，P1为原始数据，P1min为原始数据中的最小值，P1max为原始数据中的最大值。通常情况下，用于测试的输入数据所对应的输出数据不是量化数据，比如本文中所提到的好、较好、一般、较差、差五个结果。因此本文的输出数据主要使用的是专家评价得出的分数，来对电子政务绩效做出评价，分数评价结果的对应关系为：1-3为差，3-5为较差，5-7为一般，7-9为较好，9以上为好。经过归一化处理过的指标数据和通过专家评价得出的评价结果如表2所示。

2输入层、输出层及隐层节点的设计

由于一个三层的前向网络具有以任意精度逼近任意一个非线性函数的能力，因此，只需构造一个输入层、一个隐层和一个输出层的3层神经网络。本文中的电子政务绩效评价指标体系共包括成本效益、服务对象、内部运营及学习与发展四个指标维度，然后又将其细分成16项三级指标，也就是说神经网络输入层的维度为16，即输入层神经元个数Pn=16。输出层输出的结果是我们对电子政务系统的评价，而我们把评价结果好、较好、一般、较差、差作为网络的唯一输出，因此，输出层神经元个数为r=1。1988年Cybenko[11]大量的研究表明在三层神经网络中一个隐藏层就可以实现任意分类的问题，以任何精度来实现任意非线性的输入和输出的映射。本文将隐藏层设置为一层。隐藏层节点的选择也是一个复杂的问题，如果隐层节点数比较少的话，则有可能导致网络训练者性能很差；如果选择较多的隐层节点数，虽然能够降低系统误差，但是会使网络训练的时间增加，而且也极易使训练陷入局部极小点而得不到最优点，最终会导致训练出现“过拟合”的现象。其中n为输入层节点数，m为输出层节点数，a为1~10之间的常数。

3基于BP神经网络的电子政务绩效评价模型的设计

利用BP神经网络对电子政务绩效进行评价的主要步骤有：第一步：根据电子政务发展过程中的相关影响因素，选取合适的电子政务绩效评价的指标数据，利用相关的算法对指标数据进行标准化处理[5]，将处理后的指标数据x1，x2，x3，⋯，xn作为输入BP神经网络的输入值。第二步：在输入层输入数据以后，数据会在神经网络中正向传播，数据在隐藏层进行一层一层的处理，然后会把处理后的数据传向输出层，输出层得到的数据就是实际的输出值Y。第三步：当输出层得到实际的输出值以后，会和期望值进行比较，如果输出值和期望值不相等，那么会根据相关的公式计算出误差，然后把误差信号按照原来的路径进行反向的传播，通过不断的循环的传播来调整隐藏层神经元的权重，从而使误差越来越小。第四步：不断的重复前面的第二步和第三步，一直到误差可以小到某个阈值，然后停止训练和学习，只有选择的样本足够多时，神经网络的训练才更精确，输入的样本数据不同，得到的输出向量也会不同，当所有的数据样本的数据值和期望值误差最小的时候，综合评价结果更为接近，神经网络的权重值Wij就是BP神经网络通过训练和自适应的学习得到的一个内部的表示。对选取的样本进行训练以后，我们就可以利用BP神经网络的训练模型对电子政务绩效进行评价，而且可以对大规模的电子政务进行绩效评价，因为神经网络具有一定鲁棒性[6]，那么会导致出现主观综合评价值在一定的程度会与实际值存在少量偏差，但是这个偏差不会影响评价结果。

4应用粒子群算法优化BP神经网络模型

1995年两位美国学者对鸟群的群体迁徙和觅食的过程进行了模拟，从而提出了一种智能的优化算法-粒子群优化算法[7]（ParticleSwarmOptimization，PSO），随着近年来粒子群算法的不断应用，已经逐渐成为一种新的优化算法。粒子相继两次位置的改变取决于粒子当前位置相对于其历史最佳位置和群体历史最佳位置的变化。因此，若把网络的权值看作是PSO算法中粒子的位置，则在网络训练过程中，相继两次权值的改变可视作粒子的位置的改变。因而类比公式3，网络的权值改变量计算公式。

5实例分析

篇(3)

关键词：神经网络；滞环；变流器

1引言

如何提高工业用电的效率和减小谐波污染已倍受关注。在工业用电中，大部分电能是要经过变换才能用于生产的。由于快速功率开关性能的进一步提高，基于脉宽调制功率变换电路已经日益成为人们提高供电系统功率因数，降低谐波污染的有力工具，因而成为人们研究的热点。其中三相全控型电压源功率变换装置，主电路如图1所示。经过十余年的研究，已经开始实用化[1,2]。三相变流器的最流行的控制方式是采用双环控制。外环用于调整输出电压，快速的电流内环调节器常用来调节交流输入电流使其跟踪期望的电流轨迹，得到单位功率因数和低谐波的电流。

为提高系统的性能，采用神经网络滞环调节器[4~6]。神经网络控制作为一种极有潜力的控制手段吸引了众多的学者，因神经网络具有并行处理能力、自学习能力、容错能力，很适合于处理非线性系统的控制问题。在相对变化较慢的速度、温度、位置等物理量控制中取得成功的应用。但在速度较快的物理量的控制中，应用较少。

在电力电子学领域，神经网络多用于系统模型辨识，故障诊断等。随着DSP的运算速度的不断增加，使神经网络在快速量控制中应用成为可能。在各种变流器直接电流控制方式中，滞环控制是一种有效、简单的控制方式，两者的结合可以发挥各自的优势。滞环电流控制方式不需要系统更多的参数，运行容易，具有快速的电流响应和限幅能力[7]。但系统开关频率不固定，在严重的非平衡条件下，系统稳定性变差，产生大量的电流谐波，同时影响开关频率的变化。本文所用调节器，可以提高系统的鲁棒性。为了减少PWM技术在变换器中的损耗并获得优化的输出电流，减小EMI，采用矢量控制的基本思想[9]，给出基于滞环空间矢量控制方式的电流控制器。若使系统数字化，开关频率可由采样时间控制。

2基于神经网络的电流滞环控制器

电流滞环控制器运行时无需系统的储能器件的具体参数信息。用BP神经网络来替代传统电流滞环调节器，在滞环控制的基本控制思路上训练一个神经网络控制器来实现滞环控制控制的功能，导师信号如表1所示。基于神经网络滞环控制的系统控制结构框图如图2。三相电流的误差信号送入神经网络中，参与计算，输出开关信号S1，S3，S5，经过逻辑合成后加到主电路的驱动电路上。

图2所示神经网络调节器，该网络有3层（3-5-3结构）。节点的作用函数采用Sigmoid函数

式中是第r步迭代时第k层第i个神经元节点对于第h个样本输入时输出；为第r步时第k层第i个神经元节点对于第h个样本输入时所接收到的上1层（第k-1层）的输入总和

点的阈值。

各点的权值Wij和阈值θij通过MATLAB软件求出，通过DSP编程数字实现。Wij

图3为系统在神经网络滞环控制器作用下系统仿真与实验波形。

图3a为给出阶越给定时三相电流的响应过程，表明该调节器具有较快的响应速度。

图3b，c，d给出了正常工况时的开关波形，电流波形，系统的单位功率因数波形显示。

图3e绘出了三相电压不平衡时的三相电流。电源参数为Ea=Eb=Ec/0.85。变流器基本保持了每相电压电流的同相位。

通过波形可以看出神经网络滞环控制器较好地实现了滞环控制器所有的基本功能。电流控制鲁棒性好，电流响应快的优点，同时可以限制器件的最高开关频率，提高了滞环系统抗不平衡能力。满足系统单位功率因数和低谐波的要求，同时它还具有一个新的优点：当某个电流误差信号丢失情况下仍然能正常工作。

3反馈丢失时的控制研究

反馈信号不正常是一种较为常见系统故障。常规数字滞环控制方案下，如果检测环节有故障，某一相电流反馈信号丢失，那么系统不能正常工作，系统线电流响应仿真曲线如图4a。但在神经网络控制电路中，由于神经网络的参与，调节器对单路反馈信号丢失具有一定的抑制作用。控制器检测电流反馈信号，如果连续3个周期检测到电流反馈信号为0，那么可确认反馈信号丢失，此时将该通道电流误差设为0，参与神经网络滞环调节器的运算，输出控制信号。系统实验波形如图4(b)~(d)，系统仍可以得到较好的输入电流与输出电压波形，这主要归功于神经网络的数据并行处理能力。从图4(b)~(d)中可以看出系统的电压电流响应还是较好的，对于单输入信号丢失的稳态电流波形显示出了很强的鲁棒性。而在同样参数的常规滞环电流控制下，当Dia丢失时，系统不能稳定工作。

4电流误差增益在线修正

从控制的效果来讲，如果滞环控制的容差带越小，那么系统输入电流的谐波成分就越小，THD值越接近于零。然而控制中由于系统参数的约束，如果容差带设计过小，系统难以实现，反而使得谐波成分增加。可以就额定负载下可以实现的容差带进行分析，然后留取一定的裕量，作为额定容差带，保证系统的条件能力。在控制中选择1.2倍的额定负载时允许的容差带作为导师信号中的δ值。

假设主电路3相参数对称，输入为理想三相正弦电压源，任意时刻总有三个开关处于开状态，另三个处于关状态。上下桥臂不能同时导通。这样，变流器的开关状态便形成8个开关函数。开关函数定义为如下：

di=(i=1,3,5)=1,当Si(i=1,3,5)导通，Sj(j=2,4,6)关断。di=0，当Si关断，Sj导通。

在1个开关周期内，假设占空比为Di。di=1时，输入端向负载端输出能量，电感电流减小；di=0时，输入电感存储能量，电感电流增加，电流波形如图5。

阶段1：

具有固定滞环带的电流控制方式有一些缺点。在滞环带范围内，由峰-峰电流的波动而产生的PWM频率的变化受基波波动的控制，同时，电流误差没有严格的控制。滞环控制系统中，滞环容差带是根据系统交流电流的额定工作点定的。这样，系统在低电流工作时，电流噪声成分相对增加，系统频谱变差。因此，根据静态工作点的改变，相应改变系统的滞环容差带，可以保证系统电流频谱不随功率变化而变，这种思想较为适合负载变动频繁的工作场合。系统的静态工作点的分析可以通过检测直流输出来得到，但不是最佳的方案，因为时间工作过程中系统负载特性可能较为复杂，阻性、感性、容性是不可预测的，暂态过程中输出电流与电压的相位难以维持相同。对于高频实时控制来讲，可以通过FFT算法来分析系统的功率输出获负载特性，但应用该方案负载程度增加。本文提出一种较为简单的控制方案。

将可逆变流器的三相静态电压量变换到两相旋转dq坐标系中，有

由于滞环控制可以控制系统功率因数为1，因此经过3/2变换后，输入有功功率是与d轴电流id成正比的，iq应该为0。设为id的标幺值，取额定负载时id的标幺值为1，所以在图2所示的基本控制器中，令，其中k在实现时要加下限幅。

则输入到神经网络中的电流为

nin=ki(6)

5空间矢量调制神经网络控制器

这里Vk是变流器的电压矢量。

任意时刻变流器期望端电压Vr的相角对应于了复平面上6个区域中的1个。Vr可由给定区域内的邻近矢量来构成，从而降低电磁噪声和开关次数[8]。

通过后面的仿真和实验我们可以看到滞环神经网络控制器结构简单，由于系统属于数字化实现，最高开关频率是固定的，在这一点上使得系统参数易于设计。但滞环控制开关的状态是难以确定的。因此变流器期望电压矢量一般不是由相邻的矢量构成Vr的，任意时刻开关的状态不可预知。

在滞环控制过程中，结合空间矢量调制原理，根据系统滞环条件的需要及系统此时期望矢量的位置来修正开关波形，形成如表2所示导师信号。导师信号中z区确定如图8a所示，经过这种修正后系统稳态时电流控制器所产生的开关随时间而呈现空间矢量调制的特点，图8b所示为空间矢量滞环调节稳态工作时开关波形，可以看出稳态时开关按照规律由同一区域的开关矢量来合成。

式中Vs是电压源矢量；i*s参考电流矢量。

6仿真与实验说明

系统中的参考电流可由下面的方程得到

I*=P*/E

这里E可由整流滤波取平均值的方式得到。

参考电压Uref同输出电压Uo的差值经PI调节后，取其为电流峰值参考，再分别与三相的同步信号相乘，得到内环电流的参考信号I*，得到瞬时参考电流给定ijcom(j=a,b,c)，再与实际相电流ij相比较得到电流误差信号ij，与K相乘然后输入神经网络控制器，神经网络的输出即为开关信号算法由DSP（TiTMS320c240[9]）来实现。主要参数及检测设备如下：

7结论

本文研究了三相变流器的神经网络控制方案。①将神经网络控制技术与电力电子电路滞环控制结合起来，实现了神经网络在快速变化量控制中的应用，可以提高系统鲁棒性与控制的容错能力，在三相输入电源不平衡和某一相负载电流反馈丢失时，系统依然保持较好的控制性能；②评估系统负载特性，并根据负载的变化而改变电流误差增益，有助于提高系统电流控制性能，全程优化谐波，算法较为简单；③容差带与负载特性、开关频率有机结合，才能保证系统的调节能力；④为了减小开关频率和开关损失，采用了将空间矢量调制运用到滞环控制中的技术，由于采用数字神经网络进行调节，易于实现。

参考文献

[1]邬伟扬，郑颖楠，刘彦民（WuWeiyang，ZhengYingnang，LiuYanmin）．AC/DC功率变流技术的发展与现状（AreviewofAC/DCpowerconversiontechnique）[R]．西安：中国电力电子技术学会五届一次理事会学术报告（xi’an：DissertationofChinapowerelectroniccouncilconference），1999．

[2]WeiyangWu，YingnanZheng，etal．Anovelindireetcurrentcontrolledrealizationforthethreephasevoltagesoureereversibleconverter[C]．IPEMC’2000August2000，TsinghuaUniversityBeijing，China.

[3]KiTaePark，JunKooKang，SeungKiSul．AnalysisanddesignofthreephaseboostPWMconverteragainstpowerdisturbances[C]．1997，774-776．

[4]FumioHarashima，etal．Applicationofneuralnetworkstopowerconvertercontrol[C]．Conf.Rec.IEEE-IASAnnu.Meeting,Conf.Rxc,1989，1087-1091．

[5]KamranF．Animproveddead-beatrectifierregulatorusinganeuralnetpredictor[C]．IEEE，PESC，1994，1431-1436．

[6]MalesaniL．AnovelhysteresiscontrolmethodforcurrentcontrolledvoltagesourcePWMinverterwithconstantmodulationfrequency[J]．IEEETransationsonIA，1990，26(1)：88-92．

篇(4)

1．1采用计算机模拟技术建立模拟模型

对BP神经网络模拟模型建立的基础，人们是这样认为的，因为影响工程造价的因素，大多数人们都是没办法确定的，所以我们不需要把这个值具体是多少确定下来，而是从另一个方面考虑，根据这个项目的基本情况，估计实际的造价落在某个范围的机会会大一些，这个思想就是计算机模拟技术建立模拟模型的理论基础。

1．2人工智能模型

工程造价估算专家系统，是通过人工智能，加上知识库技术而建立起来的，可是这种人工智能模型主要靠专家的知识，来对工程造价进行估计计算的，但是估算的结果是被估算人员的主观意识所影响的，不同专家的性格，知识面的宽窄，经验丰富与否、都是不确定因素，几乎可以会所不一样的估算专家所得出的结果都不会一样。这种方法很容易带有个人偏见和片面性。受专家的主观偏见性较强。

2BP神经网络模型构造与算法

2．1人工神经网络的基本原理

1985，D•E•Rumelhart等人组成的PDP小组提出的一种神经网络模型，这就是我们今天所说的BP神经网络，BP神经网络结构是利用误差反向传播来消除误差的，它有三个层次，有一个输入层，第二个是隐层，最后一个当然就是输出层。在训练估算中，我们可以通过计算输出值和我们预期的期望值，他们之间所产生的误差，逆向思维，去求解输出层单元的一般化误差，然后再把误差进行反向传播，把隐含层单元的一般化误差求解出来，并最终调整输出层和隐含层，包括输入层之间的连接权，还有连接权与隐含层和输出层的阈值，最终目的就是让系统误差达到我们可以接受为止。当先前的系统误差达到我们所需求的时候，权值和阈值就变成了固定不变的了，这样我们再通过反向逆推，就可以测出我们这个项目的未知信息。这就是人工神经网络的基本原理。

2．2BP神经网络模型建立的步骤

(1)我们首先确定模型输入层，隐含层还有输出层的神经元个数。并且以此为依据，确定BP神经网络模型的结构参数;(2)神经网络只能处理－l～l之间的数据，所以在输入网络时，我们不仅需要对原始数据进行规范化处理，还要对隐含单元和各个单元输入信息进行求和;通过反向逆推之后得到本单元的输入信息。所以对原始数据，隐含单元输入模块规范化细致化是非常重要的;(3)隐含单元的输出值可以根据神经网络操作模型得出，只要我们把net信号经过一次激发函数的处理，可以得到这个隐含单元的输出值;(4)对于输出单元节点，我们只要对前一层的隐含层单元输入信息，并且加权求和后，就能得到该单元的输入信息。操作起来非常方便快捷;(5)对权矩阵的调整，因为人工神经网络可以近似实现任意空间的数学映射。所以我们假设，如果神经网络输入单元数为M，输出单元为N，则在m维欧式空间尺中会有一个有界子集A，存在着一个到n维欧式空间，那么R中一个有界子集F(A)的映射。

3基于BP神经网络的工程造价估算模型

3．1定量化描述工程特征的因素

什么是工程特征，在BP神经网络中所说工程特征，就是指不但能表示工程特点，而且还能反映工程的主要成本构成的重要因素。，我们可以通过参照历史工程资料的统计和分析，进行工程特征的选取工作。选取完成之后，再根据专家的经验来确定，这样就可以万无一失了。首先我们可以通过典型住宅工程的造价组成进行分析，然后对建筑结构参数的变化和别的工程做一下对比，通过以上两点得出的结果，分析这些因素对造价的影响，依照以上的理论方法，我们进行了实践性的研究，最终把础类型，结构形式，建筑层数，门窗类型，外墙装饰还有墙体材料以及平面组合等，这7种因素作为工程的主要特征。不同的建筑工程有着不同的类型，比如说结构，可以是砖混结构和框架结构等;砖条基和钢筋砼条基础等都可以作为基础特征，对于这样的特征选取的多样性我们称之为特征类目，通过工程特征不同类目的列举，再跟据定额水平，工程特征对造价影响的相关性，这些对平方米造价的改变，对工程定量化的描述可以主观的给出对应的量化数据。

3．2建立估价模型

工程造价估算的指标体系到该项目的单位造价的非线性映射，就可以统称为是建设项目工程造价的估算问题。BP网络可以根据人们的需求以任意的精度去逼近任意映射关系，究其原因就是上文说的BP网络采用的是三层BP神经网络结构，不同于其他的电脑估算网络。不仅是因为该模型的输入单元为7个，还有他们的项目样本特征也不尽相同。神经网络可以根据已经经过我们优选的模型特征，做为参考估算要素，然后再通过项目工程造价估算中，我们所提供的一定数量的已知样本，采取对样本的神经网络训练，最后根据以往的大的数据库，提取类似的项目估算值，然后才能对其它特征的项目进行估算。这样我们只需要输入指标体系的各指标值，BP神经网络就可以在该项目的单位造价的非线性映射中给出该项目的单位造价。

3．3检测结果的分析

上面我们通过大量的实际实验得知了这两个固定不变的数字，然后我们可以用程序值被收敛后的网络，对现在要进行求解的数据进行检测，在测试后，如果发现总体误差比率较小，那么就满足我们初步设计的概算需求了，同时对工程可行性研究的投资估算需求也已经基本符合了，这些结果能有好的保证，全是依赖我们所选择的模型的宽度够用，模型在所有的因素中具有广泛的代表性。所以估价模型的计算才较为成功。几个工程估算的好坏也不能代表所有的项目都是完美的，也有个别工程造价估算误差大，因为电脑毕竟是人在给其输入程序，电脑的经验，还有就是对一些特征的学习不够用，本身的知识储备还是有局限性的。因为对样本数量的学习始终是有限，不可能面面俱到，而且挑选的样本也不可能针对这个工程而言都是符合这个项目的特性。虽然说BP神经网络模型有这样无法控制的缺点，但是和其他的造价估算模型相比，BP神经网络模型的优点还是可圈可点的，其优点和其他的造价模型相比较优点还是非常明显的。在以后的估算中，随着样本的不断充实，数据的不断积累，经验的不但丰富，其估算的误差也将不断缩小，这些方面的补充，在以后的估算中，必定会取得非常完美的成绩。

4总结

篇(5)

论文关键词：咸潮，东江，神经网络

 

东江为珠江三大干流之一，发源于江西省寻乌县，由东向西流经龙川、惠州等地，于东莞桥头镇进入东莞市，流经约20公里至石龙分为南、北二大干流进入河网区，经东莞虎门出海。整个东江下游近入河口处，受径流和潮汐共同影响,海水随着海洋潮汐涨潮流沿着东江河口的主要潮汐通道向上推进,成为感潮河段。东江下游分布了东莞市主力水厂，咸水上溯将影响当地的供水水质。当水体含氯化物浓度超过250mg/L时数学建模论文，就不能满足供水水质标准,影响城镇生活供水。自2004年开始，每年的11月至次年2月易遭受咸潮的侵袭。2004年底东江径流量比多年同期减少约五成，咸潮持续了近六个月，东莞部分水厂因为氯化物超标停止取水，对当地居民生活和工农业用水造成极大的影响。

咸潮发生的机制十分复杂,受径流、潮汐、河口等多个因素共同影响，且各个因素之间有着复杂的联系，同时所需的观测资料不完整，因此难以用数学模型准确地描述咸潮的发生规律，而采用数理统计方法只能确定“点”到“点”的关系,不能描述咸潮空间变化的连续过程,具有一定的局限性。真正意义上的咸潮预报模型方面的研究与应用不多见，以基于偏最小二乘回归与支持向量耦合建立的咸潮预报需要有较高的编程程序【1】，在实际应用中具有一定难度。人工神经网络是近年来发展起来的一种受到人脑和神经系统启发而创建的计算方法，根据以往的数据找到一种比较精确的方法使得预测结果与实际情况相符合，预测的结果具有很高的信任度【2】论文下载。因此，本文以东江下游2009年10月~12月的实测统计资料为基础，建立通过人工神经网络的耦合潮位、上游径流量、咸度等因子建立咸潮预测模型，能为合理分配现有水资源、水厂抗咸提供可靠的依据。

1 BP神经网络原理

统计模型中,常采用回归分析方法,对事先拟定的因子进行筛选和系数求解,但当拟定的因子样本数较少且因子之间存在严重的相关性时,会导致分析失效[2]。人工神经网络能够通过大量简单的神经元广泛互连形成的复杂的非线性系统。它不需要任何先验公示，就能从环境变量和待预测水质指标的历史数据之间中自动地归纳规则数学建模论文，获得这些数据的内在规律，具有很强的非线性映射能力，特别适合于因果关系的非确定性推理、判断、识别和分类等问题。其中的BP网络算法使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差，是目前运用最广泛、最为成功的一种算法【3】。

BP 算法“训练”的过程可以分为向前传输和向后传输两个阶段：

1、向前传输阶段

（1）从样本集中取一个样本,,将输入网络。

（2）运算过程中，对数据的取值采集的各数据单位不一致，可对数据采用归一化方法处理。

（3）计算出误差测度和实际输出

（4）对权重值各做一次调整，重复这个循环，直到。

2、向后传播阶段――误差传播阶段

（1）计算实际输出O与理想输出地差

（2）用输出层的误差调整输出层权矩阵

（3）

（4）用此误差估计输出层的直接前到层的误差，再输出层前导层误差估计更前一层的误差。如此获得所有其他各层的误差估计。

（5）并用这些估计实现对矩阵的修改。形成讲输出端表现出的误差沿着与输出信号相反的方向逐级向输出端传递的过程。

网络关

于整个样本集的误差测度：

2 东江下游河道咸潮预测模型的建立

根据多年的历史观测资料，东江下游咸度一方面受上游径流量大小的影响(上游来水量越小,咸度值偏高的可能性越大,反之亦然),另一方面还与涨落潮的潮位紧密相关[4-5]。因此,本文选取博罗水文站记录的上游径流量、东江河口潮位、东江下游大王洲桥的咸度作为本模型的自变量和因变量（见图1）。根据2009年10月~12月的实测资料，首先选用2009年10月共60日的数据，对模型进行训练和模拟，建立东江下游月时段水量预测模型。

在应用BP网络运算过程中，输入向量有2个元素数学建模论文，输出向量有1个元素，所以网络的输入层有5个结点，输出结点1个，采用3层BP网络结构，即网络只有1个隐含层，当隐含层节点为4个时，所建模型具有相对较小的模拟误差，因而，隐含层节点设置为4个。网络的训练目标为0.001，最大训练次数为20000次。为了防止网络发生过度拟合，训练方法采用泛化能力较强的贝叶斯正则化方法论文下载。整个过程通过大量的试验计算获得，这无形增加了研究工作量和编程计算工作量，Matlab软件提供了一个现成的神经网络工具箱，为解决这个矛盾提供了便利条件。

图1 东江下游地理位置图

3讨论

为检验模型的预测效果，运用前面已训练过的用2009年12月共18日的咸潮情况进行预测，预测值和实测值见表2，结果显示数学建模论文，通过bp人工神经网络模型，以径流及潮差变化预测咸潮的方法是可行的,对咸潮的预测基本符合实际情况。

二十世纪九十年代，东江100m3/s的流量可以将咸潮压制在东江万江――中堂入海口处。2004年东江剑潭枢纽工程建设竣工后，上游径流流速减慢，对东江河道输砂量的拦截作用增大，下游河道的水位呈下降趋势并降到海平面以下，水力坡降的压咸作用消失【6】，海水入侵由原来的主要受流量影响转变为受潮汐和流量共同影响。从实测数据来看,由于潮差的半月变化直接影响到潮流的强弱,大潮（为农历十五至十八）时,咸潮强度大,上溯距离长，上游径流量要增加。整个东江下游作为感潮河段，一般情况下，上游径流量只要维持在270m3/s就能将咸潮线控制在万江至中堂一线以下。但是，在初一、十五大潮时段，如果上游压咸的需水量无法维持到360m3/s，咸潮有可能越过第二水厂，上溯到石龙段。2009年12月1-9日,大潮前后，潮位超过了1.00m，上游径流量最大仅为348m3/s数学建模论文，东莞市第二水厂的取水口氯化物浓度出现峰值，曾一度停产，影响正常生产；2009年12月16日-20日，小潮前后，由于上游径流量大幅度增加至370m3/s，咸潮无法达到第二水厂，保障了生产水厂的正常取水。

表1 2009年12月东江上游流量、河口潮位的实测值

 

日期

1日

2日

3日

4日

5日

6日

7日

8日

9日

东江河口最大潮位m

1.08

1.21

1.28

1.27

1.28

1.19

1.02

0.76

0.45

博罗水文站流量m3/s

279

271

302

317

312

348

340

299

258

日期

16日

17日

18日

19日

20日

21日

22日

23日

24日

东江河口最大潮位m

1.06

1.07

1.06

1.04

0.97

0.86

0.71

0.50

0.25

博罗水文站流量m3/s

370

370

330

342

338

284

285

篇(6)

BP神经网络模型的应用范围比较宽广，它也是众多神经网络模型中的一种使用效率较好的方式。该种神经网络利用存储空间和不断学习注入新的内容将工程造价中的输入、输出关系具体呈现出来，运行时，可以有效降低网络使用的误差几率。这一过程中使用的算法为梯度下降法，利用反向传播的理论对网络中的权值和阀值进行灵活调整和运用。BP神经网络中统计数据的输入是由输入层完成的，输入层直接和隐层相联系，隐层又直接和输出层对接，而隐层可由单一层充当，也可以是多层结构，此时输入层和输入层之间神经个数的具体量可以根据系统公式来定，因此数据在输入后的输出过程比较便捷。实际运算中，每一神经元连接强度的权值存在差异性，输入数据的影响程度也会随着权值的增大而加深。BP神经网络算法通常包括两项内容，一是通过正向传播的样本输入，二是通过反向传播的误差数据反馈修正权值。正向传播主要是从输入层完成样本的输入过程，接着经过隐层将数据信息传递到输出层，此时若实际输出结果和期望数值存在的差异，已经超过了事先设定的误差，则为反向传播。如果实际的输出值和期望效果的差异比事前设定值要小，系统结束学习算法。该种算法可以利用反复学习与功能连续锻炼的机会而促进运行过程的不断更新，对权值和阀值的灵活调整要通过几百次甚至几万次的映射，同时也要经过正向传播和反向传播的交替运行来完成，这样才可以最大限度降低误差。

2TOC理论概述和在工程造价预控中的应用

TOC理论也叫做约束理论，英文全称是TheoryofContraint，起初是用在制造业中的管理思维方式。不同事物中或者客观系统中，对事物发展方向产生重要影响的总是关键的极少数，而绝大多数处于被制约地位，这是TOC理论的假设基础，因此在对系统进行控制和领导时，只要将关键部分管理好，则可以收到事半功倍的效果。这一理论在工程造价的预控中有着重要的实践意义。通过将影响工程造价超支的各种因素找出来，并罗列出最为关键的因素，作为调节造价的杠杆，着重控制这些因素，尽力消除制约，提高控制效率，可以实现预期的建设目标。关键链法是在TOC理论上形成的常用操作方式，同时也提出了TOC在对待并行项目中如何有效实现资源共享的办法，核心原则是遵循整体优化而非局部优化方针，也即要在工程项目中，每一环节都要秉持着整体优化准则，将完成每一工序的保守时间抽出来，用一个合理的概率乘以相应工序时间值来作为工序的估计时间，同时还要在其中考虑相关的资源约束性。关键链的思考方式就是将时间和资源的约束性加以管理，把关键链网络化并对项目和资源进行合理的规划与整合，对工程造价控制过程的管理具有实践应用意义，一般采用五步法实施，一要找出制约系统运行的因素，二是将制约因素中存在的潜力充分挖掘出来，三是使系统中的其余任务都服从第二步的挖掘策略，四是不断提升制约因素的能力，五是若已有的制约因素已经消除，回到第一步，否则回到第二步，但是在回到第一步时不要让管理惯性成为新的制约因素。

3BP神经网络与TOC理论联合使用对工程造价预控作用

工程造价通常是指一般的建设工程从计划筹建到竣工验收交付这一过程中，各个环节运作需要投资的总和，兼具投资和成本的双重性。工程造价通从政府部门角度衡量算作一种投资从开发商角度来说则属于项目成本。利用BP神经网络和TOC理论可以对工程造价起到准确的预测作用，同时可以有效控制工程造价成本，最关键的问题是要处理好BP神经网络最终预测结果与TOC理论的有机结合方式。一般来说，当工程造价中的BP神经网络模型投入使用时，选择的样本数据也满足建模的需求，那么可以进行拟建工程的初步概算，同时，也可以将合同金额的有关数据信息当做预测分析应用数据加以利用，计算出预测结果，确定建设工程决算和合同金额相比，实际增加或者降低的比值，依据预测结果的正值，可以为项目工程成本的超支项和负值节约不必要的开销，按照预测结果中的向量水平将与其对应的合同各条款项相乘得出最终的统一值，依据制约理论的原则将该项结果的一半作为工程施工预留金控制的一部分，根据实际的情况，对预留金中的每一项采取增加或者减少的方式，确保新合同中的金额数量能够满足工程造价的需求，或者以此为依托，再形成新的金额向量。在这份新合同中，所计算的金额不仅包括原来工程量的清单计算方式，并且是已经进行优化的，具有可操作意义的，同时也包括了未来拟建工程依据原先的预测结果而形成的工程决算金额计划，是具有科学预测性和前瞻性的，也能够考虑到当前的状态。所以，单纯拟建工程项目在最初成本预测方面并不具有显著的优势，这和影响成本增高的因素有关。例如工程量的大小、工期的延长时间不同等，所以仅仅采用传统的计算和预测方式没有办法获取更为准确的数据，利用BP神经网络可以更为精确地计算和度量各种数据，同时也可以为工程预算过程和建设目标成本控制提供更为科学的依据。TOC理论则在工程建设监督管理中发挥重要的作用，过程控制水平也会对造价预控质量起到重要的影响，即便预测得再精确与科学，离开完善的过程控制和管理，造价预控水平依然达不到预期的目的。TOC理论的运用，能够有效发现工程建设中合同金额出现的变动问题，新构建的合同在实行过程中难免会遇到实际阻力，如果工程成本管理中出现了与原计划背离的迹象，或者工程的决算方向没有依据BP神经网络的预测规则，那么很容易造成工程运行的瓶颈问题，此时为了保证工程建设项目的顺利进行，或者为将风险与损失控制在最小范围内，就要当机立断根据预留资金的数量对整个决算实施过程进行相应的调整，同时还要对工程总合同金额做出适当的调整，以便使得每一环节都能够协调运作，确保瓶颈问题不会带来无法弥补的损失，控制好工程建设朝着良性循环方向发展。TOC理论的应用是为BP理论在过程干预中进行的补充，使二者达到优势互补的效果，BP神经网络重在事前的控制，也即通过精确计算和预测，可以提高事前控制力度，而TOC理论对过程控制效果良好，是典型的事中控制理论，将工程造价的事前控制与事中控制有机统一在一起，造价预控水平大为提高，可为工程建设项目节约成本的同时创造利润，也是实现资源优化配置的有效途径。

4总结

篇(7)

 

 

本 科 生 毕 业 论 文（设计）

 

本 科 生 毕 业 论 文（设计）

题目 阵列化的非晶体纳米硅神经突触器件制备与数值模拟        

 

 

姓名与学号     郑浩 315104964    

指导教师        皮孝东          

合作导师                        

年级与专业  2015级 材料科学工程  

所在学院        材料科学工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大学本科生毕业论文（设计）承诺书

1.本人郑重地承诺所呈交的毕业论文（设计），是在指导教师的指导下严格按照学校和学院有关规定完成的。

2.本人在毕业论文（设计）中除了文别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 浙江大学 或其他教育机构的学位或证书而使用过的材料。

3.与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。

4. 本人承诺在毕业论文（设计）选题和研究内容过程中没有伪造相关数据等行为。

5. 在毕业论文（设计）中对侵犯任何方面知识产权的行为，由本人承担相应的法律责任。

6.本人完全了解 浙江大学 有权保留并向有关部门或机构送交本论文（设计）的复印件和磁盘，允许本论文（设计）被查阅和借阅。本人授权 浙江大学 可以将本论文（设计）的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编本论文（设计）。

 

 

作者签名：                         导师签名：

 

签字日期：     年   月   日      签字日期：      年   月   日

 

 

 

致  谢

致谢内容。（仿宋字体或Times New Roman，小四号，两端对齐，首行缩进两个汉字符位，段前0磅，段后0磅，固定行距20磅。）

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

 

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息时代的来临，人类在处理大数据与多信息的任务面前面临着很大的挑战，传统的冯-诺依曼式计算机思想在处理这些问题时出现了本质上的不足，因此神经网络的应用于硬件化变得十分迫切。随着忆阻器的发现，类脑计算的实际应用变得可能。本文从硬件神经网络的兴起出发，阐述了硬件神经网络的研究现状与实现途径，之后引入了生物神经元的特征，阐述了以往关于人类神经元建立的数学模型。之后本文提出了一种阵列化硅纳米晶体神经突触器件的制备方法与过程，并且在基于这样的器件上，得到相应的LTP与STDP数据，将这些数据分别用于探究：神经元激活函数数值模拟，有监督脉冲神经网络之tempotron算法数值模拟与STDP无监督学习网络数值模拟，在得到结果的基础上，提出了硬件化神经网络所需要的器件的基本性质与要求。为未来的硬件化目标提出了可行性与基本方向。

关键词：硬件神经网络；神经元；神经突触器件；激活函数；Tempotron算法；STDP；无监督学习

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  毕业论文（设计）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 绪论

1.1.1 硬件神经网络的兴起

1.1.2 硬件神经网络的实现

1.3.1 生物神经元介绍

1.3.2 人工神经元介绍

1.3.3 人工神经网络介绍

1.3.4 脉冲神经网络介绍

3.1.1 神经网络结构

3.1.2 神经元硬件化结论

3.2.1 脉冲编码

3.2.2 权值更新

3.2.3 数值模拟结果

3.2.4 LTP权值改变法

3.2.5 STDP权值改变法

3.2.6 结论

3.3.1 理论背景与基础

3.3.2 网络设计

3.3.3 模拟结果

作者简历

攻读学位期间发表的学术论文与取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

毕业论文（设计）

第一章  绪论

11.1  硬件神经网络1.1.1  硬件神经网络的兴起

21世纪进入信息时代后，计算机的普及率大大上升，计算机本身也在计算力与逻辑处理上远远超过了人脑，然而不足的是，在数据的存取与记忆上，仍然是采用冯-洛伊曼式的串行方法，且功耗很大，而人类大脑拥有10^11 个神经元和10^15神经突触。这使得人类处理信息的方式是高效的并行方式，并且功耗很低。例如人类大脑看到一种东西，识别它的过程往往使视觉神经信号与记忆信号同时作用的结果，功耗在fj量级。在使得冯-洛伊曼式计算机处理复杂指令与控制上体现出了根本性的缺陷。基于这一点，神经网络的研究开始兴起，在1943年，McCulloch 和 Pitts 提出了神经元的形式化模型后, 有关于神经网络的讨论也逐渐火热起来，但其发展的中途受到很多科学家对其的质疑[19]。直到 1980年左右, Rumelhert 与他的研究伙伴[20]一起发表了著名的并行分布式处理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神经网络，从数学上的形式，证明了这种算法的可行性，BP神经网络是一种前馈式的误差逆向传播网络，通过训练集不断缩小输出值与目标值的差值从而达到非线性优化的目的。由此，神经网络的数学原理得到证明，其实在1970年神经网络存在一段低落期，也受到了很多怀疑。但是BP神经网络的兴起与提出，让科学们对于神经网络的态度再次火热起来。21世纪随着深度学习的提出，又掀起了一股关于人工智能的热潮，Deep learning 是在多层感知机的基础上，不断增加隐含层的层数，这上面又出现了一些数学上的问题比如激活函数的梯度弥散问题，但是由于Relu激活函数替代sigmod函数的提出，这些问题逐步得到了解决，深度学习向前发展了一大步。比如IBM的“深蓝”击败世界围棋选手李智石等，但是实际上，“深蓝”在击败李智石时消耗的电量等于一桶油的燃烧的焦耳值，但是李智石仅仅使用了两个馒头的热量战斗。也就是说，这场比赛其实并不公平。其实这反应的是人工智能的工作效率与真正人脑的学习效率仍然有很大的差距。神经网络本质是由多个简单的信号处理单元组成，这些简单的信号单元之间由一种方式连接形成网络，它意在模仿人类大脑处理信息的模式，从而实现图像识别，音像识别，特征提取和记忆等功能。现在计算机能够从软件上对神经网络进行实现，然而关于数据的存取方式仍然无法得到突破，数据的存取方式仍然是老式冯-诺依曼式的串行处理方式。但是人类识别图像，获得信息是并行的。因此硬件神经网络的开发是必要的，硬件神经网络能够使用集成电路实现并行处理信息，并且能耗低，效率高，能够更贴近人类大脑的工作方式。因此硬件神经网络的开发受到很多的关注与研究，未来人工智能和类脑计算的发展前景中，硬件神经网络的研究是必须的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '这部分放到前言部分比较好，或者干脆就不要了，放在这里是不合适的。']本文的第一章即绪论，主要是阐述当前关于硬件化神经网络的突破，现状与发展形势。

第二章主要从人类的神经元开始，讲述人类生物神经元的特点，讲述现在人工神经元的数学模型，以及硬件化神经元需要的要求与方式

第三章主要讲述制备实验器件的技术路线，与制备的过程和使用的材料

第四章从数值模拟的角度，探究神经元硬件化的条件是怎么样的，数值模拟选取MNIST数据集作为样本数据集，通过使用实验得到的激活函数替论激活函数，观察网络的准确率，得出相关结论，探究硬件需要满足的条件

第五章从数值模拟的角度，探究突触硬件需要满足的条件，突触与神经元不同，它是作为神经网络中存储权值，改变权值的存在，与神经元有本质上的区别，数值模拟采用26个英文字母的图片作为数据集，进行编码后发送脉冲，使用Tempotron 的有监督脉冲神经网络进行数值模拟，通过实验硬件得到的LTP与LTD图像进行权值更新。得到预测率的图像，证明了LTP的电或者光电器件能够作为脉冲神经网络硬件化的一个器件，为未来做出相关硬件网络道出了一种可行性。

第六章主要是针对STDP的学习机制扩大网络规模，将数据集扩展到MNIST手写数据集，使用STDP无监督学习网络[16]对数据进行训练，之后再对训练好的神经元进行分类。得到我们想要的结果。

第七章主要是总结本文的工作得到的结论，以及对于未来硬件神经网络的发展的一些展望与看法

 

 

1.1.2  硬件神经网络的实现

一般硬件神经网络的实现方式有三种，即采用电子学方法——依靠微电子技术实现人工神经网络, 采用光电方法——依靠半导体光电集成技术实现人工神经网络, 采用光学方法实现人工神经网络[18]。微电子技术应该是通过各种电路设计，例如放大电路，差分电路等集成电路，实现神经网络的reference部分。依靠光电实现的硬件神经网络是本文的重点，利用电学元器件，忆阻器器件，或者是光电器件，模拟生物神经元的膜电位变化曲线，与人类大脑的权重学习规则，从而实现神经网络的硬件化。采用光学的方法实现网络计算的方法十分有趣，UCLA大学的研究小组发明了一种全光的深层神经网络，通过光的反射与折射传递信号，利用光入射的相位差记录权值变化，实现了全光的神经网络，而且由于光的传播速度是光速，在整个网络的效率与速度上都十分惊人，能耗也十分低[21]。神经网络的电子学硬件实现方法主要有四种，其中分别是数字实现、模拟实现、混合数/模实现和脉冲技术实现等[18]。通过数字实现的神经网络一般精度很高[1,2]，权值易存储也容易改变，并且能够通过电路实现并行处理，克服传统计算机串行处理数据的弊病，但是缺点是电路难以集成，体积很大，很难适用于计算机新型芯片这种地方。通过模拟实现的神经网络能够很好克服上面的缺点[3,4,5]，但是由于突触和神经元器件对参数敏感，准确度下降，更关键是对于权值的存储存在困难。1987年是一个转机，即脉冲技术第一次用于了神经网络，使用VLSI技术作为实现，从这以后，神经网络的脉冲技术受到了很多关注[9,12]。

脉冲技术，简单来说就是将神经元的兴奋或者抑制状态通过一定的编码方式转化到脉冲的波形上，编码的方法一般有高斯编码，或者可以自定义的编码方式。由于脉冲化的信号是离散的，因此一定程度上可以简化运算电路：例如突触电路。神经元与一般的电路元件不同，它本身的密度很高，正如人类神经元的密度很高一样。这种紧密的排列方式使得脉冲信号把芯片和外围设备的接口变得更容易连接。本文正是利用从脉冲神经网络出发，制备出硬件化的元件，通过数值模拟硬件的实际可行性，并且对于未来硬件化神经网络的方向提出一些看法

21.2  硬件神经网络研究进展当前的人工神经网络存在三种模式，第一种是非学习型神经网络，即网络的前馈过程与权值计算过程全部由软件进行实现，权值是固定不变的，只用神经网络的电路结构完成之后，再与实际电路结构匹配即可。另外一种是on-chip的模式，即前馈过程通过微电子电路进行实现，权值的更新与计算通过计算机实现。还有一种off-chip模式，即是一种全自动的自主性芯片，从神经网络的前馈环节到神经网络的BP算法实现都一并完成。目前的研究状况，我们已经能够熟练通过电路的设计实现非学习神经网络。在on-chip式的人工神经网络上，我们也能通过一定的模拟方式得到实现。现在的当务之急是开发off-chip式的神经网络，使用硬件对权值的存储与改进是必要的。自从20世纪60年代后期引入忆阻器概念以来，由于其简单性和功能相似性，它们被认为是模拟突触装置的最有希望的候选者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，开拓了RRAM和忆阻器之间联系，做出了一定的应用之后以非易失性存储器件和神经突触晶体管为代表开始成为神经突触器件的基础。但将这些器件用于第二代神经网络（也就是多层感知机）上，取得了一定的成就，现在关于这方法的也在如火如荼的进行着，但是由于第二代神经网络的基础仍然是基于计算机的算力达到的深度，也就是说，加深隐含层的数目提高准确度，知识因为有着强大的计算芯片作为支持。我们需要考虑一种完全类似于人脑思考问题的神经网络与算法，于是脉冲神经网络开始兴起，并且被誉为第三代神经网络，这是一种完全基于人脑计算模式的神经网络，从长程记忆可塑性LTP，时间可塑依赖性STDP等研究的深入，这一网络的硬件化也成为了可能

31.3  从生物神经元到人工神经网络1.3.1 生物神经元介绍

人的大脑中有超过 1011个神经元，这些神经元之间的连接的突触又大约有10^15个，这些突触使得神经元互相连接，从而构成了复杂多变而又有条不紊的神经网络[7]。这些神经元的单独处理信息的速度并不算很快，但是人类的大脑能够很有效的利用这些神经元并行处理。即大量神经元一起处理一个任务，这有些类似于计算机里的多线程并行操作算法。人类大脑的神经元数目虽然庞大，但是它的能耗低却是特点，我们每日摄入的热量与一些机器的能源是不能够比拟的，然而我们的大脑就能够实现很多计算功能，有数据显示，脑神经系统一个动作每秒消耗的能量比最优秀的处理器能耗小1010个数量级。

人的生物神经元有两个部分，分别是细胞体和突起。具有处理并且整合输入的神经信号，然后传出这些信息的作用。突起有树突和轴突两种。树突相对较短但分枝很多，其作用是接受其他神经元轴突传来的冲动并传给细胞体。轴突长而分枝少，常常出现在轴丘，一般为粗细均匀的细长突起，其作用是接受外来刺激，再由细胞体传出。神经元与神经元之间的连接被称为神经突触，两个神经元之间连接强度或者关联程度体现在突触的连接强度。一般而言神经元有以下的特点[8]：

1）：可塑性：即神经元之间的突触可以连接，也可以取消，连接可以变强，也可以慢慢变弱，方便与人类去适应不同的环境。

2）：兴奋与抑制：神经元受到外界刺激之后，会产生膜内外渗透压的差别从而导致Na+或者Ca2+的流入或者流出，这些离子的迁移会产生动作电位，导致膜电位的上升或者下降，也就对应了人类神经元的兴奋和抑制过程。

3）：学习与遗忘：由于可塑性的存在，当人类在长时间受到同一种刺激的时候，会产生我们的所说的学习功能，而这种功能其实是神经元之间的连接得到了加强，同理，如果我们慢慢遗忘了一些东西，是因为长期不去使用从而神经元之间的连接衰弱了。对应的有LTP,LTD图像来进行表征。

4）：突触的延时和不应期。神经冲动的传递在突触中是需要时间的，一般这个时间是1-150ms。另外，神经元也不会在短时间内接受两次冲动，一般需要间隔一定的时间，这个被称为不应期。

从上面可以看到，想要用神经元器件模拟人类的生物的神经元，一定要从生物本质和特征去进行模拟。本文后面的数值模拟会再把这些特征一一强调一次，从而达到一种仿真的目的。

1.3.2 人工神经元介绍

早在1943 年 McCulloch 和 Pitts 提出了神经元的形式化模型, 神经元可用简单的zha值函数表示，并完成逻辑函数功能[19]。20世纪初期，美国心理学家Willian Jame 提出，一个神经元应该是同时接受来自不同神经元的信号后，由于不同神经元之间的突触连接强度不同，神经元相当于是一个加权和，并且由于兴奋存在一个阈值电压，需要一定的电压值才会fire，因此神经元可以用一个数学模型来勾画，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每个神经元的输入值，表征神经元之间的连接强度，b代表阈值电压。外界的f函数则是一种神经元的处理函数。

 

图1-1 MP 神经元模型

Fig.1.1 Neurons model

可以看到，对于神经元的硬件实现实际上是一个乘法器的实现以及加权和非线性处理，这个可以通过放大电路等进行实现。后续本文也将探究一下神经元应该具备怎样的条件，或者怎么样的器件适合作为神经元器件。

1.3.3 人工神经网络介绍20世界80年代,J.Hopfield 提出了 Hopfiel 神经网络, 引起了神经网络理论在优化学术界的轰动。然而热潮还远远没有结束。1986年，Rumelhart和McCelland提出了BP神经网络，这种神经网络是现在很多网络算法的基础，它是一种依靠逆向传播输出值与实际值误差修正网络权值的网络，利用梯度下降算法或者随机梯度下降法降低目标值与实际值的误差，随机梯度下降算法时为了加速算法收敛速度提出的更好的方式，现在很多网络也应用这种方法

 

图 1-2 经典的神经BP神经网络模型

从图中我们可以看到的是，网络一般由输入层，隐含层和输出层三个部分构成，其中输入层可以是图像的像素值，音频信号等等，因此神经网络现在广泛用于人脸识别，图像识别，声音识别等等领域。隐含层的多少是决定一个网络是否是深层网络的基本要素，隐含层如果越多，那么挖掘的信息，提取的特征就越难以用表面语言描述，训练的精度也会逐步的提升。输出层是网络的输出，网络的输出后往往会选择一个损失函数，这个损失函数是用于衡量目标值与实际值的差值从而进行误差反向传播计算。常见的损失函数有MSE函数,Cross-Entorpy函数等等。

 

图1-3 硬件神经网络的一种实现[15]

基于经典的BP神经网络MLP的硬件实现如上图所示，使用电路模拟整个网络的结构，在电路横向与纵向的cross_bar 的地方放置突触装置，利用电流与电压的比值进行权值的存储与更新。这样的网络往往需要得到的I-V曲线是对称的，就是说，权值的变化需要是随着强度的增加而增加，减少而减少，呈现一种线性的变化，从而保证在进行BP算法时，误差能够不断减小。

1.3.4 脉冲神经网络介绍随着在21世纪早期计算能力的显现，DNN（多层感知器，深层信念网络，传统神经网络等等）迅速发展，DNN的基本特征是有很多隐含层，这些神经网络能够实现监督与非监督学习，并且能够优秀的完成有大量数据的任务。然而实际上，现在的DNN的优秀来源于GPU的并行加速机制，是在计算机多核算力上的体现，在其本身的算法上，其效率远远不如人脑高。SNN（脉冲神经网络）最近引起了很多关注，因为它们与生物系统非常相似，在SNN中，输入信号是尖峰，而不是传统神经元中的恒定馈送。 人们普遍认为能够处理尖峰是大脑在序列识别和记忆方面如此壮观的主要原因之一[9]。序列识别是计算中更重要的主题之一，因为它直接影响系统处理强烈时序依赖的刺激的能力，例如语音识别和图像检测[10]

 

图1-4  STDP图像

对应STDP的最简单理解是，如果前突触神经元的信号在后突触神经元的信号之前达到，有理由认为前突触的信号导致后突触神经元的信号产生，那么这两者之间的突触连接强度应该增加，反之就该减少。但如何保证这种训练模式一定是有效的呢？Bengio 和 Fischer 两人在2015发表的文章[11]指出具有对称反馈权重的网络将具有以下特性：“输出单元”的小扰动将向更好的预测传播到内部层，使得隐藏单元移动到大致遵循预测误差J相对于隐藏单元的梯度。而STDP规则大致对应于预测误差的梯度下降，即STDP的规则其实和SGD算法有着异曲同工之妙。Scellier和Bengio（2016）报告的实验已经真实地表明这些近似值可以工作并且能够训练有监督的多层神经网络[12]。

脉冲神经网络被称为新一代神经网络，与经典的神经网络不同在于它的输入实际上不是一个连续值而是一系列脉冲，更为重要的是他的神经元膜电位，一旦达到了膜电位的峰值，那么这个神经元就被激活，后面的脉冲会进入一段不应期。关于神经元的模型，已经提出了HH模型，Izhikevich模型与LIF模型，其中以LIF模型为例，其微分方程的表示如下：

τdVdt=−(V−Vr)+RI

                      （2-2）

 

τ

是膜的时间常数，R为膜电阻，V是膜电位，Vr是复位电位，I是注入电流，当膜电压超过一个阈值时，神经元会发送一个脉冲。如果后面没有连续的刺激，这个产生的脉冲信号会不断衰退，膜电位也会恢复到复位电位后稳定。之后再接受电流再刺激。

 

针对脉冲神经网络的学习过程，也分为有监督学习和无监督学习，无监督学习主要以STDP为主[13,14]，有监督学习包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做个详细的介绍：

在Tempotron算法中，考虑在阈值下，突触前神经元产生的脉冲信号，对突触后膜电位（PSPs）的贡献是来自所有脉冲输入的加权和：

V(t)=∑iωi∑tiK(t−ti)+Vrest

                  （2-3）

 

ti

表示第i个神经元的脉冲发送时间，

K（t−ti）

表示第i个脉冲对于膜电位的贡献，即突触前神经元发出的脉冲对于突触后神经元膜电位的影响。其标准形式如下：

 

K(t−ti)=V0(exp[−(t−ti)/τ]−exp[−(t−ti)/τs])

          （2-4）

 

τ,τs

是时间常数，为了保证K(t)在（0,1）之内变动，我们需要用V_0进行归一化处理，K(t)图像绘制如下图：

 

 

图1-5 K(t)随时间变化图

由监督学习的重点是要将权重更新向着误差减少的方向进行，获得期望的输出脉冲，更新规则如下：

Δωi=λ∑ti−tmaxK(tmax−ti)

                     （2-5）

 

即以二分类为例，ti

为突触前神经元峰值的产生时间，这里的

tmax

设定为我们设置的时间序列的终点，默认为突触后神经元的峰值的产生时间，但这和一般的STDP不一样，因为STDP的神经网络训练规则实际是不需要有监督的，而这里有一个参数

λ

，用于控制输出值与期望值的误差方向，如果突触前神经元产生峰值超过阈值电压的神经脉冲，并且突触后神经元指向分类标准与前神经元指向的分类相同，则不需要修改权值（说明这个连接正确），如果突触前神经元峰值未超过阈值电压，那么需要根据上式指定

λ

>0，并且计算需要增加的权值。反之当

λ

<0时，需要进行减小权值。总体看来，这是在借助有监督学习的条件下，在明白误差修正方向下利用STDP中的LTP与LTD曲线获得修正的幅度（可以认为是学习的速率），从而使我们获得期望的输出。注意上面提出一种概念：即在有监督学习的条件下，后突出神经元的峰值由标签值决定，并且根据误差值指明误差修正放向（体现为

λ

的正负性），然后依靠STDP决定修正幅度。这也是一种将STDP曲线用于有监督学习的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  实验部分12.1  阵列化基于硅纳米晶体杂化结构的神经突触器件制备2.1.1  制备技术路线在本论文里面，采用了冷等离子方法制备了掺B的Si量子点，相比于其他的掺杂方法，冷等离子法是借助了动力学的原理，从而实现了对硅纳米晶体的高效掺杂，一定程度上避免了利用热力学原理来掺杂的过程中出现的“自洁净”现象。相比之下能够实现比较高浓度的掺杂。

 

图2.1 使用冷等离子法制备掺杂硅纳米晶体示意图

使用冷等离子体法制备掺杂硅纳米晶体的装置设计示意如图2.1所示。先准备每分钟流量值12标准公升的硅烷氩气混合气（20% SiH4）、157 sccm的硼烷氩气混合气（其中含有0.5% B2H6）和105 sccm的高纯氬气通入到石英管中混合，调节系统尾部的真空泵，使腔体内的气压稳定在6 mbar。石英管中间部位套有两个铜环，分别接匹配箱和射频发生器的正负两级。在射频发生器（功率约为150 w）的激发下，铜环之间的石英管内将产生等离子体，混合气体在通过等离子体区域时将会发生分解反应，这个反应的产生是因为气体受到了高能粒子和电子的轰击产生的，具体化学反应式如下：

SiH4⃗Si+H2B2H6⃗2B+3H2

 

在器件制备方面，本文利用硅纳米颗粒的光电性能与以及表面缺陷对载流子具有俘获的性质，首先与钙钛矿进行杂化形成混合容易。通过旋涂工艺制备成了太阳能电池结构的神经器件，器件的结构是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au。在该结构里面，ITO是通过光学刻蚀得到。PCBM, 钙钛矿与硅量子点杂化层， Spiro是通过旋涂方法得到。其中钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子点在溶液里面的浓度为10mg/ml.杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au电极采用热蒸发工艺得到，厚度大约为100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '这一段是不是应该要删掉？']2.1.1  器件制备路线

在器件制备方面，本文准备利用硅纳米颗粒的光电性能与decay长的性质，与钙钛矿进行杂化形成自驱动电池，在制备电池的工艺上，选择旋涂工艺做成太阳能电池的结构，器件结构分别是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au，之后使用热蒸发工艺将电极Au安装上，设置厚度大约为100nm。钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF为溶剂，浓度为10mg/ml. 杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200多纳米。段落内容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  数值模拟13.1 神经元硬件化数值模拟3.1.1  神经网络结构对于神经元的模拟，和突触的模拟不同，神经元的功能由上文中的MP模型已经表述很清楚，他承担一个乘法器和加权和、还有实现一个神经元函数的功能，这个功能也是我们下面模拟要探索的。

 

图3-1 MINST数据集对于的神经网络结构

采用常用的MNIST手写识别数据集作为整个网络的输入，先将图像的RGB值转换成一个单位的灰度值，设计输入层应该有784个节点，隐含层300个节点，输出层设置10个节点，分别对应0-9个数字的pattern。在实际模拟时，采用两种方式处理，第一种是利用STDP非线性函数直接对输入的图像像素值进行处理，意在将灰度值转换为强度值。再用网络进行训练。第二张利用STDP非线性函数作为神经网络中的激活函数，意在探究神经元的基本性质。

训练模式采用SGD算法，样本集总共55000个图片，每张图片28×28有784个输入值，epoch设置扫描样本集10次以上，损失函数使用交叉熵函数，激活函数选择softmax函数进行激活分类，因为这个函数比较适合于多分类问题，在优化上也得到了理论的证明。首先我们先将实验中得到的STDP数据拟合结果如下：

 

图3-2 STDP Positive 拟合图像

这里故意选择了一个与常规激活函数相关性为负的激活函数，一般的激活函数比如sigmod，relu激活函数，其强度其实和输入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']现正相关的，这里选取的作为负相关的原因是想探究是否能够作为激活函数使用。其结果如下：

 

图 3-3 拟合的Loss与Accuracy随训练次数的变化图

可以看到上述的结果是可观的，也就是说，激活函数的选取，与是否与输入值正相关没有关系。另外我比较了理论激活函数，实验激活函数，与对输入直接非线性处理得到结果的异同性：

 

图3-4 三种不同方法得到Loss函数变化情况

 

图3-5 三种方法得到的Accuracy变化情况

可以看到，理论激活函数（红色）在准确率上仍然时最高的，最后的样本内准确率有98.42%，但在loss的下降速度上，实验激活函数体现的更好，但实验的激活函数最后准确率只有96.69%。

3.1.2  神经元硬件化结论根据上面的模拟结果我们可以得到结论，对于神经元的硬件模拟，作为激活函数，只需完成非线性这个条件即可，但是在实现乘法器的过程中，需要电路由很好的线性度。这个线性度的要求实际是从BP算法的推导中获得的，这里简单的推导一下：

Δw=∂Loss∂w=∂Loss∂y∗∂y∂output∗∂output∂w

              （3-1）

 

上式想说明的是，我们需要调节权值w使得我们计算出的loss函数达到最小值，因此我们需要求其导数从而获得调整的方向，可以看到等式右边第一项实际是损失函数对于输入值的导数，第二项时激活函数对于输入值的导数，这两项在有输入值的条件下是可以求出的。而根据神经网络的矩阵运算：

output=w⋅x+b

                       （3-2）

 

可以看到，output值与输入的值时存在线性关系的，那么也就是说，我们权值变化量Δw

与输入的x需要满足线性关系。因此神经元硬件化需要实现的线性度不仅仅影响了加权的效果，还影响到权值更新的效率性。很多关于神经网络硬件化的论文一定会提到这个线性度，因为这个线性度时实现神经网络算法达到收敛的基本保障。

 

 

图3-6.a SET与RESET模式下的I-V曲线；b SET模式下的权值变化随刺激次数的变化；c RESET模式下的权值变化随刺激次数的变化[15]

如上图清华大学完成的忆阻器神经突触器件，选取电导作为权值时，需要I-V曲线在第一二想象有近似的对称值，其导数值(即权值)随着固定电压的刺激次数线性增加或者减小。一般而言，在硬件神经网络进行权值跟新的时候，会选择一个固定更新电压，在这个指定的电压下，我们需要保证权值的正向更新与负向更新有近似的值，这个在图像上体现为图像的对称。之前也有文章在图像的对称性上做了相关的材料探究。证明这样的对称性是必要的

23.2 有监督脉冲神经网络数值模拟3.2.1  脉冲编码脉冲神经网络与第二代神经网络最为不同的一点在于，它的输入并不是一系列连续的值，不是像图像像素一样一个个数据连续计入，也没有二值化的操作。而是离散的脉冲值，就图像识别而言，简单的多层感知器输入是输入图像的RGB值或者是图像的灰度值，将这些值进行标准化后作为网络的输入。而脉冲神经网络需要对于输入进行一定的脉冲编码处理，这个处理可以自己选择，但转化的思想很重要。即将图像的灰度值信息编程处理成一系列脉冲，并且将脉冲发出的时间作为网络的输入。下面介绍本文中tempotron算法的编码方式。

选取26个英文字母A-Z作为需要识别的样本集。每一个字母由一张16×16像素的图像组成，且该图像只有0和1两种灰度，即非黑即白。因此我们输入一张图片后，它会编程一个16×16的二值矩阵，我们将这一的二维矩阵一维化，使其变成1×256的一维数组，然后我们对其进行编码，每次随机从256个数中随机去8个数且不放回，组成一个32×8的新矩阵，对于每一行数，得到的是一个8位的二进制数，因此我们将其转化成十进制数，得到一个0-255范围的数，将原来的矩阵转化成了32×1的矩阵。且每一行代表一个脉冲的发送时间，即将一张16×16的图像矩阵转化成了在不同时间一共发送32次脉冲的输入值。

3.2.2  权值更新按照tempotron算法的权值更新规则：

Δωi=λ∑ti−tmaxK(tmax−ti)

                     （3-3）

 

我们需要设置一个时间轴，并且对于这个时间轴上进行时间窗口的划分，等于说我们需要将这个时间轴切割成一份份来进行一个个的循环。由于之前在输入编码的时候，我们将16×16像素的黑白图像转换成了发送32次脉冲的输入，这些输入的脉冲的时间是0-255，也就是说，我们建立一个长度为256ms的时间轴，并且以1ms为一个时间窗口，每次检查在当前时间窗口前是否有脉冲输入，并且每次都选取在当前时间之前能够发送脉冲的数据，认为他们发送一次脉冲，将这个脉冲与核函数相乘，作为我们膜电压，如果膜电压超过了我们设置的threshold电压值，我们则认为该神经元处于fire状态，并且会进入一段不应期，即shut down后面在256ms内的所有脉冲输入。我们输入是5个神经元，这是因为我们需要对26个英文字母分类，即用5个二进制数最大可以表示到0-31的每个数，于是我们用5个二进制数表示我们分类的pattern，例如字母A我们使用00001表示，字母B用00010表示。以此类推。当神经处于fire状态时，它会表现出1的状态，反之如果它没有能够达到阈值电压，它会处于0的状态，我们将网络的输入与我们准备好的标签值进行对比，如果说产生了不同，即分类产生了误差，我们就需要对其进行权值更新，从而在慢慢的训练过程中，获得我们期望得到的脉冲值。

即如果网络发出了脉冲，但是实际没有发送脉冲，我们降低该脉冲产生的权值，从而让其在后面慢慢变得不发出脉冲。

如果网络没有发出脉冲，但是实际输入应该发出脉冲，我们应该强化该脉冲的产生，即增大其权值。

 

图3.7 训练前脉冲与训练后脉冲对比图

我们设置1.0 v为阈值电压，可以看到，随着训练次数的增大，一开始正的脉冲倾向于在后面发出超过阈值电压的脉冲。但是一开始负的脉冲，虽然一开始超过了阈值电压，但是由于随着训练次数的增大，变得不断被抑制，不再发出脉冲。我们的网络就是基于这样一种思路去训练与优化。

3.2.3  数值模拟结果数值模拟上，本文选取了两组实验数据进行了权值更新法则函数的模拟，即使用实验得到的LTP与STDP数据进行了数值模拟，并且对比了两者在应用于tempotron算法的差异，提出一定看法。

3.2.4  LTP权值改变法数值LTP曲线是模拟人类大脑学习时候的长程可塑性，在图像上体现为，施加一段固定脉冲间距和脉冲峰值的脉冲，使突触器件的模拟膜电压升高，经过一段时间再进行了衰减。表现的图像如下：

 

图3.8 LTP拟合图像

线是得到实验的LTP数据后，使用神经网络算法进行拟合，得到完美拟合的曲线，这样保证了能够使用完全的实验数据。另外由于实验的数据仅仅有LTP数据，然而对于我们的模拟也需要LTD数据，基于我们对于这两个图像的了解，他们在一定程度上是中心对称的。我们通过对于LTP数据的神经网络拟合，外推LTD的数据，将LTD的数据应用于模型的抑制环节，保证权值的增加与减少对称。

将LTP的数据带入，进行训练，设置最大epoch数为100次，设置阈值电压为1 v。训练结果如下：

 

图 3.9 准确率随训练次数的变化图像(LTP)

可以看到，在100 epoch下，准确率在随训练次数的增加而增加，最终稳定在89%左右。

3.2.5  STDP权值改变法人脑的学习模式是STDP已经被大部分论文和实验所证实，因此也许基于STDP的权值改变方法能够更加促进学习的效率。STDP的本质定义是说：如果突出前神经元的峰值脉冲到达时间小于突触后的神经元峰值脉冲，那么认为突触前神经元脉冲的产生可能是有利于突触后神经元的产生，即这两者之间是存在一定的联动关系的。于是加强这两个神经元的连接。反之则减弱它们之间的连接。

利用实验得到对的STDP Positive数据，波张选取375nm的光做刺激。得到光驱动下的STDP。但实验与理论存在偏差的一点，是光刺激下的STDP图像实际上是存在于一、二象限的，这样意味着，无论是突出前神经元的脉冲先到达还是后到达，产生的权值更新过程，都是加强该两个神经元之间的连接。在保证权值更新双向对称性的情况下，这样的情况显然是不允许。于是在三象限部分，本文选取了其他数据作为替代，这个数据是从电突触元器件得到的。这里也可以得出一个设想，是否可以有光与电合并的突触器件，使用光完成第一象限的STDP工作，由电器件完成第三象限STDP工作。为何要选择光器件是因为，光学突触器件的耗能相比于电学突触器件要节省很多。如果能够使用光电混合信号实现光电STDP，也不失为一种选择。

拟合后正向STDP函数表达式如下：

y=−0.346ln(x)+2.708

 

负向STDP函数表达式如下：       

y=0.302ln(−x)−2.546

 

根据上面的STDP函数更新法则，带入我们的temportron算法进行求解。得到准确率变化情况如下，设置参数与LTP更新规则相同。

 

图3.10 准确率随训练次数变化情况(STDP)

可以看到，经由STDP训练的网络，在epoch=60左右的时候，已经达到了准确率100%，在训练的准确度与效率上，高于使用LTP训练的结果。这也可能是为什么当前很多的研究都着眼于STDP权重更新机制。这可能也和STDP实际上与人类大脑的学习机制十分相似，本次模拟也证明了大脑学习模式在权值调整上的优越性，基于LTP的调制模式，更多是对于算法当中核函数K(t)的模拟，而并非是对于本质上人类大脑学习模式的仿真。

3.2.6  结论无论选取LTP，STDP作为权值更新的方式，神经网络的权值更新一定要是对称，这样在梯度下降算法过程中，才能够有正和负梯度，使得最后的结果收敛于局部最小点。另外，在学习机制上，STDP是存在一定优越性的。后面本文将针对SDTP学习机制，将网络扩展到更大的规模，展现STDP学习机制的强大之处。

33.3 无监督脉冲神经网络数值模拟3.3.1  理论背景与基础这SNN的发展之所以广受著名，是因为它网络的元器件要求是有一定硬件基础的，不论是在神经元的设计上，如LIF模型，HH模型，还是电导突触，指数型的衰减机制，阈值电压。都可以通过我们设计的电学或者光学器件进行实现。

本文基于2015年Peter发表的关于STDP无监督学习网络的代码基础上，加上实验得到的数据，进行数值模拟。模拟之前，先了解一下网络的具体结构与基本理论。

对于神经元的设置，应用integrated -and-fire model模型：

τdVdt=(Erest−V)+ginh(Einh−V)+gexc(Eexc−V)

            （3-6）

 

这里V是膜电压，Erest

是神经元在没有外界刺激下的一种静息电压。

τ

是抑制或者兴奋神经元的时间时间常数，这个常数时间上就是用于控制各种不同的STDP图像。

galignlink

和

gexc

是抑制性神经元和兴奋性神经元的电导值，这个值在神经网络中表现为权重，也是我们需要训练的东西。训练模式与tempotron算法类似，当膜电压到达阈值电压的时候，就会发送尖峰脉冲信号，然后膜电位复位到静息电压。如果有神经元的尖峰信号达到突触，那么突触就会提升权值，即电导，如果没有，那么权值就会指数型的衰减。权值更新的模式仍然是取决于突触前神经元与突触后神经元的尖峰达到时间差。如图3.11所示，由于前后神经元的脉冲尖峰抵达时间差不一样，产生了兴奋和抑制两种模式

 

 

图 3.11 STDP权值更新模式图[17]

我们需要定义兴奋性神经元与抑制性神经元的权值改变方式。对于兴奋性神经元的电导更新模式如下：

τgedgedt=−ge

                      （3-7）

 

抑制性电导的更新模式其实只需要更换常数：

τgidgidt=−gi

                      （3-8）

 

时间常数得控制会影响STDP得学习曲线，人脑或者生物的时间常数一般是10 ms-20 ms量级。我们由实验得到得时间常数数值也靠近这个值

然后是基于STDP的权值更新法则：

Δw=η(xpre−xtar)(wmax−w)u

               （3-9）

 

实际上，STDP的更新规则很多，还有指数型的，这里选取一种更新规则，他们大多大同小异。这里的η

是学习的速率，

Xpre

是该脉冲产生时的上一次脉冲值，每当有一次脉冲到达突触时，

Xpre

会增加1，如果没有，它会按照指数型进行衰减。

Xtar

是前一次的突触前神经元产生的脉冲，其反应在突触后神经元的目标值。这其实也是在将突触前神经元和后神经元产生的时间在进行比较，从而正确的更新权值。

 

3.3.2  网络设计脉冲神经网络的设计与普通的经典神经网络有所不同，由图5.2看到，Input输入层图像的像素编码脉冲数据，脉冲的频率由图像像素点的灰度值，即成正比关系，28×28的像素值会变成一个784×1的一维序列，每一个值代表一定频率的脉冲信号。

 

图3.12 SNN神经网络结构[16]

 

之后进入激活层，激活层放置激活神经元，然后再进入抑制层，放置抑制层神经元。这里可以看到，非监督学习网络的结构是不存在标签值的。更新完全依靠激活层与抑制层之间的关系。从图3.12可以看到，输入层与激活层实际上时全连接模式，即每一个像素点产生的脉冲序列都会再激活层有一个对应权重。激活层与抑制层之间时一一对应连接，但抑制层与激活层的连接却是全连接模式，除了激活层已经与抑制层产生连接的神经元。这样的网络设计模式实际上是由理由的。这应用的winter take all法则，即当某个激活层的神经元产生兴奋后，该兴奋传递到抑制层后，抑制层会抑制其他所有神经元产生脉冲。也就是说，不断的训练后，能够产生脉冲的神经元会趋向于越来越容易产生脉冲，而其他神经元会越来越无法产生脉冲。从而达到训练的目的。这和传统的K-means算法也有异曲同工之妙，但不同的是STDP 非监督学习存在抑制层，从而避免了某几个神经元一直占据某个pattern。

3.3.3  模拟结果数值模拟将MNIST 六万个训练数据编码后作为脉冲输入，整个训练集进行了6次迭代，一共是36万张图片，训练结束后学习虑被置为零，动态阈值被锁定。之后输入每一类的数字图片，记录每个神经元对应该类图片的激活次数，并且选取其中激活次数最多的为该神经元的标签。之后使用测试集的一万张图片作为脉冲输入，观察每当一张图片输入时，哪个神经元的激活频率最高，如果该神经元的标签与输入图片属于同一pattern，那么认为分类正确。统计10000万张图片的平均准确率，得到网络的训练的评价值即Accuracy。

 

图3.13 神经网络权值矩阵图

这里训练后激活层的权值矩阵。之前提到了，当网络训练完成后，我们会输入每一个图片的pattern，以激活次数最高的神经元作为该pattern的标签，在这样经过改进后，图5.3是激活层神经元重组后的权值分布，可以看到，不同神经元对于不同pattern的适应程度不同，体现在颜色的深浅上。

 

图3.14 输入层到激活层权值矩阵可视化图

 

图3.15 激活层到抑制层权值矩阵可视化图

从图3.14我们可以看到，只有很少部分的权值很高，即呈现黄色小点模式，体现即只有少数pattern才能够产生脉冲，其他的脉冲都被抑制，这个图像很好体现了我们在学习过程中的winer-take-all的模式。图3.15体现的更加明显的是，因为网络的设计是激活层与抑制层一对一连接，抑制层与激活层反向全连接，但除去了从激活层连接过来的神经元，因此在权值的对角线上都是winer，而其他的神经元都被抑制，从而达到了我们从众多神经元中选取出适合当前输入的正确pattern。

之后我们输入10000个MNIST的test集图片进行外推，结果是：Sum response - accuracy:  91.43  number incorrect:  857。即我们在验证集上达到了91.43%的准确度。总的来说还是比较可观的。

结  论本文用了三个数值模拟的方法，分别对于神经元硬件化条件，神经突触硬件化条件，神经元学习规则优越性做了探究。在神经元硬件化上，通过使用不同的非线性函数进行数值模拟，得到了其实在当选取激活函数时，函数与输入值的正相关性并不是必要的，非线性才是最为重要的基准。并且作者使用简单的链式求导法则，证明了神经元的硬件化需要有加权乘法器的功能，并且强调了乘法器的线性程度。也就推出了权值更新时，权值该变量与输入值的正相关性的重要性，也可以说是正负变化的对称性是对随机梯度下降法达到收敛的充分条件。在SNN数值模拟上，本文先尝试了tempotron有监督SNN算法，并且对其权值改变的方程做出了LTP与STDP法则的两种试探，发现STDP的效果更好，也不愧是贴近人类大脑的学习模式。这里也需要指出tempotron算法的缺点在于该算法只能针对单神经元，即脉冲只能判断单个神经元能不能发出脉冲，泛用性不是特别强，但是将输入改成离散的脉冲输入，在神经网络的结构和理念上是一个很大的突破。接着文章以STDP学习机制更为优秀的基础上，在基于2015年Peter教授的无监督STDP学习网络[16]这篇论文的基础上，使用实验相关的数据进行了数值模拟，指出了该网络的结构，采用winter-take-all模式与IF神经元结构，实现了在没有任何标签和领域知识的无监督学习网络的模拟，并且在MNIST的test数据集上达到了91.43%的正确率。从实验上证实了STDP学习机制可以用于无监督学习，指出了其在未来发展的巨大潜力。

最后本文提出一些对于当前硬件神经网络研究的看法，目前实现硬件神经网络的方法在绪论也有提出，主要有微电子方法、半导体突触和光学实现。作者认为想要实现真正的类脑计算。我们就需要研究更与人类达到贴切的器件。尽管在微电子方面，目前的技术可以实现精度很高的数字模拟电路。但是实际上那也只是靠我们强大的算力与耗费了很多资源达到的结果。再说全光学的神经网络，这样的设想只能够用天才来形容，这样的网络耗能少，效率高，速度快。但这并不能够算是类脑计算，只是从物理的角度对于神经网络进行了实现。真正的类脑计算我相信应该是基于STDP，LTP, LTD这些与人脑大脑对于信号实际反映做出的模型之上的。近年来已经发展了很多基于STDP或者类脑计算的算法，并且在数值模拟上都证实了其实现的可能性。目前的当务之急应该是制备出与这些理论符合的突触器件或者神经元元件，然后进行集成，实现一个结合微电子设计电路与编码处理，从而实现一个从输入，到reference，再到自动Back Propagation修改误差的自主型芯片，真正达到off-chip模式的神经网络计算与硬件化。

参考文献[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高丽娜 邱关源. 一种连续可调权值 CMOS 神经网络. 电子学报, 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]贺静, 基于CMOS 模拟技术的多种前馈人工神经网络硬件的研究与实现 [D]. 湘潭大学, 2014 

[8]侯媛彬,杜京义,汪梅. 神经网络 [M]. 西安:西安电子科技大学出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陈琼. 郑启伦.人工神经网络系统硬件实现的研究进展.[J].电路与系统学报.2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  录代码具体说明请参考github.com/zhenghaobaby/graduated_design

作者简历姓名：郑浩  性别：男  民族：汉族  出生年月：1997-04-11  籍贯：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大学攻读材料科学工程学士学位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻读学位期间发表的学术论文与取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授权专利：

[1]XXXXXX