神经网络论文精品(七篇)

序论：写作是一种深度的自我表达。它要求我们深入探索自己的思想和情感，挖掘那些隐藏在内心深处的真相，好投稿为您带来了七篇神经网络论文范文，愿它们成为您写作过程中的灵感催化剂，助力您的创作。

篇(1)

关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习

模糊神经网络起源于20世纪80年代后期的日本,由于其简单、实用,已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而,如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则,研究人员提出了不同的算法,如文献[5]利用正交最小二乘算法确定径向基函数的中心,但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统,其算法使用了分层自组织学习策略,但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法,在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值,文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。

本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则,加速了网络学习过程,同时使用EKF调整网络的参数。在该算法中,模糊神经网络结构不是预先设定的,而是在学习过程中动态变化的,即在学习开始前没有一条模糊规则,在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比,本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长,特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然,如果设计者是领域专家,其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。

1SFNN的结构

本文采用与文献[9]相似的网络结构,如图1所示。其中,r是输入变量个数;xi(i=1,2,…,r)是输入语言变量;y是系统的输出;MFij是第i个输入变量的第j个隶属函数;Rj表示第j条模糊规则;wj是第j条规则的结果参数;u是系统总的规则数。

下面是对该网络各层含义的详细描述。

第一层:输入层。每个节点代表一个输入语言变量。

第二层:隶属函数层。每个节点代表一个隶属函数,隶属函数采用如下的高斯函数:

μij=exp(-(xi-cij)2σ2ij);i=1,2,…,r;j=1,2,…,u(1)

其中:r是输入变量数;u是隶属函数个数,也代表系统的总规则数;μij是xi的第j个高斯隶属函数;cij是xi的第j个高斯隶属函数的中心;σij是xi的第j个高斯隶属函数的宽度。

第三层:T-范数层。每个节点代表一个可能的模糊规则的IF-部分,也代表一个RBF单元,该层节点个数反映了模糊规则数。如果计算每个规则触发权的T-范数算子是乘法,则在第三层中第j条规则Rj的输出为

φj=exp(-ri=1(xi-cij)2σ2ij);j=1,2,…,u(2)

第四层:输出层。该层每个节点代表一个输出变量,该输出是所有输入变量的叠加。

y(X)=uj=1wjφj(3)

其中:y是网络的输出;wj是Then-部分。

2SFNN的学习算法

如前文所述,第三层的每个节点代表一个可能的模糊规则的IF-部分或者一个RBF单元。如果需要辨识系统的模糊规则数,则不能预先选择模糊神经网络的结构。于是,本文提出一种新的学习算法,该算法可以自动确定系统的模糊规则并能达到系统的特定性能。

2.1模糊规则的产生准则

在模糊神经网络中,如果模糊规则数太多,不仅增加系统的复杂性,而且增加计算负担和降低网络的泛化能力;如果规则数太少,系统将不能完全包含输入/输出状态空间,将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。

2.1.1系统误差

误差判据:对于第i个观测数据(xi,ti),其中xi是输入向量,ti是期望输出,由式(3)计算网络现有结构的全部输出yi。

定义:ei=ti-yi;i=1,2,…,n(4)

如果ei>keke=max(5)

则说明网络现有结构的性能比较差,要考虑增加一条新的规则;否则,不生成新规则。其中:ke是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0<β<1)是收敛因子。

2.1.2可容纳边界

从某种意义上来讲,模糊神经网络结构的学习是对输入空间的高效划分。模糊神经网络的性能和结构与输入隶属函数紧密相关。本文使用的是高斯隶属函数,高斯函数输出随着与中心距离的增加而单调递减。当输入变量采用高斯隶属函数时,则认为整个输入空间由一系列高斯隶属函数所划分。如果某个新样本位于某个已存在的高斯隶属函数覆盖范围内,则该新样本可以用已存在的高斯隶属函数表示,不需要网络生成新的高斯单元。

可容纳边界:对于第i个观测数据(xi,ti),计算第i个输入值xi与已有RBF单元的中心cj之间的距离di(j),即

di(j)=xi-cj;i=1,2,…,n;j=1,2,…,u(6)

其中:u是现有的模糊规则或RBF单元的数量。令

di,min=argmin(di(j))(7)

如果di,min>kd,kd=max[dmax×γi,dmin](8)

则说明已存在的输入隶属函数不能有效地划分输入空间。因此,需要增加一条新的模糊规则,否则,观测数据可以由已存在的距离它最近的RBF单元表示。其中:kd是可容纳边界的有效半径;dmax是输入空间的最大长度;dmin是所关心的最小长度;γ(0<γ<1)是衰减因子论文。

2.1.3误差下降率

传统的学习算法把误差减少率(ERR)[5]用于网络生长后的修剪过程,算法会因为修剪过程而增加计算负担,降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则,算法无须经过修剪过程,从而加速网络的学习过程。

给定n个输入/输出数据对(xi,ti),t=1,2,…,n,把式(3)看做线性回归模型的一种特殊情况,该线性回归模型为

t(i)=uj=1hj(i)θj+ε(i)(9)

式(9)可简写为

D=H+E(10)

D=TT∈Rn是期望输出,H=φT∈Rn×u是回归量,=WT∈Ru是权值向量,并且假设E∈Rn是与回归量不相关的误差向量。

对于矩阵φ,如果它的行数大于列数,通过QR分解:

H=PQ(11)

可把H变换成一组正交基向量集P=[p1,p2,…,pu]∈Rn×u,其维数与H的维数相同,各列向量构成正交基,Q∈Ru×u是一个上三角矩阵。通过这一变换,有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)可得

D=PQ+E=PG+E(12)

G的线性最小二乘解为G=(PTP)-1PTD,或

gk=pTkDpTkpk;k=1,2,…,u(13)

Q和满足下面的方程:

Q=G(14)

当k≠l时,pk和pl正交,D的平方和由式(15)给出:

DTD=uk=1g2kpTkpk+ETE(15)

去掉均值后,D的方差由式(16)给出:

n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)

由式(16)可以看到,n-1uk=1g2kpTkpk是由回归量pk所造成的期望输出方差的一部分。因此,pk的误差下降率可以定义如下:

errk=g2kpTkpkDTD,1≤k≤u(17)

把式(13)代入式(17)可得

errk=(pTkD)2pTkpkDTD,1≤k≤u(18)

式(18)为寻找重要回归量子集提供了一种简单而有效的方法,其意义在于errk揭示了pk和D的相似性。errk值越大,表示pk和D的相似度越大,且pk对于输出影响越显著。利用ERR定义泛化因子(GF),GF可以检验算法的泛化能力,并进一步简化和加速学习过程。定义:

GF=uk=1errk(19)

如果GF

2.2参数调整

需要注意的是,不管是新生成的隐节点还是已存在的隐节点,都需要对网络参数进行调整。传统的方法是使用LLS[10]方法对网络参数进行调整,本文提出使用EKF方法调节网络的参数。由于LLS方法在确定最优参数时计算简单、速度快,但该方法对噪声敏感,其学习速度随着信噪比的增加而下降。另外,与LLS方法相关的问题是其求解可能是病态的,这使得参数估计变得很困难。EKF方法由于其自适应过程比较复杂,计算速度没有LLS方法快,但是EKF方法在噪声环境下具有鲁棒性,使用EKF方法可以实现一种健壮的在线学习算法。网络参数可以用下面的EKF[11]方法进行调整。事实上,网络的参数向量θ可以看做一个非线性系统的状态,并用下面的方程描述:

θi=θi-1

ti=h(θi-1,Xi)+ei(20)

在当前的估计值i-1处将非线性函数h(θi-1,Xi)展开,则状态模型可以重写为

θi=θi-1

ti=Hiθi-1+εi+ei(21)

其中:εi=h(i-1,Xi)-Hii-1+ρi。Hi是如下的梯度向量:

Hi=h(θ,Xi)θ|θ=i-1(22)

参数向量θ使用下面的扩展卡尔曼滤波算法更新:

Ki=Pi-1HTi[HiPi-1HTi+Ri]-1

θi=θi-1+Ki(ti-h(θi-1,Xi))

Pi=Pi-1-KiHiPi-1+Qi(23)

其中:Ki是卡尔曼增益矩阵;Pi是逼近误差方差阵;Ri是量测噪声方差阵;Qi是过程噪声方差阵。

全局扩展卡尔曼滤波算法会涉及大型矩阵运算,增加计算负担,因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性,利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性,利用卡尔曼滤波算法对其进行调整,该方法等同于将全局方法简化为一系列解耦方法,可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显,为了简化计算,只对高斯隶属函数的宽度进行调整。

前件参数使用如下的扩展卡尔曼滤波算法更新:

Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1

δi=δi-1+Kδi(Ti-wi-1φi)

Pδi=Pδi-1-KδiGiPδi-1+Qi(24)

后件参数使用如下的卡尔曼滤波算法更新:

Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1

wi=wi-1+Kwi(Ti-wi-1φi)

Pwi=Pwi-1-KwiφiPwi-1+Qi(25)

2.3模糊规则的增加过程

在SFNN学习算法中,模糊规则增加过程如下:

a)初始参数分配。当得到第一个观测数据(X1,t1)时,此时的网络还没有建立起来,因此这个数据将被选为第一条模糊规则:c0=X0,δ1=δ0,w1=t1。其中δ0是预先设定的常数。

b)生长过程。当得到第i个观测数据(Xi,ti)时,假设在第三层中已存在u个隐含神经元,根据式(4)(7)和(19),分别计算ei、di,min、GF。如果

ei>ke,di,min>kd,且GF

则增加一个新的隐含神经元。其中ke、kd分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:Cu+1=Xi,δu+1=k0di,min,wu+1=ei,其中k0(k0>1)是重叠因子。

c)参数调整。当增加新神经元后,所有已有神经元的参数通过式(24)(25)描述的算法调整。

3仿真研究

时间序列预测在解决许多实际问题中是非常重要的。它在经济预测、信号处理等很多领域都得到了广泛应用。

本文采用的时间序列由Mackey-Glass差分延迟方程产生,其方程定义为[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)

为了能够与文献[5,6]在相同的基础上进行比较,取值Δt=P=6,式(27)中的参数选择为:a=0.1,b=0.2,τ=17。预测模型表示为x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)

为了获得时间序列,利用式(27)生成2000个数据,式(27)的初始条件为:x(0)=1.2。为了训练和测试,在t=124和t=1123之间选择1000个样本作为式(28)的输入/输出样本数据。使用前500个数据对作为训练数据集,后面的500个数据对验证该模型的预测性能。图2显示了SFNN生成的模糊规则数;图3显示了从t=124到t=623的训练结果;图4显示了SFNN良好的预测性能。表1列出了SFNN与其他算法的比较结果。表1显示,与OLS、RBF-AFS算法相比,SFNN具有最少的规则数、最小的误差和良好的泛化能力,同时具有快速的学习速度。SFNN的快速性就在于:采用无须修剪过程的生长准则,加速了网络学习过程;利用扩展卡尔曼滤波调整网络的参数,可以缩短网络的学习周期。从上面的分析可以看出,SFNN具有紧凑的结构、快速的学习速度、良好的逼近精度和泛化能力。

4结束语

SFNN采用在线学习方法、参数估计和结构辨识同时进行,提高了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的结构,网络结构不会持续增长,避免了过拟合及过训练现象,确保了系统的泛化能力。

参考文献:

[1]

HUANGHuan,WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences,2009,179(16):2762-2773.

[2]DENGXing-sheng,WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems,2009,160(7):972-987.

[3]韦玉科,汪仁煌,李江平,等.一种新的数据智能化处理算法[J].计算机应用研究,2008,25(5):1328-1329.

[4]CHENSheng,HONGXia,LUKBL,etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting,2009,72(10-12):2670-2681.

[5]CHENS,COWANCFN,GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks,1991,2(2):302-309.

[6]CHOKB,WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems,1996,83(3):325-339.

[7]RIVALSI,PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing,1998,20(1):279-294.

[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing,2002,48(1):455-475.

[9]WUShi-qian,ERMJ,GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems,2001,9(4):578-594.

篇(2)

[关键词]反射认知创造神经网络人工智能

一、生物神经网络系统

生物神经系统是以神经元为基本单位，神经元的外部形态各异，但基本功能相同，在处于静息状态时（无刺激传导），神经细胞膜处于极化状态，膜内的电压低于膜外电压，当膜的某处受到的刺激足够强时，刺激处会在极短的时间内出现去极化、反极化（膜内的电压高于膜外电压）、复极化的过程，当刺激部位处于反极化状态时，邻近未受刺激的部位仍处于极化状态，两着之间就会形成局部电流，这个局部电流又会刺激没有去极化的细胞膜使之去极化等等，这样不断的重复这一过程，将动作电位传播开去，一直到神经末梢。

神经元与神经元之间的信息传递是通过突触相联系的，前一个神经元的轴突末梢作用于下一个神经元的胞体、树突或轴突等处组成突触。不同神经元的轴突末梢可以释放不同的化学递质，这些递质在与后膜受体结合时，有的能引起后膜去极化，当去极化足够大时就形成了动作电位；也有的能引起后膜极化增强，即超极化，阻碍动作电位的形成，能释放这种递质的神经元被称为抑制神经元。此外，有的神经元之间可以直接通过突触间隙直接进行电位传递，称为电突触。还有的因树突膜上电压门控式钠通道很少，树突上的兴奋或抑制活动是以电紧张性形式扩布的，这种扩布是具有衰减性的。

图1

一个神经元可以通过轴突作用于成千上万的神经元，也可以通过树突从成千上万的神经元接受信息，当多个突触作用在神经元上面时，有的能引起去极化，有的能引起超极化，神经元的冲动，即能否产生动作电位，取决于全部突触的去极化与超级化作用之后，膜的电位的总和以及自身的阈值。

神经纤维的电传导速度因神经元的种类、形态、髓鞘有无等因素的不同而存在很大差异，大致从0.3m/s到100m/s不等。在神经元与神经元之间的信息交换速度也因突触种类或神经递质的不同而存在着不同的突触延搁，突触传递信息的功能有快有慢，快突触传递以毫秒为单位计算，主要控制一些即时的反应；慢突触传递可长达以秒为单位来进行，甚至以小时，日为单位计算，它主要和人的学习，记忆以及精神病的产生有关系。2000年诺贝尔生理学或医学奖授予了瑞典哥德堡大学77岁的阿维·卡尔松、美国洛克菲勒大学74岁的保罗·格林加德以及出生于奥地利的美国哥伦比亚大学70岁的埃里克·坎德尔，以表彰他们发现了慢突触传递这样一种“神经细胞间的信号转导形式”。本次获奖者的主要贡献在于揭示“慢突触传递”，在此之前，“快突触传递”已经得过诺贝尔奖。此外，使用频繁的突触联系会变得更紧密，即突触的特点之一是用进废退，高频刺激突触前神经元后，在突触后神经元上纪录到的电位会增大，而且会维持相当长的时间。所以可以得出一条由若干不定种类的神经元排列构成的信息传导链对信息的传导速度会存在很大的弹性空间，这一点对神经系统认知事件有着非常重要的意义。

神经系统按功能可大致分为传入神经（感觉神经）、中间神经（脑：延脑、脑桥、小脑、中脑、间脑、大脑脊髓）与传出神经（运动神经）三类。

生物要适应外界环境的变化，就必须能够感受到这种变化，才能做出反应。生物的感受器多种多样，有的是单单感觉神经元的神经末梢；有的是感受器细胞；还有的感受器除了感受细胞外还增加了附属装置，且附属装置还很复杂，形成特殊的感觉器官。无论感受器的复杂程度如何，它在整个神经系统中都起着信息采集的作用，它将外界物理的或化学的动态信号反应在感觉神经细胞膜的电位变化上，膜上的电位变化可形成动作电位向远端传导。

中间神经在系统中起着计算及信息传导的作用，通常感觉神经传来的动作电位经过若干个中间神经元的计算响应后在传递到传出神经形成反射弧，但也有的反射弧仅由传入神经元与传出神经元直接组成，如敲击股四头肌引起的膝反射。传出神经可分为躯体神经与内脏神经两类，它们都最终连接着效应器，只是内脏神经需要通过一个神经节来连接效应器，最后由效应器调空肌体器官做出相应的反应。

二、生物神经网络的建立

1994年，一种被称为Netrin-1、将轴突吸引到分泌它的神经细胞的可扩散蛋白被发现,此后人们发现，同一轴突引导分子既可吸引、也可排斥前来的轴突。其中，环状AMP（也称cAMP）、环状GMP（也称cGMP）和钙离子，都可能是从参与将发育中的神经元引导到其目标上的受体中转导信号的第二种信使。新的实验表明，正是cAMP/cGMP的比例决定着Netrin-1是起一种吸引信号的作用还是起一种排斥信号的作用，这些环状核苷通过控制轴突生长锥中的L-型钙通道来起作用。

目前已经发现大量对神经轴突生长具有导向作用的分子，这些分子可以分为两大类：一类分子固着在细胞膜表面或细胞外基质中，影响局部的神经纤维生长，这类因子包括ephrin,MAG(myelin-associatedglycoprotein),Nogo等；另一类是分泌性分子，能扩散一定的距离并形成浓度梯度起作用，如netrin,slit,semaphorin家族的大多数成员,及各种神经营养因子等。神经轴突的前端有生长锥（growthcone）的结构起到对环境信号的探测作用。神经生长锥表面存在各种导向因子的受体，它们特异地识别环境中各种因子，并向细胞内传递吸引（attractive）或是排斥(repulsive)的信号，从而通过调节生长锥内的细胞骨架的重组来引导神经纤维沿特定路线生长（我国科学家袁小兵等研究人员发现，在脊髓神经元上，神经细胞内RHOA酶和CDC酶直接传递外界方向信号，引导神经生长方向，同时这两种酶相互作用，对生长方向进行细致的调节）。未成熟神经细胞柔弱的轴突在这些信号的引导下，试探地穿行于正处于发育阶段、仍是一片纷乱的大脑之中，最终抵达适当的目的地。一旦轴突的末端找到了其正确的栖息地，它就开始与周围神经元建立尽可能广泛的突触联系，以便传导信息。

脊椎动物出生后早期发育中的一个特征是，神经键（或神经连接）的消除。最初，一个神经肌肉连接被多个轴突支配，然后所有轴突都退出，只剩下一个，对相互竞争的神经元来说，决定胜负的是它们的相对活性。为了能准确的连接到目的地，单个或多个神经元会沿导向分子所确定的大致方向上生长出若干条神经纤维，其中总会有能正确连接到目的地的神经纤维，所建立的若干神经链路在刺激信号的作用下，正确的信息传递会使链接会变的更加稳固，反之则慢慢萎缩分离。打个比方讲：两个城市间原本没有路，如果要修的话会先派人去探索出若干条路，最后去修筑被优选出来的路，而其他的则会被遗弃。

三、神经网络的基本工作原理

1、反射

自然界中，事物的发展、能量的转化、信息的传递等等各种的自然现象都包含着因果关系，只要时间没有停滞，这种关系将广泛存在，从“因”到“果”，贯穿着事物的发展过程，当过程长且复杂时我们称之为“事件”，反之则称之为“触发”。

生物个体在与外界环境或是个体自身进行物质或信息交换时，也存在着这种现象，在这里我们称之为“反射”。

反射是最基本的神经活动，现行的说法是将反射分为两种，无条件反射和条件反射，其中，无条件反射是动物和人生下来就具有的，即遗传下来的对外部生活条件特有的稳定的反应方式，在心理发展的早期阶段，这种反应方式提供最基本的生存技能，也就是本能，如：食物反射、防御反射、定向反射，还有一些可能是在人类进化过程中，曾经有一定生物适应意义的无条件反射，如：巴宾斯基反射、抓握反射、惊跳反射（又叫摩罗反射）、游泳反射、行走反射等，此外，还有其他一些无条件反射，如眨眼反射、瞳孔反射、吞咽反射、打嗝、喷嚏等等。

条件反射是后天训练出来的，著名科学家巴甫洛夫就曾对条件反射的形成、消退、自然恢复、泛化、分化以及各种抑制现象进行过相当细致、系统的实验研究，。

无论是条件反射还是无条件反射，从主观上都可以看作是一种因果作用关系，即都存在着触发条件，都会导致某一结果的产生，所以无条件反射其实也属于条件反射范畴。只有在成因上，无条件反射是根据遗传信息形成的神经网络结构，而条件反射是后天在先前的网络基础上，依据外界环境继续发展完善的神经网络结构。两者之间是继承和发展的关系，但从这两个阶段所形成的神经网络功能来看，对外界的刺激都具备输入、传递、输出这一处理过程即反射过程，所以从某种意义上讲，也可以把无条件反射归类到条件反射范畴中去，或者说条件反射等同于反射。

神经系统中的条件反射具有三个要素：输入、传递、输出。其中的每一个要素既可以用单个神经元表示，也可以用一个神经群落来表示。当用少数几个神经元表示时，对应的是生物个体对局部刺激的反应，当扩展到神经群落时，对应的就可能就是对某一激发事件的处理方法了。

反射中的输入，最能使我们联想到传入神经元（感觉神经元），但在这里，它可以指单个的感觉神经元，也可以指一种感官（眼睛中的视神经群落、耳中的听觉神经中枢、皮肤中与各类感受器连接的神经群落等等），甚至可以是大脑中某一区域内形成某一表象或是概念的神经群落。反射中的输出同样可以指传出神经元（即脊髓前角或脑干的运动神经元），也可以指大脑中某一区域内形成某一概念或是表象的神经群落。反射中的中间传递过程是信息的加工处理的过程，可以由单个神经元、神经链路或是神经网络来承担，甚至可以直接由输入与输出的对应载体来分担。这样生物神经系统中的反射弧只是它的一个子项罢了，条件反射在主观上也对应着我们常说的“产生、经过与结果”即因果关系。

2、认知

有一个低等生物海兔的记忆试验:海兔本身具有被触摸(水管部分)后的鳃缩反射,但连续十几次的刺激后,鳃缩反应就逐渐减慢.经过研究发现,海兔的习惯化是由于神经递质发生变化所致.进一步的研究发现这种变化是突触中的感觉神经元的Ca离子门关闭,导致递质的释放量减少所致.上述试验说明简单的记忆与神经递质和突触有关.又如大鼠的大脑皮质切除试验:用迷宫训练大鼠,如果大鼠学会并记住顺利走出迷宫的道路后,切除它的大脑皮质,记忆就会消退.不论切除的是大脑皮质的哪一部分,总是切除的多,记忆消退的多;切除的少,记忆消退的就少。

首先，认知通常强调的是结果，是神经网络定型后的结果。神经网络的定型过程就是认知的建立过程，也就是生物个体的学习过程，它同时表现了出生物的记忆过程。定型好的神经网络对触发信息的处理过程即反射过程，就是记忆的提取过程，也正是通过这一过程反映出了认知的存在。

生物个体对客观事物的认知可以解释为：客观事物在主观意识中形成了表象，并且该表象与一系列的活动（生理的或心理的）相联系。换句话说，某一客观事物的信息如果经过大脑处理能够引发出一系列的动作（这是一种反射现象，符合前面对反射的定义），我们就可以说对这一事物已经认知了。

行为主义与符号主义中对认知建立过程中所显现出的记忆现象都有很详细的类别划分，其中每一种记忆类别都仅与一种认知的建立模式相对应。所以，与其用记忆类别来划分还不如用认知类别来划分更为合理，在这里由于篇幅所限，我仅将认知简单概括为以下三种类别：物体认知、事件认知以及两种认知的衍生产物抽象事物认知。

a、物体认知

感受外界客观环境最简单的办法是通过感官直接去“接触”物质对象，并通过大脑处理，并最终导致一个或一系列的结果，这种因果过程就是对客观物体的认知。如：看到一个苹果，我们产生了拿的动作，同时也可以产生许多其他的动作如激活色彩感觉中枢、激活味觉中枢等等，当可以有这些动作产生时，就完成了对苹果的认知。

下面我们将详细讲解神经网络对物体认知的描述。

一个输入集合I（触觉、视觉等的感应细胞构成的集合或是处于某一层次上的神经元集合）对之内两个不同区域（A、B）的刺激做出相应Y与X两种不同反应的神经处理过程,如图2。

图2的a、b、c为三种AB可能存在的输入情况。图2a中A、B分别对应Y、X，神经链路没有重叠，刺激A时得到Y的输出，刺激B时得到X的输出，结果不会出现问题，请注意：带有方向的黑线只是代表逻辑上的链路，在实际中，链路与链路之间有质的区别，这里只做简单的等价说明，用数量表示质量。图2b中A、B间有了交叉，在处理过程中，当A受到刺激会产生Y的输出，同时会有三条逻辑链路去刺激X，但做为X的全部决定因素，这三条相比从B到X余下的空闲联络，只占很小的一部分，它们还不足以激活X，所以分别刺激A、B仍然会得到正确的输出。对于X这种在某一层次上的输出神经元来说，是否能被激活，主要取决于所有处于不同状态的输入链路的能量对比，在这里能量被量化为逻辑链路的数量，这样每个神经元对值的判断则等价为判断处于激活状态的逻辑链路数是否过半。此类神经链路就是兴奋类传导神经网络，单纯采用此类神经链路的系统只需要根据相应刺激感受区域是否有刺激发生，就可以得出正确的输出结果，但是在图2c中，刺激区域A包含着B的情况下，如果刺激B区会有正确输出X，然而如果刺激A区则会出错，Y与X会同时有效，这时我们就需要一种链路来阻止这种错误的发生，这就是抑制类神经链路，如图2c中的虚线箭头所示，抑制类逻辑链路只起到冲减、抵消兴奋类逻辑链路数量的作用，使得X在冲减后的兴奋链路合计数小于阀值，从而达到唯一正确输出Y得目的。

在图2中列举的神经网络认知模式中，虽然只涉及到了输入与输出，但在两者之间已经包含了计算的成分，或是说承担了传递计算的功能，此外不难发现：能够对某一物体认知，必须要首先区分开其他物体，尤其是符合图2c中的情况，物体间的差异正好可以满足这一需求。这样，即使是从同一个感官传来的信息，也能做到很好的区分。

当认知的对象较为复杂时（如苹果），对象包含有各种各样的属性，其中的每一种属性的响应过程，在局部都遵循着反射的定义。当在某一时刻，与苹果相关的各种属性的神经子网络被大部分激活时，苹果的表象就成了焦点。更确切的讲是，感官捕捉的信息在传递的过程中，经过了代表各种属性的神经子网络，一些属性因条件不满足而停止传递，最后由可以通过的（即被确认的属性）神经子网络继续向后传递，最后再引发一系列的动作，其中反射可以指局部的传递（单个属性的确认），也可以指整个传递过程（看到苹果后，可以去拿可以去想等等）。

苹果在人脑中形成的表象，其实就是指感官根据苹果实物产生的电信号所能经过的神经链路，神经链路与神经网络的关系相当于行走路径与公路网的关系。此外其他的神经区域输出的电信号如果在传递过程中也能引发出与前面提到的“苹果神经链路”相同或相似动作或是功能的话，也可以说是形成了苹果的表象，这种现象可以使我们认知客观世界不存在的事物或个体自身从未接触过的事物。

b、事件认知

任何事物在一段时间内发生了变动，在这里都可以被称之为事件。因果关系同样也具备事件的属性，如果能深入分析一下各种事件的过程，基本上都能找到因果关系的影子。在前面对物体的认知中，我们知道了神经网络认知物体是以因果关系的方式建立的网络链路，为了不引起混淆，下面以因果关系为认知对象的，我们用事件来代替，对事件的认知过程，近似于对物体的认知过程，相当于把事件等同于物体，由于事件具有时间性，所以神经网络就必须能够处理时间问题。

神经元的形状各异，轴突有长有短，且对信息的加工时间与传递速度也各不相同，这样对同一起点不同的传递路径，信息的传递速度可能不同。还以图2为例，现在假设每一个箭头除了代表一个神经元连接外，还代表一个单位传递时间，当首先刺激A区后并在第二个单位时间内刺激B区，将两次触发过程当作一个事件，导致一个输出Y；同法当先刺激B区，然后在刺激A区时会有另一个输出X，如图3

根据这种通过神经链路上神经元个数进行延时的方法，任何处于时间片段上的信息都可以被处理。我们再举个更加复杂的例子，单输入神经元网络对摩尔斯电码的识别与重现。

假设输入神经元为A，按严格的尔斯电码规则来刺激该神经元，最后由神经网络得出字符序列，如图4

当A收到刺激信号时，将信号广播给不同的识别群体，图4中只给出了其中的一个网络群体，给出的这个群体只能认识字符“b”即电码“—…”。为了简化说明，图4中舍弃了每个神经元的其他输入输出链路以及相关的抑制链路，所以图中的每一个指向神经元的箭头均存在着“与”的逻辑运算关系，在这里它们不表示逻辑数量。

由图4可以看出，先收到的信号经过较多的传递神经元进行延时，再连同后面收到的信号一起同时传递到结果输出上，这样处于时间片段上的信息就可以被当作是一个整体来进行处理。粗虚线上半部分为输入识别部分，下半部分为信息重现部分，仔细观察就会发现，两部分的神经链路并不是互成镜像，输入为前端延时，依次为：1、3、5、7、8、9，输出为后端延时，依次为：9、7、5、3、2、1，所以认识事物与应用事物是由两套不同的神经网络来控制完成的。图4中的两条倾斜细虚线是一个虚拟的标示线，从某种意义上讲这里是事物的表象层，中间本应该是更加复杂的表象处理网络，在这里只简单的假设性的给出了表象输出与输入。

c、抽象概括与抽象描述

对事物（事件、物体）的认知，使我们得以在大脑中建立出与客观世界相对应的表象，作为记录事物表象的神经链路网上的每一个分支与合并都可能是事物在不同层次上的一种“特征的概括与描述”（参见图3左图）。

神经网络在认知新的事物时，输入信息总是尽可能的使用已存在的网络链路进行传递处理，当处理不足以产生正确的结果时才在信息的中断处搭建新的网络连接。在局部，如果已存在的网络链路可以被使用，那么这部分网络结构通常是一种共性的表达，当这种表达随着同类认知的增加而逐渐完善时，就可以作为一种属性的表象，这在主观上是一种抽象概括的过程。

例如，对苹果的认知，“苹果”本身是一个概括出来的词汇，它不具体指哪一个苹果，但在认知若干个具体苹果的过程中，与各个苹果相对应的神经链路的共用部分被逐渐加强，这部分神经网络就可以说是“苹果”这一概念的表象区域。此外，神经网络结构不光能实现对有形的抽象概括，也可以对无形的加以抽象概括，例如“水果”的表象，这一表象的形成可以说是用若干不同种类的水果培养出来的，也可以说是由“苹果”、“梨”等等表象的神经链路的共用部分完善而成的，后一种方式可以理解为抽象概括可以建立在另一种抽象概念之上，即对无形的事物也可以做抽象概括。换个角度讲，这些抽象出来的表象本身就是一种有形的物质，它是由若干神经元搭建起来的网络系统，是客观存在的东西，这样的话就与第一种方式相一致了。

语言是生物间交流的工具，是生物为了更好的适应周围的环境而进化产生的，在这里它包含有声音、文字、动作、行为以及低等生物的化学接触等等内容。就拿我们人类来说，每一个发音、每一个文字符号都可以说是对应着一种表象，这个表象可以是抽象出来的也可以是具体事物产生的。语言是通过触发来进行工作，当然也可以说是一种反射或是因果现象。无论是说还是听，也不论是写还是看，对于说或者是写这种输出性质的处理，可以解释为某个表象被激活时，它又被作为输入信号沿着该表象至发音或是运动器官间的语言神经链路传递电信号，直至发音或是运动器官做出相应的动作。听与看也是如此，感官接收到信息后传递直至激活某一个表象区域（请参见图4）。语言与表象之间广泛存在着对等映射关系，它可以使我们能够直接去运用语言来进行思维，即便是表象与输入输出没有语言神经链路对应关系的，如果需要我们也会临时的建立起语言神经链路，如本文中说的图几图几、这个那个等等，或者用相关的有语言链路的表象通过塑造、阐述、刻画、定位等等方式来体现或是建立该表象，这种建立神经链路的过程往往体现出不同种类的记忆模式。

生物的记忆过程与机械的存储过程原理基本相同，都是通过改变载体的性状来表达的，只是生物是通过神经网络的响应过程来表达或再现记忆的内容，就是说该神经网络的连接结构就反映着记忆的内容，所以生物的记忆过程就是建立特定连接方式的神经网络的过程，而提取过程就是激活这部分神经网络的过程。一旦载有相关记忆内容的神经网络结构被确定时，能量只能体现在信息的提取与再现上，当然维持这种结构也需要一点能量，不然神经元就饿死了：）注意：这里强调的是“过程”。

生物的认知过程对外表现为学习过程，对内表现为神经网络的建立及使用过程，在学习过程中往往会同时伴随着反馈过程（内反馈或外反馈），生物从外界获得信息，传递处理后再作用给外界，并同时获取作用后新的信息，周而复始的运做，这就是外反馈过程。外反馈过程是依靠外界因素帮助或是引导或是促使生物个体建立起能与环境相协调运做的神经网络系统，主观上我们称之为“教育”。内反馈主要体现在我们的思维活动上，通常外界事物在大脑中存在着对应的表象，被外反馈完善了的事物表象之间同样可以建立起互动联系，比如讲一个事物的表象被激活（输入），引发其他的表象也被激活（输出），这些被激活的表象同样也可以作为输入去激活先前的或是其他的表象，然后周而复始的运做，使得信息得以在脑内进行反复的处理。内反馈过程实际上就是一种“自学”的过程，但它的激发源头必定是与外界有关，并且最终要作用于外界，所以说内外反馈往往是兼而有之的。

在认知过程中随着内反馈的素材（表象）不断增多，生物个体渐渐能够认知自身与外界间的互动关系，自我意识也就随之产生，同时我们用以进行思维的素材及其运作方式，如概念，词汇以及由这些材料所带来的情感因素及组织方式等等，绝大部分都来源于前人或者是借用他人的经验，生物个体对这些经验素材的获取，或是由于接触的几率的不同，或是由于认同的程度的高低，个体间总会存在着差异，这样就产生了我们不同的个性特征。

3、创造

生物在与周围环境发生相互作用时，不可避免的会对周围的环境造成一定的影响，无论是主动的还是被动的，这些对环境的影响最终都是为了促使生物以更好的适应周围的环境。遵循优胜劣汰的法则，好的影响将会被保留继承下去，如搭窝、建巢、获取食物等等，而坏的影响会增加生物生存的风险。

神经网络在认知事物后，事物的表象往往不是特定对应着某一个具体事物，而是对应着在一个模糊的范围内所含阔的一类事物。例如，我们认知的苹果，泛指各种各样的苹果，甚至还包括那些嫁接出来的长的象其他水果的苹果等等。在我们依据苹果的表象勾勒出一个具体的苹果时，这个苹果将肯定不会与客观世界中的任何一个苹果相同，因为没有两样东西是绝对相同的。产生一个客观世界不存在的事物，就是创造，其过程就是创造的过程。

生物神经网络中事物的表象往往穿插交错在一起，它们以链路最省的方式构成。任何神经链路上的合并都可以说是事物的某一特征在某一层次上的概括，所以表象可以以不同的内涵层次来拆分成各种各样的属性单元（元素），而任何神经链路上的分支都可以说是事物的某一特征在某一层次上的副本，使得这些属性单元也能够隶属于别的表象或是说用于构建（表达）别的表象，当若干种属性单元在某一时刻都处于激活状态时，就等同于一种表象被激活，无论这个表象是否对应着客观世界中的事物，如果没有对应关系那就是一个较高形式的创造过程。

创造的几种主要的表达形式：联想、推理、顿悟

a、联想

当一个事物的表象被激活时，也就是说该表象所包含的若干属性单元（元素）同时有效时，我们的注意力焦点就集中在这个表象上，如果对该表象的处理（内或外反馈）使的表象被否决时，也就是说由于一些属性单元的失效（或被抑制，或处于高阻），导致该表象无法成立的时候，剩余的属性单元或许可以构成另一种事物的表象，或许还需要结合那些被激活了的新的属性（或是由外界事物具有的新的属性所激活，或是因降低了对一些属性的抑制所导致的激活）。

b、推理

联想是一种去激活与事物表象相关联的其他表象的过程，主观上是一种横向扩展的过程，那么纵向过程就是由于一个或若干个事物表象被激活，从而导致另一个表象也被激活的过程，即推理过程，其中的任何一个表象的确立（激活）都会通过反馈过程加以验证。推理与联想在神经网络结构上十分的相似，功能上也基本相同，只是在主观认识上，联想更强调相关性或是相似性，而推理则强调的是次序性或层次性。

c、顿悟

当我们思考一件事情时，或设计一件东西的时候，常常会遇到百思不得其解的情况发生，但有时，在某个偶然的事件影响下，我们会突然明白或能够解决这些问题，这就是顿悟现象。

事物的表象是由若干个神经网络属性单元所构成的，我们说的“问题”在大脑中也是一种表象，是一种经反馈过程没有验证通过的特殊的表象，这个表象的属性单元可能包括具体的事物表象、抽象的事物表象、逻辑关系、公理、定律等等内容，但这些属性同时有效时，问题的表象并不能通过内外反馈的验证。作为一个急切需要解决的“问题”，“问题”的表象被反复的激活（深思熟虑反复思考），在一个偶然机会，一个别的事件表象被激活，或是因为此事件的某个属性单元弥补了“问题”表象的一个重要的空缺；或是因为此事件“问题”表象中的某个关键的属性单元被抑制失效，“问题”表象得以完善并能够通过反馈验证，这就是顿悟。

四、神经网络的相关问题

人在成长过程中，他的学习过程就是构建相应神经网络结构的过程，随着认知程度的增加，网络结构也日趋复杂，对刺激的反应过程也随之复杂化，当复杂到无法预测时，主观上就会认为反应过程是自发产生的，这是人的一种错觉。

幼年，人脑神经网络的建立过程需要大量的空闲神经元，基本雏形确定后，剩余的空闲神经元会损失大半，这样才能够给网络的发展腾出空间。余留下来的空闲神经元或是成为新建神经链路中的一部分而被确定下来；或是被用于临时搭建的某些链路；或是作为备用存在于网络的空隙当中。

青少年，神经网络属于高速建立阶段，这个阶段的神经网络可塑性极强，主要是因为针对事物的认知，即是以机械性记忆为主，对事物认知的量及内容是抽象逻辑思维建立的基础及倾向，随着量的增加抽象概括的能力会逐渐增强。

中青年，事物的认知量及逻辑思维能力的配比达到了最佳程度，不光有一套较好的能与外界交互的神经网络系统，而且神经网络还保留有发展的余地，即还保留有一定的可塑性。

中年，无论是抽象事物还是具体事物，认知量已基本确定，网络的结构已日趋复杂化，在一些局部，需要修改的或是新建的神经链路对空闲神经元的需求也已日趋紧张，使得我们的认知速度逐渐减慢。

老年，在许多的神经网络区域，空闲的神经元已开始满足不了认知的需求，另外因为无法认知新的事物，对外界的反应能力也开始下降，连带的相关神经区域得不到激活，神经链路的健壮性开始下降，以至于一些神经链路解体，伴随的就是认知量的下降，即健忘等等现象，并且成为一种恶性循环发展下去……。

五、后记

为了能清楚的阐述它的运行机制，同时也是为了验证这套理论，根据前面所提到的神经元的结构功能及组网方式，我通过计算机软件设计了虚拟的神经网络系统，2000年软件完成了调试，并得到了很好实验结果。

参考文献

1《现代科学育儿答疑》（0-3岁）人民教育出版社1999年第1版

2陈守良等，《人类生物学》，北京大学出版社，2001年12月

3陈阅增等（1997）.《普通生物学》.北京：高等教育出版社

4苏珊·格林菲尔德，《人脑之谜》杨雄里等译

5陈宜张《分子神经生物学》人民军医出版社1997年2月

6伊·普里戈金、伊·斯唐热著、曾庆宏、沈小峰译《从混沌到有序》，上海译文出版社1987年版。

篇(3)

研究区潘庄区块位于沁水盆地南部向西北倾的斜坡带上，构造主要以褶皱为主，断层稀少．山西组的3号煤层是本区内稳定发育的主采煤层，也是CM1煤层气井的目标煤层．该煤层属于厚煤层，厚度变化范围3．15～7．30m，平均6．11m．埋深介于156．27～695．20m之间．顶板岩性主要为泥岩、粉砂岩、粉砂质泥岩，底板主要为粉砂岩和泥岩．

2BP神经网络简介

2．1BP神经网络结构BP神经网络结构由输入层、隐含层和输出层组成，其中隐含层可以有多层．在工程预测中，经常使用的是3层BP神经网络结构（图2）．这种神经网络结构的特点是：每一层内的神经元之间无任何连接，相邻层神经元之间具有单向连接，隐含层的激励函数采用非线性的S型函数，输出层的激励函数为线性函数．

2．2BP算法原理BP算法是一种监督式的学习算法．其主要思想为：对于n个输入学习样本：P1，P2，…，Pn，已知与其对应的输出样本为：T1，T2，…，Tn，学习的目的是用网络的实际输出A1，A2，…，An与目标矢量T1，T2，…，Tn之间的误差来修改其权值，使Al（l＝1，2，…，n）与期望的Tl尽可能地接近，使网络输出层的误差平方和达到最小．它是通过连续不断地在相对误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的．每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层。BP神经网络时间序列预测模型，即先利用BP神经网络的非线性逼近技术隐性的求解函数f，并以此为依据预测未来值．

3神经网络模型构建及检验

为了精确预测煤层气井产能、优化排采制度，本文基于时间序列预测思想构建了BP神经网络预测模型，整个设计过程由MATLAB7．11软件编程实现．

3．1神经网络基本参数确定在实际生产中，煤层气井产气量主要受控于产水量和井底流压，而且这两个参数数据资料丰富，易于收集．因此，以每天产水量和井底流压为基础向量，基于时间序列预测思想构建了14个网络输入向量（表1）．神经网络预测模型初步设定为一个14－X－7的3层BP网络．其中输入层节点数为14，对应14个输入向量；X为隐含层节点数，由经验公式［12］可得出其取值范围为6～15；输出层节点数为7，对应输出向量分别为未来7d中每天的产气量；初始权值为（－1，1）之间的随机数，初始学习率为0．1；隐含层激励函数为双曲正切函数，输出层激励函数为pureline函数，训练函数为trainlm函数．

3．2神经网络模型的构建选取CM1井2009年2月14日至2009年9月8日连续207d的排采数据为原始样本数据．其中，前200d的排采数据为训练样本，后7d的排采数据为检验样本．网络训练目标误差设定为0．0002，最大迭代次数设定为500次．将原始数据归一化后输入到网络中进行训练，隐含层最佳节点数采用试凑法确定为13（表2）．因此，BP神经网络预测模型的最佳网络结构为14－13－7（图4）．

3．3网络模型训练及检验再次输入训练样本对确定的网络结构进行训练，当网络达到目标误差或最大迭代次数时，停止训练．网络训练完毕后，将检验样本输入到网络中，进行模型性能检验。检验样本最大绝对误差72m3／d，最小绝对误差17m3／d，相对误差范围－1．43％～1．60％，平均相对误差1．05％，表明网络模型预测性能良好，能够准确预测CM1煤层气井未来7d的产气量．

4CM1井排采制度优化

在煤层气井排采实践中，根据未来产气量变化或生产需要，何时应该增大或减少产水量，何时应该增大或减少井底流压，调控的具体量度应该是多少，这些问题至今都没有明确的结论．因此，本文针对所有可能出现的生产情况，设计了24种排采制度调整方案。针对CM1井实际排采情况，厘定了产水量、井底流压调控量度及产气量变化量临界值．其中，调控产水量小幅增大（减小）与大幅增大（减小）临界值定为0．2m3／d；调控井底流压小幅增大（减小）和大幅增大（减小）临界值定为0．1MPa；产气量变化量小幅增大（减小）和大幅增大（减小）临界值定为1000m3／d．而在实际操作中，选取产水量小幅增大（减小）的值为0．05m3／d，产水量大幅增大（减小）的值为0．5m3／d，井底流压小幅增大（减小）的值为0．05MPa，井底流压大幅增大（减小）的值为0．2MPa．采用所建立的BP神经网络预测模型对各方案产气量进行了模拟，以第21种调整方案“产水量小幅增大—井底流压小幅减小”的模拟结果为例（表5），其它方案模拟结果见表6．在第21种排采制度方案中，当产水量小幅增大0．05m3／d，井底流压小幅减小0．05MPa，预测产气量比实际产气量平均增大了537m3／d，比前一周产气量平均增大了469m3／d．显而易见，当决策者希望煤层气井未来日产气量能够增大500m3／d左右时，可执行产水量提高0．05m3／d，井底流压减小0．05MPa的排采制度．综上所述，煤层气井采取不同的排采制度，产气量变化决然不同，总体可分为四大类，即产气量大幅减小、小幅减小、小幅增大和大幅增大（表6）．其中，使产气量大幅减小的排采制度方案有5种，小幅减小的有7种，小幅增大的7种，大幅增大的5种．这样就可以根据各调整方案预测结果，结合实际生产的需要，采用不同的排采制度，使煤层气井产气量朝着我们预期的方向发展．例如，如果期望未来7d产气量大幅增大，可以采用“产水量不变—井底流压大幅减小”、“产水量大幅增大—井底流压大幅减小”、“产水量小幅增大—井底流压大幅减小”等排采制度。

5结论

篇(4)

1．1采用计算机模拟技术建立模拟模型

对BP神经网络模拟模型建立的基础，人们是这样认为的，因为影响工程造价的因素，大多数人们都是没办法确定的，所以我们不需要把这个值具体是多少确定下来，而是从另一个方面考虑，根据这个项目的基本情况，估计实际的造价落在某个范围的机会会大一些，这个思想就是计算机模拟技术建立模拟模型的理论基础。

1．2人工智能模型

工程造价估算专家系统，是通过人工智能，加上知识库技术而建立起来的，可是这种人工智能模型主要靠专家的知识，来对工程造价进行估计计算的，但是估算的结果是被估算人员的主观意识所影响的，不同专家的性格，知识面的宽窄，经验丰富与否、都是不确定因素，几乎可以会所不一样的估算专家所得出的结果都不会一样。这种方法很容易带有个人偏见和片面性。受专家的主观偏见性较强。

2BP神经网络模型构造与算法

2．1人工神经网络的基本原理

1985，D•E•Rumelhart等人组成的PDP小组提出的一种神经网络模型，这就是我们今天所说的BP神经网络，BP神经网络结构是利用误差反向传播来消除误差的，它有三个层次，有一个输入层，第二个是隐层，最后一个当然就是输出层。在训练估算中，我们可以通过计算输出值和我们预期的期望值，他们之间所产生的误差，逆向思维，去求解输出层单元的一般化误差，然后再把误差进行反向传播，把隐含层单元的一般化误差求解出来，并最终调整输出层和隐含层，包括输入层之间的连接权，还有连接权与隐含层和输出层的阈值，最终目的就是让系统误差达到我们可以接受为止。当先前的系统误差达到我们所需求的时候，权值和阈值就变成了固定不变的了，这样我们再通过反向逆推，就可以测出我们这个项目的未知信息。这就是人工神经网络的基本原理。

2．2BP神经网络模型建立的步骤

(1)我们首先确定模型输入层，隐含层还有输出层的神经元个数。并且以此为依据，确定BP神经网络模型的结构参数;(2)神经网络只能处理－l～l之间的数据，所以在输入网络时，我们不仅需要对原始数据进行规范化处理，还要对隐含单元和各个单元输入信息进行求和;通过反向逆推之后得到本单元的输入信息。所以对原始数据，隐含单元输入模块规范化细致化是非常重要的;(3)隐含单元的输出值可以根据神经网络操作模型得出，只要我们把net信号经过一次激发函数的处理，可以得到这个隐含单元的输出值;(4)对于输出单元节点，我们只要对前一层的隐含层单元输入信息，并且加权求和后，就能得到该单元的输入信息。操作起来非常方便快捷;(5)对权矩阵的调整，因为人工神经网络可以近似实现任意空间的数学映射。所以我们假设，如果神经网络输入单元数为M，输出单元为N，则在m维欧式空间尺中会有一个有界子集A，存在着一个到n维欧式空间，那么R中一个有界子集F(A)的映射。

3基于BP神经网络的工程造价估算模型

3．1定量化描述工程特征的因素

什么是工程特征，在BP神经网络中所说工程特征，就是指不但能表示工程特点，而且还能反映工程的主要成本构成的重要因素。，我们可以通过参照历史工程资料的统计和分析，进行工程特征的选取工作。选取完成之后，再根据专家的经验来确定，这样就可以万无一失了。首先我们可以通过典型住宅工程的造价组成进行分析，然后对建筑结构参数的变化和别的工程做一下对比，通过以上两点得出的结果，分析这些因素对造价的影响，依照以上的理论方法，我们进行了实践性的研究，最终把础类型，结构形式，建筑层数，门窗类型，外墙装饰还有墙体材料以及平面组合等，这7种因素作为工程的主要特征。不同的建筑工程有着不同的类型，比如说结构，可以是砖混结构和框架结构等;砖条基和钢筋砼条基础等都可以作为基础特征，对于这样的特征选取的多样性我们称之为特征类目，通过工程特征不同类目的列举，再跟据定额水平，工程特征对造价影响的相关性，这些对平方米造价的改变，对工程定量化的描述可以主观的给出对应的量化数据。

3．2建立估价模型

工程造价估算的指标体系到该项目的单位造价的非线性映射，就可以统称为是建设项目工程造价的估算问题。BP网络可以根据人们的需求以任意的精度去逼近任意映射关系，究其原因就是上文说的BP网络采用的是三层BP神经网络结构，不同于其他的电脑估算网络。不仅是因为该模型的输入单元为7个，还有他们的项目样本特征也不尽相同。神经网络可以根据已经经过我们优选的模型特征，做为参考估算要素，然后再通过项目工程造价估算中，我们所提供的一定数量的已知样本，采取对样本的神经网络训练，最后根据以往的大的数据库，提取类似的项目估算值，然后才能对其它特征的项目进行估算。这样我们只需要输入指标体系的各指标值，BP神经网络就可以在该项目的单位造价的非线性映射中给出该项目的单位造价。

3．3检测结果的分析

上面我们通过大量的实际实验得知了这两个固定不变的数字，然后我们可以用程序值被收敛后的网络，对现在要进行求解的数据进行检测，在测试后，如果发现总体误差比率较小，那么就满足我们初步设计的概算需求了，同时对工程可行性研究的投资估算需求也已经基本符合了，这些结果能有好的保证，全是依赖我们所选择的模型的宽度够用，模型在所有的因素中具有广泛的代表性。所以估价模型的计算才较为成功。几个工程估算的好坏也不能代表所有的项目都是完美的，也有个别工程造价估算误差大，因为电脑毕竟是人在给其输入程序，电脑的经验，还有就是对一些特征的学习不够用，本身的知识储备还是有局限性的。因为对样本数量的学习始终是有限，不可能面面俱到，而且挑选的样本也不可能针对这个工程而言都是符合这个项目的特性。虽然说BP神经网络模型有这样无法控制的缺点，但是和其他的造价估算模型相比，BP神经网络模型的优点还是可圈可点的，其优点和其他的造价模型相比较优点还是非常明显的。在以后的估算中，随着样本的不断充实，数据的不断积累，经验的不但丰富，其估算的误差也将不断缩小，这些方面的补充，在以后的估算中，必定会取得非常完美的成绩。

4总结

篇(5)

论文关键词：咸潮，东江，神经网络

 

东江为珠江三大干流之一，发源于江西省寻乌县，由东向西流经龙川、惠州等地，于东莞桥头镇进入东莞市，流经约20公里至石龙分为南、北二大干流进入河网区，经东莞虎门出海。整个东江下游近入河口处，受径流和潮汐共同影响,海水随着海洋潮汐涨潮流沿着东江河口的主要潮汐通道向上推进,成为感潮河段。东江下游分布了东莞市主力水厂，咸水上溯将影响当地的供水水质。当水体含氯化物浓度超过250mg/L时数学建模论文，就不能满足供水水质标准,影响城镇生活供水。自2004年开始，每年的11月至次年2月易遭受咸潮的侵袭。2004年底东江径流量比多年同期减少约五成，咸潮持续了近六个月，东莞部分水厂因为氯化物超标停止取水，对当地居民生活和工农业用水造成极大的影响。

咸潮发生的机制十分复杂,受径流、潮汐、河口等多个因素共同影响，且各个因素之间有着复杂的联系，同时所需的观测资料不完整，因此难以用数学模型准确地描述咸潮的发生规律，而采用数理统计方法只能确定“点”到“点”的关系,不能描述咸潮空间变化的连续过程,具有一定的局限性。真正意义上的咸潮预报模型方面的研究与应用不多见，以基于偏最小二乘回归与支持向量耦合建立的咸潮预报需要有较高的编程程序【1】，在实际应用中具有一定难度。人工神经网络是近年来发展起来的一种受到人脑和神经系统启发而创建的计算方法，根据以往的数据找到一种比较精确的方法使得预测结果与实际情况相符合，预测的结果具有很高的信任度【2】论文下载。因此，本文以东江下游2009年10月~12月的实测统计资料为基础，建立通过人工神经网络的耦合潮位、上游径流量、咸度等因子建立咸潮预测模型，能为合理分配现有水资源、水厂抗咸提供可靠的依据。

1 BP神经网络原理

统计模型中,常采用回归分析方法,对事先拟定的因子进行筛选和系数求解,但当拟定的因子样本数较少且因子之间存在严重的相关性时,会导致分析失效[2]。人工神经网络能够通过大量简单的神经元广泛互连形成的复杂的非线性系统。它不需要任何先验公示，就能从环境变量和待预测水质指标的历史数据之间中自动地归纳规则数学建模论文，获得这些数据的内在规律，具有很强的非线性映射能力，特别适合于因果关系的非确定性推理、判断、识别和分类等问题。其中的BP网络算法使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差，是目前运用最广泛、最为成功的一种算法【3】。

BP 算法“训练”的过程可以分为向前传输和向后传输两个阶段：

1、向前传输阶段

（1）从样本集中取一个样本,,将输入网络。

（2）运算过程中，对数据的取值采集的各数据单位不一致，可对数据采用归一化方法处理。

（3）计算出误差测度和实际输出

（4）对权重值各做一次调整，重复这个循环，直到。

2、向后传播阶段――误差传播阶段

（1）计算实际输出O与理想输出地差

（2）用输出层的误差调整输出层权矩阵

（3）

（4）用此误差估计输出层的直接前到层的误差，再输出层前导层误差估计更前一层的误差。如此获得所有其他各层的误差估计。

（5）并用这些估计实现对矩阵的修改。形成讲输出端表现出的误差沿着与输出信号相反的方向逐级向输出端传递的过程。

网络关

于整个样本集的误差测度：

2 东江下游河道咸潮预测模型的建立

根据多年的历史观测资料，东江下游咸度一方面受上游径流量大小的影响(上游来水量越小,咸度值偏高的可能性越大,反之亦然),另一方面还与涨落潮的潮位紧密相关[4-5]。因此,本文选取博罗水文站记录的上游径流量、东江河口潮位、东江下游大王洲桥的咸度作为本模型的自变量和因变量（见图1）。根据2009年10月~12月的实测资料，首先选用2009年10月共60日的数据，对模型进行训练和模拟，建立东江下游月时段水量预测模型。

在应用BP网络运算过程中，输入向量有2个元素数学建模论文，输出向量有1个元素，所以网络的输入层有5个结点，输出结点1个，采用3层BP网络结构，即网络只有1个隐含层，当隐含层节点为4个时，所建模型具有相对较小的模拟误差，因而，隐含层节点设置为4个。网络的训练目标为0.001，最大训练次数为20000次。为了防止网络发生过度拟合，训练方法采用泛化能力较强的贝叶斯正则化方法论文下载。整个过程通过大量的试验计算获得，这无形增加了研究工作量和编程计算工作量，Matlab软件提供了一个现成的神经网络工具箱，为解决这个矛盾提供了便利条件。

图1 东江下游地理位置图

3讨论

为检验模型的预测效果，运用前面已训练过的用2009年12月共18日的咸潮情况进行预测，预测值和实测值见表2，结果显示数学建模论文，通过bp人工神经网络模型，以径流及潮差变化预测咸潮的方法是可行的,对咸潮的预测基本符合实际情况。

二十世纪九十年代，东江100m3/s的流量可以将咸潮压制在东江万江――中堂入海口处。2004年东江剑潭枢纽工程建设竣工后，上游径流流速减慢，对东江河道输砂量的拦截作用增大，下游河道的水位呈下降趋势并降到海平面以下，水力坡降的压咸作用消失【6】，海水入侵由原来的主要受流量影响转变为受潮汐和流量共同影响。从实测数据来看,由于潮差的半月变化直接影响到潮流的强弱,大潮（为农历十五至十八）时,咸潮强度大,上溯距离长，上游径流量要增加。整个东江下游作为感潮河段，一般情况下，上游径流量只要维持在270m3/s就能将咸潮线控制在万江至中堂一线以下。但是，在初一、十五大潮时段，如果上游压咸的需水量无法维持到360m3/s，咸潮有可能越过第二水厂，上溯到石龙段。2009年12月1-9日,大潮前后，潮位超过了1.00m，上游径流量最大仅为348m3/s数学建模论文，东莞市第二水厂的取水口氯化物浓度出现峰值，曾一度停产，影响正常生产；2009年12月16日-20日，小潮前后，由于上游径流量大幅度增加至370m3/s，咸潮无法达到第二水厂，保障了生产水厂的正常取水。

表1 2009年12月东江上游流量、河口潮位的实测值

 

日期

1日

2日

3日

4日

5日

6日

7日

8日

9日

东江河口最大潮位m

1.08

1.21

1.28

1.27

1.28

1.19

1.02

0.76

0.45

博罗水文站流量m3/s

279

271

302

317

312

348

340

299

258

日期

16日

17日

18日

19日

20日

21日

22日

23日

24日

东江河口最大潮位m

1.06

1.07

1.06

1.04

0.97

0.86

0.71

0.50

0.25

博罗水文站流量m3/s

370

370

330

342

338

284

285

篇(6)

BP神经网络模型的应用范围比较宽广，它也是众多神经网络模型中的一种使用效率较好的方式。该种神经网络利用存储空间和不断学习注入新的内容将工程造价中的输入、输出关系具体呈现出来，运行时，可以有效降低网络使用的误差几率。这一过程中使用的算法为梯度下降法，利用反向传播的理论对网络中的权值和阀值进行灵活调整和运用。BP神经网络中统计数据的输入是由输入层完成的，输入层直接和隐层相联系，隐层又直接和输出层对接，而隐层可由单一层充当，也可以是多层结构，此时输入层和输入层之间神经个数的具体量可以根据系统公式来定，因此数据在输入后的输出过程比较便捷。实际运算中，每一神经元连接强度的权值存在差异性，输入数据的影响程度也会随着权值的增大而加深。BP神经网络算法通常包括两项内容，一是通过正向传播的样本输入，二是通过反向传播的误差数据反馈修正权值。正向传播主要是从输入层完成样本的输入过程，接着经过隐层将数据信息传递到输出层，此时若实际输出结果和期望数值存在的差异，已经超过了事先设定的误差，则为反向传播。如果实际的输出值和期望效果的差异比事前设定值要小，系统结束学习算法。该种算法可以利用反复学习与功能连续锻炼的机会而促进运行过程的不断更新，对权值和阀值的灵活调整要通过几百次甚至几万次的映射，同时也要经过正向传播和反向传播的交替运行来完成，这样才可以最大限度降低误差。

2TOC理论概述和在工程造价预控中的应用

TOC理论也叫做约束理论，英文全称是TheoryofContraint，起初是用在制造业中的管理思维方式。不同事物中或者客观系统中，对事物发展方向产生重要影响的总是关键的极少数，而绝大多数处于被制约地位，这是TOC理论的假设基础，因此在对系统进行控制和领导时，只要将关键部分管理好，则可以收到事半功倍的效果。这一理论在工程造价的预控中有着重要的实践意义。通过将影响工程造价超支的各种因素找出来，并罗列出最为关键的因素，作为调节造价的杠杆，着重控制这些因素，尽力消除制约，提高控制效率，可以实现预期的建设目标。关键链法是在TOC理论上形成的常用操作方式，同时也提出了TOC在对待并行项目中如何有效实现资源共享的办法，核心原则是遵循整体优化而非局部优化方针，也即要在工程项目中，每一环节都要秉持着整体优化准则，将完成每一工序的保守时间抽出来，用一个合理的概率乘以相应工序时间值来作为工序的估计时间，同时还要在其中考虑相关的资源约束性。关键链的思考方式就是将时间和资源的约束性加以管理，把关键链网络化并对项目和资源进行合理的规划与整合，对工程造价控制过程的管理具有实践应用意义，一般采用五步法实施，一要找出制约系统运行的因素，二是将制约因素中存在的潜力充分挖掘出来，三是使系统中的其余任务都服从第二步的挖掘策略，四是不断提升制约因素的能力，五是若已有的制约因素已经消除，回到第一步，否则回到第二步，但是在回到第一步时不要让管理惯性成为新的制约因素。

3BP神经网络与TOC理论联合使用对工程造价预控作用

工程造价通常是指一般的建设工程从计划筹建到竣工验收交付这一过程中，各个环节运作需要投资的总和，兼具投资和成本的双重性。工程造价通从政府部门角度衡量算作一种投资从开发商角度来说则属于项目成本。利用BP神经网络和TOC理论可以对工程造价起到准确的预测作用，同时可以有效控制工程造价成本，最关键的问题是要处理好BP神经网络最终预测结果与TOC理论的有机结合方式。一般来说，当工程造价中的BP神经网络模型投入使用时，选择的样本数据也满足建模的需求，那么可以进行拟建工程的初步概算，同时，也可以将合同金额的有关数据信息当做预测分析应用数据加以利用，计算出预测结果，确定建设工程决算和合同金额相比，实际增加或者降低的比值，依据预测结果的正值，可以为项目工程成本的超支项和负值节约不必要的开销，按照预测结果中的向量水平将与其对应的合同各条款项相乘得出最终的统一值，依据制约理论的原则将该项结果的一半作为工程施工预留金控制的一部分，根据实际的情况，对预留金中的每一项采取增加或者减少的方式，确保新合同中的金额数量能够满足工程造价的需求，或者以此为依托，再形成新的金额向量。在这份新合同中，所计算的金额不仅包括原来工程量的清单计算方式，并且是已经进行优化的，具有可操作意义的，同时也包括了未来拟建工程依据原先的预测结果而形成的工程决算金额计划，是具有科学预测性和前瞻性的，也能够考虑到当前的状态。所以，单纯拟建工程项目在最初成本预测方面并不具有显著的优势，这和影响成本增高的因素有关。例如工程量的大小、工期的延长时间不同等，所以仅仅采用传统的计算和预测方式没有办法获取更为准确的数据，利用BP神经网络可以更为精确地计算和度量各种数据，同时也可以为工程预算过程和建设目标成本控制提供更为科学的依据。TOC理论则在工程建设监督管理中发挥重要的作用，过程控制水平也会对造价预控质量起到重要的影响，即便预测得再精确与科学，离开完善的过程控制和管理，造价预控水平依然达不到预期的目的。TOC理论的运用，能够有效发现工程建设中合同金额出现的变动问题，新构建的合同在实行过程中难免会遇到实际阻力，如果工程成本管理中出现了与原计划背离的迹象，或者工程的决算方向没有依据BP神经网络的预测规则，那么很容易造成工程运行的瓶颈问题，此时为了保证工程建设项目的顺利进行，或者为将风险与损失控制在最小范围内，就要当机立断根据预留资金的数量对整个决算实施过程进行相应的调整，同时还要对工程总合同金额做出适当的调整，以便使得每一环节都能够协调运作，确保瓶颈问题不会带来无法弥补的损失，控制好工程建设朝着良性循环方向发展。TOC理论的应用是为BP理论在过程干预中进行的补充，使二者达到优势互补的效果，BP神经网络重在事前的控制，也即通过精确计算和预测，可以提高事前控制力度，而TOC理论对过程控制效果良好，是典型的事中控制理论，将工程造价的事前控制与事中控制有机统一在一起，造价预控水平大为提高，可为工程建设项目节约成本的同时创造利润，也是实现资源优化配置的有效途径。

4总结

篇(7)

 

 

本 科 生 毕 业 论 文（设计）

 

本 科 生 毕 业 论 文（设计）

题目 阵列化的非晶体纳米硅神经突触器件制备与数值模拟        

 

 

姓名与学号     郑浩 315104964    

指导教师        皮孝东          

合作导师                        

年级与专业  2015级 材料科学工程  

所在学院        材料科学工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大学本科生毕业论文（设计）承诺书

1.本人郑重地承诺所呈交的毕业论文（设计），是在指导教师的指导下严格按照学校和学院有关规定完成的。

2.本人在毕业论文（设计）中除了文别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 浙江大学 或其他教育机构的学位或证书而使用过的材料。

3.与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。

4. 本人承诺在毕业论文（设计）选题和研究内容过程中没有伪造相关数据等行为。

5. 在毕业论文（设计）中对侵犯任何方面知识产权的行为，由本人承担相应的法律责任。

6.本人完全了解 浙江大学 有权保留并向有关部门或机构送交本论文（设计）的复印件和磁盘，允许本论文（设计）被查阅和借阅。本人授权 浙江大学 可以将本论文（设计）的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编本论文（设计）。

 

 

作者签名：                         导师签名：

 

签字日期：     年   月   日      签字日期：      年   月   日

 

 

 

致  谢

致谢内容。（仿宋字体或Times New Roman，小四号，两端对齐，首行缩进两个汉字符位，段前0磅，段后0磅，固定行距20磅。）

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

 

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息时代的来临，人类在处理大数据与多信息的任务面前面临着很大的挑战，传统的冯-诺依曼式计算机思想在处理这些问题时出现了本质上的不足，因此神经网络的应用于硬件化变得十分迫切。随着忆阻器的发现，类脑计算的实际应用变得可能。本文从硬件神经网络的兴起出发，阐述了硬件神经网络的研究现状与实现途径，之后引入了生物神经元的特征，阐述了以往关于人类神经元建立的数学模型。之后本文提出了一种阵列化硅纳米晶体神经突触器件的制备方法与过程，并且在基于这样的器件上，得到相应的LTP与STDP数据，将这些数据分别用于探究：神经元激活函数数值模拟，有监督脉冲神经网络之tempotron算法数值模拟与STDP无监督学习网络数值模拟，在得到结果的基础上，提出了硬件化神经网络所需要的器件的基本性质与要求。为未来的硬件化目标提出了可行性与基本方向。

关键词：硬件神经网络；神经元；神经突触器件；激活函数；Tempotron算法；STDP；无监督学习

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  毕业论文（设计）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 绪论

1.1.1 硬件神经网络的兴起

1.1.2 硬件神经网络的实现

1.3.1 生物神经元介绍

1.3.2 人工神经元介绍

1.3.3 人工神经网络介绍

1.3.4 脉冲神经网络介绍

3.1.1 神经网络结构

3.1.2 神经元硬件化结论

3.2.1 脉冲编码

3.2.2 权值更新

3.2.3 数值模拟结果

3.2.4 LTP权值改变法

3.2.5 STDP权值改变法

3.2.6 结论

3.3.1 理论背景与基础

3.3.2 网络设计

3.3.3 模拟结果

作者简历

攻读学位期间发表的学术论文与取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

毕业论文（设计）

第一章  绪论

11.1  硬件神经网络1.1.1  硬件神经网络的兴起

21世纪进入信息时代后，计算机的普及率大大上升，计算机本身也在计算力与逻辑处理上远远超过了人脑，然而不足的是，在数据的存取与记忆上，仍然是采用冯-洛伊曼式的串行方法，且功耗很大，而人类大脑拥有10^11 个神经元和10^15神经突触。这使得人类处理信息的方式是高效的并行方式，并且功耗很低。例如人类大脑看到一种东西，识别它的过程往往使视觉神经信号与记忆信号同时作用的结果，功耗在fj量级。在使得冯-洛伊曼式计算机处理复杂指令与控制上体现出了根本性的缺陷。基于这一点，神经网络的研究开始兴起，在1943年，McCulloch 和 Pitts 提出了神经元的形式化模型后, 有关于神经网络的讨论也逐渐火热起来，但其发展的中途受到很多科学家对其的质疑[19]。直到 1980年左右, Rumelhert 与他的研究伙伴[20]一起发表了著名的并行分布式处理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神经网络，从数学上的形式，证明了这种算法的可行性，BP神经网络是一种前馈式的误差逆向传播网络，通过训练集不断缩小输出值与目标值的差值从而达到非线性优化的目的。由此，神经网络的数学原理得到证明，其实在1970年神经网络存在一段低落期，也受到了很多怀疑。但是BP神经网络的兴起与提出，让科学们对于神经网络的态度再次火热起来。21世纪随着深度学习的提出，又掀起了一股关于人工智能的热潮，Deep learning 是在多层感知机的基础上，不断增加隐含层的层数，这上面又出现了一些数学上的问题比如激活函数的梯度弥散问题，但是由于Relu激活函数替代sigmod函数的提出，这些问题逐步得到了解决，深度学习向前发展了一大步。比如IBM的“深蓝”击败世界围棋选手李智石等，但是实际上，“深蓝”在击败李智石时消耗的电量等于一桶油的燃烧的焦耳值，但是李智石仅仅使用了两个馒头的热量战斗。也就是说，这场比赛其实并不公平。其实这反应的是人工智能的工作效率与真正人脑的学习效率仍然有很大的差距。神经网络本质是由多个简单的信号处理单元组成，这些简单的信号单元之间由一种方式连接形成网络，它意在模仿人类大脑处理信息的模式，从而实现图像识别，音像识别，特征提取和记忆等功能。现在计算机能够从软件上对神经网络进行实现，然而关于数据的存取方式仍然无法得到突破，数据的存取方式仍然是老式冯-诺依曼式的串行处理方式。但是人类识别图像，获得信息是并行的。因此硬件神经网络的开发是必要的，硬件神经网络能够使用集成电路实现并行处理信息，并且能耗低，效率高，能够更贴近人类大脑的工作方式。因此硬件神经网络的开发受到很多的关注与研究，未来人工智能和类脑计算的发展前景中，硬件神经网络的研究是必须的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '这部分放到前言部分比较好，或者干脆就不要了，放在这里是不合适的。']本文的第一章即绪论，主要是阐述当前关于硬件化神经网络的突破，现状与发展形势。

第二章主要从人类的神经元开始，讲述人类生物神经元的特点，讲述现在人工神经元的数学模型，以及硬件化神经元需要的要求与方式

第三章主要讲述制备实验器件的技术路线，与制备的过程和使用的材料

第四章从数值模拟的角度，探究神经元硬件化的条件是怎么样的，数值模拟选取MNIST数据集作为样本数据集，通过使用实验得到的激活函数替论激活函数，观察网络的准确率，得出相关结论，探究硬件需要满足的条件

第五章从数值模拟的角度，探究突触硬件需要满足的条件，突触与神经元不同，它是作为神经网络中存储权值，改变权值的存在，与神经元有本质上的区别，数值模拟采用26个英文字母的图片作为数据集，进行编码后发送脉冲，使用Tempotron 的有监督脉冲神经网络进行数值模拟，通过实验硬件得到的LTP与LTD图像进行权值更新。得到预测率的图像，证明了LTP的电或者光电器件能够作为脉冲神经网络硬件化的一个器件，为未来做出相关硬件网络道出了一种可行性。

第六章主要是针对STDP的学习机制扩大网络规模，将数据集扩展到MNIST手写数据集，使用STDP无监督学习网络[16]对数据进行训练，之后再对训练好的神经元进行分类。得到我们想要的结果。

第七章主要是总结本文的工作得到的结论，以及对于未来硬件神经网络的发展的一些展望与看法

 

 

1.1.2  硬件神经网络的实现

一般硬件神经网络的实现方式有三种，即采用电子学方法——依靠微电子技术实现人工神经网络, 采用光电方法——依靠半导体光电集成技术实现人工神经网络, 采用光学方法实现人工神经网络[18]。微电子技术应该是通过各种电路设计，例如放大电路，差分电路等集成电路，实现神经网络的reference部分。依靠光电实现的硬件神经网络是本文的重点，利用电学元器件，忆阻器器件，或者是光电器件，模拟生物神经元的膜电位变化曲线，与人类大脑的权重学习规则，从而实现神经网络的硬件化。采用光学的方法实现网络计算的方法十分有趣，UCLA大学的研究小组发明了一种全光的深层神经网络，通过光的反射与折射传递信号，利用光入射的相位差记录权值变化，实现了全光的神经网络，而且由于光的传播速度是光速，在整个网络的效率与速度上都十分惊人，能耗也十分低[21]。神经网络的电子学硬件实现方法主要有四种，其中分别是数字实现、模拟实现、混合数/模实现和脉冲技术实现等[18]。通过数字实现的神经网络一般精度很高[1,2]，权值易存储也容易改变，并且能够通过电路实现并行处理，克服传统计算机串行处理数据的弊病，但是缺点是电路难以集成，体积很大，很难适用于计算机新型芯片这种地方。通过模拟实现的神经网络能够很好克服上面的缺点[3,4,5]，但是由于突触和神经元器件对参数敏感，准确度下降，更关键是对于权值的存储存在困难。1987年是一个转机，即脉冲技术第一次用于了神经网络，使用VLSI技术作为实现，从这以后，神经网络的脉冲技术受到了很多关注[9,12]。

脉冲技术，简单来说就是将神经元的兴奋或者抑制状态通过一定的编码方式转化到脉冲的波形上，编码的方法一般有高斯编码，或者可以自定义的编码方式。由于脉冲化的信号是离散的，因此一定程度上可以简化运算电路：例如突触电路。神经元与一般的电路元件不同，它本身的密度很高，正如人类神经元的密度很高一样。这种紧密的排列方式使得脉冲信号把芯片和外围设备的接口变得更容易连接。本文正是利用从脉冲神经网络出发，制备出硬件化的元件，通过数值模拟硬件的实际可行性，并且对于未来硬件化神经网络的方向提出一些看法

21.2  硬件神经网络研究进展当前的人工神经网络存在三种模式，第一种是非学习型神经网络，即网络的前馈过程与权值计算过程全部由软件进行实现，权值是固定不变的，只用神经网络的电路结构完成之后，再与实际电路结构匹配即可。另外一种是on-chip的模式，即前馈过程通过微电子电路进行实现，权值的更新与计算通过计算机实现。还有一种off-chip模式，即是一种全自动的自主性芯片，从神经网络的前馈环节到神经网络的BP算法实现都一并完成。目前的研究状况，我们已经能够熟练通过电路的设计实现非学习神经网络。在on-chip式的人工神经网络上，我们也能通过一定的模拟方式得到实现。现在的当务之急是开发off-chip式的神经网络，使用硬件对权值的存储与改进是必要的。自从20世纪60年代后期引入忆阻器概念以来，由于其简单性和功能相似性，它们被认为是模拟突触装置的最有希望的候选者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，开拓了RRAM和忆阻器之间联系，做出了一定的应用之后以非易失性存储器件和神经突触晶体管为代表开始成为神经突触器件的基础。但将这些器件用于第二代神经网络（也就是多层感知机）上，取得了一定的成就，现在关于这方法的也在如火如荼的进行着，但是由于第二代神经网络的基础仍然是基于计算机的算力达到的深度，也就是说，加深隐含层的数目提高准确度，知识因为有着强大的计算芯片作为支持。我们需要考虑一种完全类似于人脑思考问题的神经网络与算法，于是脉冲神经网络开始兴起，并且被誉为第三代神经网络，这是一种完全基于人脑计算模式的神经网络，从长程记忆可塑性LTP，时间可塑依赖性STDP等研究的深入，这一网络的硬件化也成为了可能

31.3  从生物神经元到人工神经网络1.3.1 生物神经元介绍

人的大脑中有超过 1011个神经元，这些神经元之间的连接的突触又大约有10^15个，这些突触使得神经元互相连接，从而构成了复杂多变而又有条不紊的神经网络[7]。这些神经元的单独处理信息的速度并不算很快，但是人类的大脑能够很有效的利用这些神经元并行处理。即大量神经元一起处理一个任务，这有些类似于计算机里的多线程并行操作算法。人类大脑的神经元数目虽然庞大，但是它的能耗低却是特点，我们每日摄入的热量与一些机器的能源是不能够比拟的，然而我们的大脑就能够实现很多计算功能，有数据显示，脑神经系统一个动作每秒消耗的能量比最优秀的处理器能耗小1010个数量级。

人的生物神经元有两个部分，分别是细胞体和突起。具有处理并且整合输入的神经信号，然后传出这些信息的作用。突起有树突和轴突两种。树突相对较短但分枝很多，其作用是接受其他神经元轴突传来的冲动并传给细胞体。轴突长而分枝少，常常出现在轴丘，一般为粗细均匀的细长突起，其作用是接受外来刺激，再由细胞体传出。神经元与神经元之间的连接被称为神经突触，两个神经元之间连接强度或者关联程度体现在突触的连接强度。一般而言神经元有以下的特点[8]：

1）：可塑性：即神经元之间的突触可以连接，也可以取消，连接可以变强，也可以慢慢变弱，方便与人类去适应不同的环境。

2）：兴奋与抑制：神经元受到外界刺激之后，会产生膜内外渗透压的差别从而导致Na+或者Ca2+的流入或者流出，这些离子的迁移会产生动作电位，导致膜电位的上升或者下降，也就对应了人类神经元的兴奋和抑制过程。

3）：学习与遗忘：由于可塑性的存在，当人类在长时间受到同一种刺激的时候，会产生我们的所说的学习功能，而这种功能其实是神经元之间的连接得到了加强，同理，如果我们慢慢遗忘了一些东西，是因为长期不去使用从而神经元之间的连接衰弱了。对应的有LTP,LTD图像来进行表征。

4）：突触的延时和不应期。神经冲动的传递在突触中是需要时间的，一般这个时间是1-150ms。另外，神经元也不会在短时间内接受两次冲动，一般需要间隔一定的时间，这个被称为不应期。

从上面可以看到，想要用神经元器件模拟人类的生物的神经元，一定要从生物本质和特征去进行模拟。本文后面的数值模拟会再把这些特征一一强调一次，从而达到一种仿真的目的。

1.3.2 人工神经元介绍

早在1943 年 McCulloch 和 Pitts 提出了神经元的形式化模型, 神经元可用简单的zha值函数表示，并完成逻辑函数功能[19]。20世纪初期，美国心理学家Willian Jame 提出，一个神经元应该是同时接受来自不同神经元的信号后，由于不同神经元之间的突触连接强度不同，神经元相当于是一个加权和，并且由于兴奋存在一个阈值电压，需要一定的电压值才会fire，因此神经元可以用一个数学模型来勾画，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每个神经元的输入值，表征神经元之间的连接强度，b代表阈值电压。外界的f函数则是一种神经元的处理函数。

 

图1-1 MP 神经元模型

Fig.1.1 Neurons model

可以看到，对于神经元的硬件实现实际上是一个乘法器的实现以及加权和非线性处理，这个可以通过放大电路等进行实现。后续本文也将探究一下神经元应该具备怎样的条件，或者怎么样的器件适合作为神经元器件。

1.3.3 人工神经网络介绍20世界80年代,J.Hopfield 提出了 Hopfiel 神经网络, 引起了神经网络理论在优化学术界的轰动。然而热潮还远远没有结束。1986年，Rumelhart和McCelland提出了BP神经网络，这种神经网络是现在很多网络算法的基础，它是一种依靠逆向传播输出值与实际值误差修正网络权值的网络，利用梯度下降算法或者随机梯度下降法降低目标值与实际值的误差，随机梯度下降算法时为了加速算法收敛速度提出的更好的方式，现在很多网络也应用这种方法

 

图 1-2 经典的神经BP神经网络模型

从图中我们可以看到的是，网络一般由输入层，隐含层和输出层三个部分构成，其中输入层可以是图像的像素值，音频信号等等，因此神经网络现在广泛用于人脸识别，图像识别，声音识别等等领域。隐含层的多少是决定一个网络是否是深层网络的基本要素，隐含层如果越多，那么挖掘的信息，提取的特征就越难以用表面语言描述，训练的精度也会逐步的提升。输出层是网络的输出，网络的输出后往往会选择一个损失函数，这个损失函数是用于衡量目标值与实际值的差值从而进行误差反向传播计算。常见的损失函数有MSE函数,Cross-Entorpy函数等等。

 

图1-3 硬件神经网络的一种实现[15]

基于经典的BP神经网络MLP的硬件实现如上图所示，使用电路模拟整个网络的结构，在电路横向与纵向的cross_bar 的地方放置突触装置，利用电流与电压的比值进行权值的存储与更新。这样的网络往往需要得到的I-V曲线是对称的，就是说，权值的变化需要是随着强度的增加而增加，减少而减少，呈现一种线性的变化，从而保证在进行BP算法时，误差能够不断减小。

1.3.4 脉冲神经网络介绍随着在21世纪早期计算能力的显现，DNN（多层感知器，深层信念网络，传统神经网络等等）迅速发展，DNN的基本特征是有很多隐含层，这些神经网络能够实现监督与非监督学习，并且能够优秀的完成有大量数据的任务。然而实际上，现在的DNN的优秀来源于GPU的并行加速机制，是在计算机多核算力上的体现，在其本身的算法上，其效率远远不如人脑高。SNN（脉冲神经网络）最近引起了很多关注，因为它们与生物系统非常相似，在SNN中，输入信号是尖峰，而不是传统神经元中的恒定馈送。 人们普遍认为能够处理尖峰是大脑在序列识别和记忆方面如此壮观的主要原因之一[9]。序列识别是计算中更重要的主题之一，因为它直接影响系统处理强烈时序依赖的刺激的能力，例如语音识别和图像检测[10]

 

图1-4  STDP图像

对应STDP的最简单理解是，如果前突触神经元的信号在后突触神经元的信号之前达到，有理由认为前突触的信号导致后突触神经元的信号产生，那么这两者之间的突触连接强度应该增加，反之就该减少。但如何保证这种训练模式一定是有效的呢？Bengio 和 Fischer 两人在2015发表的文章[11]指出具有对称反馈权重的网络将具有以下特性：“输出单元”的小扰动将向更好的预测传播到内部层，使得隐藏单元移动到大致遵循预测误差J相对于隐藏单元的梯度。而STDP规则大致对应于预测误差的梯度下降，即STDP的规则其实和SGD算法有着异曲同工之妙。Scellier和Bengio（2016）报告的实验已经真实地表明这些近似值可以工作并且能够训练有监督的多层神经网络[12]。

脉冲神经网络被称为新一代神经网络，与经典的神经网络不同在于它的输入实际上不是一个连续值而是一系列脉冲，更为重要的是他的神经元膜电位，一旦达到了膜电位的峰值，那么这个神经元就被激活，后面的脉冲会进入一段不应期。关于神经元的模型，已经提出了HH模型，Izhikevich模型与LIF模型，其中以LIF模型为例，其微分方程的表示如下：

τdVdt=−(V−Vr)+RI

                      （2-2）

 

τ

是膜的时间常数，R为膜电阻，V是膜电位，Vr是复位电位，I是注入电流，当膜电压超过一个阈值时，神经元会发送一个脉冲。如果后面没有连续的刺激，这个产生的脉冲信号会不断衰退，膜电位也会恢复到复位电位后稳定。之后再接受电流再刺激。

 

针对脉冲神经网络的学习过程，也分为有监督学习和无监督学习，无监督学习主要以STDP为主[13,14]，有监督学习包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做个详细的介绍：

在Tempotron算法中，考虑在阈值下，突触前神经元产生的脉冲信号，对突触后膜电位（PSPs）的贡献是来自所有脉冲输入的加权和：

V(t)=∑iωi∑tiK(t−ti)+Vrest

                  （2-3）

 

ti

表示第i个神经元的脉冲发送时间，

K（t−ti）

表示第i个脉冲对于膜电位的贡献，即突触前神经元发出的脉冲对于突触后神经元膜电位的影响。其标准形式如下：

 

K(t−ti)=V0(exp[−(t−ti)/τ]−exp[−(t−ti)/τs])

          （2-4）

 

τ,τs

是时间常数，为了保证K(t)在（0,1）之内变动，我们需要用V_0进行归一化处理，K(t)图像绘制如下图：

 

 

图1-5 K(t)随时间变化图

由监督学习的重点是要将权重更新向着误差减少的方向进行，获得期望的输出脉冲，更新规则如下：

Δωi=λ∑ti−tmaxK(tmax−ti)

                     （2-5）

 

即以二分类为例，ti

为突触前神经元峰值的产生时间，这里的

tmax

设定为我们设置的时间序列的终点，默认为突触后神经元的峰值的产生时间，但这和一般的STDP不一样，因为STDP的神经网络训练规则实际是不需要有监督的，而这里有一个参数

λ

，用于控制输出值与期望值的误差方向，如果突触前神经元产生峰值超过阈值电压的神经脉冲，并且突触后神经元指向分类标准与前神经元指向的分类相同，则不需要修改权值（说明这个连接正确），如果突触前神经元峰值未超过阈值电压，那么需要根据上式指定

λ

>0，并且计算需要增加的权值。反之当

λ

<0时，需要进行减小权值。总体看来，这是在借助有监督学习的条件下，在明白误差修正方向下利用STDP中的LTP与LTD曲线获得修正的幅度（可以认为是学习的速率），从而使我们获得期望的输出。注意上面提出一种概念：即在有监督学习的条件下，后突出神经元的峰值由标签值决定，并且根据误差值指明误差修正放向（体现为

λ

的正负性），然后依靠STDP决定修正幅度。这也是一种将STDP曲线用于有监督学习的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  实验部分12.1  阵列化基于硅纳米晶体杂化结构的神经突触器件制备2.1.1  制备技术路线在本论文里面，采用了冷等离子方法制备了掺B的Si量子点，相比于其他的掺杂方法，冷等离子法是借助了动力学的原理，从而实现了对硅纳米晶体的高效掺杂，一定程度上避免了利用热力学原理来掺杂的过程中出现的“自洁净”现象。相比之下能够实现比较高浓度的掺杂。

 

图2.1 使用冷等离子法制备掺杂硅纳米晶体示意图

使用冷等离子体法制备掺杂硅纳米晶体的装置设计示意如图2.1所示。先准备每分钟流量值12标准公升的硅烷氩气混合气（20% SiH4）、157 sccm的硼烷氩气混合气（其中含有0.5% B2H6）和105 sccm的高纯氬气通入到石英管中混合，调节系统尾部的真空泵，使腔体内的气压稳定在6 mbar。石英管中间部位套有两个铜环，分别接匹配箱和射频发生器的正负两级。在射频发生器（功率约为150 w）的激发下，铜环之间的石英管内将产生等离子体，混合气体在通过等离子体区域时将会发生分解反应，这个反应的产生是因为气体受到了高能粒子和电子的轰击产生的，具体化学反应式如下：

SiH4⃗Si+H2B2H6⃗2B+3H2

 

在器件制备方面，本文利用硅纳米颗粒的光电性能与以及表面缺陷对载流子具有俘获的性质，首先与钙钛矿进行杂化形成混合容易。通过旋涂工艺制备成了太阳能电池结构的神经器件，器件的结构是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au。在该结构里面，ITO是通过光学刻蚀得到。PCBM, 钙钛矿与硅量子点杂化层， Spiro是通过旋涂方法得到。其中钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子点在溶液里面的浓度为10mg/ml.杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au电极采用热蒸发工艺得到，厚度大约为100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '这一段是不是应该要删掉？']2.1.1  器件制备路线

在器件制备方面，本文准备利用硅纳米颗粒的光电性能与decay长的性质，与钙钛矿进行杂化形成自驱动电池，在制备电池的工艺上，选择旋涂工艺做成太阳能电池的结构，器件结构分别是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au，之后使用热蒸发工艺将电极Au安装上，设置厚度大约为100nm。钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF为溶剂，浓度为10mg/ml. 杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200多纳米。段落内容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  数值模拟13.1 神经元硬件化数值模拟3.1.1  神经网络结构对于神经元的模拟，和突触的模拟不同，神经元的功能由上文中的MP模型已经表述很清楚，他承担一个乘法器和加权和、还有实现一个神经元函数的功能，这个功能也是我们下面模拟要探索的。

 

图3-1 MINST数据集对于的神经网络结构

采用常用的MNIST手写识别数据集作为整个网络的输入，先将图像的RGB值转换成一个单位的灰度值，设计输入层应该有784个节点，隐含层300个节点，输出层设置10个节点，分别对应0-9个数字的pattern。在实际模拟时，采用两种方式处理，第一种是利用STDP非线性函数直接对输入的图像像素值进行处理，意在将灰度值转换为强度值。再用网络进行训练。第二张利用STDP非线性函数作为神经网络中的激活函数，意在探究神经元的基本性质。

训练模式采用SGD算法，样本集总共55000个图片，每张图片28×28有784个输入值，epoch设置扫描样本集10次以上，损失函数使用交叉熵函数，激活函数选择softmax函数进行激活分类，因为这个函数比较适合于多分类问题，在优化上也得到了理论的证明。首先我们先将实验中得到的STDP数据拟合结果如下：

 

图3-2 STDP Positive 拟合图像

这里故意选择了一个与常规激活函数相关性为负的激活函数，一般的激活函数比如sigmod，relu激活函数，其强度其实和输入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']现正相关的，这里选取的作为负相关的原因是想探究是否能够作为激活函数使用。其结果如下：

 

图 3-3 拟合的Loss与Accuracy随训练次数的变化图

可以看到上述的结果是可观的，也就是说，激活函数的选取，与是否与输入值正相关没有关系。另外我比较了理论激活函数，实验激活函数，与对输入直接非线性处理得到结果的异同性：

 

图3-4 三种不同方法得到Loss函数变化情况

 

图3-5 三种方法得到的Accuracy变化情况

可以看到，理论激活函数（红色）在准确率上仍然时最高的，最后的样本内准确率有98.42%，但在loss的下降速度上，实验激活函数体现的更好，但实验的激活函数最后准确率只有96.69%。

3.1.2  神经元硬件化结论根据上面的模拟结果我们可以得到结论，对于神经元的硬件模拟，作为激活函数，只需完成非线性这个条件即可，但是在实现乘法器的过程中，需要电路由很好的线性度。这个线性度的要求实际是从BP算法的推导中获得的，这里简单的推导一下：

Δw=∂Loss∂w=∂Loss∂y∗∂y∂output∗∂output∂w

              （3-1）

 

上式想说明的是，我们需要调节权值w使得我们计算出的loss函数达到最小值，因此我们需要求其导数从而获得调整的方向，可以看到等式右边第一项实际是损失函数对于输入值的导数，第二项时激活函数对于输入值的导数，这两项在有输入值的条件下是可以求出的。而根据神经网络的矩阵运算：

output=w⋅x+b

                       （3-2）

 

可以看到，output值与输入的值时存在线性关系的，那么也就是说，我们权值变化量Δw

与输入的x需要满足线性关系。因此神经元硬件化需要实现的线性度不仅仅影响了加权的效果，还影响到权值更新的效率性。很多关于神经网络硬件化的论文一定会提到这个线性度，因为这个线性度时实现神经网络算法达到收敛的基本保障。

 

 

图3-6.a SET与RESET模式下的I-V曲线；b SET模式下的权值变化随刺激次数的变化；c RESET模式下的权值变化随刺激次数的变化[15]

如上图清华大学完成的忆阻器神经突触器件，选取电导作为权值时，需要I-V曲线在第一二想象有近似的对称值，其导数值(即权值)随着固定电压的刺激次数线性增加或者减小。一般而言，在硬件神经网络进行权值跟新的时候，会选择一个固定更新电压，在这个指定的电压下，我们需要保证权值的正向更新与负向更新有近似的值，这个在图像上体现为图像的对称。之前也有文章在图像的对称性上做了相关的材料探究。证明这样的对称性是必要的

23.2 有监督脉冲神经网络数值模拟3.2.1  脉冲编码脉冲神经网络与第二代神经网络最为不同的一点在于，它的输入并不是一系列连续的值，不是像图像像素一样一个个数据连续计入，也没有二值化的操作。而是离散的脉冲值，就图像识别而言，简单的多层感知器输入是输入图像的RGB值或者是图像的灰度值，将这些值进行标准化后作为网络的输入。而脉冲神经网络需要对于输入进行一定的脉冲编码处理，这个处理可以自己选择，但转化的思想很重要。即将图像的灰度值信息编程处理成一系列脉冲，并且将脉冲发出的时间作为网络的输入。下面介绍本文中tempotron算法的编码方式。

选取26个英文字母A-Z作为需要识别的样本集。每一个字母由一张16×16像素的图像组成，且该图像只有0和1两种灰度，即非黑即白。因此我们输入一张图片后，它会编程一个16×16的二值矩阵，我们将这一的二维矩阵一维化，使其变成1×256的一维数组，然后我们对其进行编码，每次随机从256个数中随机去8个数且不放回，组成一个32×8的新矩阵，对于每一行数，得到的是一个8位的二进制数，因此我们将其转化成十进制数，得到一个0-255范围的数，将原来的矩阵转化成了32×1的矩阵。且每一行代表一个脉冲的发送时间，即将一张16×16的图像矩阵转化成了在不同时间一共发送32次脉冲的输入值。

3.2.2  权值更新按照tempotron算法的权值更新规则：

Δωi=λ∑ti−tmaxK(tmax−ti)

                     （3-3）

 

我们需要设置一个时间轴，并且对于这个时间轴上进行时间窗口的划分，等于说我们需要将这个时间轴切割成一份份来进行一个个的循环。由于之前在输入编码的时候，我们将16×16像素的黑白图像转换成了发送32次脉冲的输入，这些输入的脉冲的时间是0-255，也就是说，我们建立一个长度为256ms的时间轴，并且以1ms为一个时间窗口，每次检查在当前时间窗口前是否有脉冲输入，并且每次都选取在当前时间之前能够发送脉冲的数据，认为他们发送一次脉冲，将这个脉冲与核函数相乘，作为我们膜电压，如果膜电压超过了我们设置的threshold电压值，我们则认为该神经元处于fire状态，并且会进入一段不应期，即shut down后面在256ms内的所有脉冲输入。我们输入是5个神经元，这是因为我们需要对26个英文字母分类，即用5个二进制数最大可以表示到0-31的每个数，于是我们用5个二进制数表示我们分类的pattern，例如字母A我们使用00001表示，字母B用00010表示。以此类推。当神经处于fire状态时，它会表现出1的状态，反之如果它没有能够达到阈值电压，它会处于0的状态，我们将网络的输入与我们准备好的标签值进行对比，如果说产生了不同，即分类产生了误差，我们就需要对其进行权值更新，从而在慢慢的训练过程中，获得我们期望得到的脉冲值。

即如果网络发出了脉冲，但是实际没有发送脉冲，我们降低该脉冲产生的权值，从而让其在后面慢慢变得不发出脉冲。

如果网络没有发出脉冲，但是实际输入应该发出脉冲，我们应该强化该脉冲的产生，即增大其权值。

 

图3.7 训练前脉冲与训练后脉冲对比图

我们设置1.0 v为阈值电压，可以看到，随着训练次数的增大，一开始正的脉冲倾向于在后面发出超过阈值电压的脉冲。但是一开始负的脉冲，虽然一开始超过了阈值电压，但是由于随着训练次数的增大，变得不断被抑制，不再发出脉冲。我们的网络就是基于这样一种思路去训练与优化。

3.2.3  数值模拟结果数值模拟上，本文选取了两组实验数据进行了权值更新法则函数的模拟，即使用实验得到的LTP与STDP数据进行了数值模拟，并且对比了两者在应用于tempotron算法的差异，提出一定看法。

3.2.4  LTP权值改变法数值LTP曲线是模拟人类大脑学习时候的长程可塑性，在图像上体现为，施加一段固定脉冲间距和脉冲峰值的脉冲，使突触器件的模拟膜电压升高，经过一段时间再进行了衰减。表现的图像如下：

 

图3.8 LTP拟合图像

线是得到实验的LTP数据后，使用神经网络算法进行拟合，得到完美拟合的曲线，这样保证了能够使用完全的实验数据。另外由于实验的数据仅仅有LTP数据，然而对于我们的模拟也需要LTD数据，基于我们对于这两个图像的了解，他们在一定程度上是中心对称的。我们通过对于LTP数据的神经网络拟合，外推LTD的数据，将LTD的数据应用于模型的抑制环节，保证权值的增加与减少对称。

将LTP的数据带入，进行训练，设置最大epoch数为100次，设置阈值电压为1 v。训练结果如下：

 

图 3.9 准确率随训练次数的变化图像(LTP)

可以看到，在100 epoch下，准确率在随训练次数的增加而增加，最终稳定在89%左右。

3.2.5  STDP权值改变法人脑的学习模式是STDP已经被大部分论文和实验所证实，因此也许基于STDP的权值改变方法能够更加促进学习的效率。STDP的本质定义是说：如果突出前神经元的峰值脉冲到达时间小于突触后的神经元峰值脉冲，那么认为突触前神经元脉冲的产生可能是有利于突触后神经元的产生，即这两者之间是存在一定的联动关系的。于是加强这两个神经元的连接。反之则减弱它们之间的连接。

利用实验得到对的STDP Positive数据，波张选取375nm的光做刺激。得到光驱动下的STDP。但实验与理论存在偏差的一点，是光刺激下的STDP图像实际上是存在于一、二象限的，这样意味着，无论是突出前神经元的脉冲先到达还是后到达，产生的权值更新过程，都是加强该两个神经元之间的连接。在保证权值更新双向对称性的情况下，这样的情况显然是不允许。于是在三象限部分，本文选取了其他数据作为替代，这个数据是从电突触元器件得到的。这里也可以得出一个设想，是否可以有光与电合并的突触器件，使用光完成第一象限的STDP工作，由电器件完成第三象限STDP工作。为何要选择光器件是因为，光学突触器件的耗能相比于电学突触器件要节省很多。如果能够使用光电混合信号实现光电STDP，也不失为一种选择。

拟合后正向STDP函数表达式如下：

y=−0.346ln(x)+2.708

 

负向STDP函数表达式如下：       

y=0.302ln(−x)−2.546

 

根据上面的STDP函数更新法则，带入我们的temportron算法进行求解。得到准确率变化情况如下，设置参数与LTP更新规则相同。

 

图3.10 准确率随训练次数变化情况(STDP)

可以看到，经由STDP训练的网络，在epoch=60左右的时候，已经达到了准确率100%，在训练的准确度与效率上，高于使用LTP训练的结果。这也可能是为什么当前很多的研究都着眼于STDP权重更新机制。这可能也和STDP实际上与人类大脑的学习机制十分相似，本次模拟也证明了大脑学习模式在权值调整上的优越性，基于LTP的调制模式，更多是对于算法当中核函数K(t)的模拟，而并非是对于本质上人类大脑学习模式的仿真。

3.2.6  结论无论选取LTP，STDP作为权值更新的方式，神经网络的权值更新一定要是对称，这样在梯度下降算法过程中，才能够有正和负梯度，使得最后的结果收敛于局部最小点。另外，在学习机制上，STDP是存在一定优越性的。后面本文将针对SDTP学习机制，将网络扩展到更大的规模，展现STDP学习机制的强大之处。

33.3 无监督脉冲神经网络数值模拟3.3.1  理论背景与基础这SNN的发展之所以广受著名，是因为它网络的元器件要求是有一定硬件基础的，不论是在神经元的设计上，如LIF模型，HH模型，还是电导突触，指数型的衰减机制，阈值电压。都可以通过我们设计的电学或者光学器件进行实现。

本文基于2015年Peter发表的关于STDP无监督学习网络的代码基础上，加上实验得到的数据，进行数值模拟。模拟之前，先了解一下网络的具体结构与基本理论。

对于神经元的设置，应用integrated -and-fire model模型：

τdVdt=(Erest−V)+ginh(Einh−V)+gexc(Eexc−V)

            （3-6）

 

这里V是膜电压，Erest

是神经元在没有外界刺激下的一种静息电压。

τ

是抑制或者兴奋神经元的时间时间常数，这个常数时间上就是用于控制各种不同的STDP图像。

galignlink

和

gexc

是抑制性神经元和兴奋性神经元的电导值，这个值在神经网络中表现为权重，也是我们需要训练的东西。训练模式与tempotron算法类似，当膜电压到达阈值电压的时候，就会发送尖峰脉冲信号，然后膜电位复位到静息电压。如果有神经元的尖峰信号达到突触，那么突触就会提升权值，即电导，如果没有，那么权值就会指数型的衰减。权值更新的模式仍然是取决于突触前神经元与突触后神经元的尖峰达到时间差。如图3.11所示，由于前后神经元的脉冲尖峰抵达时间差不一样，产生了兴奋和抑制两种模式

 

 

图 3.11 STDP权值更新模式图[17]

我们需要定义兴奋性神经元与抑制性神经元的权值改变方式。对于兴奋性神经元的电导更新模式如下：

τgedgedt=−ge

                      （3-7）

 

抑制性电导的更新模式其实只需要更换常数：

τgidgidt=−gi

                      （3-8）

 

时间常数得控制会影响STDP得学习曲线，人脑或者生物的时间常数一般是10 ms-20 ms量级。我们由实验得到得时间常数数值也靠近这个值

然后是基于STDP的权值更新法则：

Δw=η(xpre−xtar)(wmax−w)u

               （3-9）

 

实际上，STDP的更新规则很多，还有指数型的，这里选取一种更新规则，他们大多大同小异。这里的η

是学习的速率，

Xpre

是该脉冲产生时的上一次脉冲值，每当有一次脉冲到达突触时，

Xpre

会增加1，如果没有，它会按照指数型进行衰减。

Xtar

是前一次的突触前神经元产生的脉冲，其反应在突触后神经元的目标值。这其实也是在将突触前神经元和后神经元产生的时间在进行比较，从而正确的更新权值。

 

3.3.2  网络设计脉冲神经网络的设计与普通的经典神经网络有所不同，由图5.2看到，Input输入层图像的像素编码脉冲数据，脉冲的频率由图像像素点的灰度值，即成正比关系，28×28的像素值会变成一个784×1的一维序列，每一个值代表一定频率的脉冲信号。

 

图3.12 SNN神经网络结构[16]

 

之后进入激活层，激活层放置激活神经元，然后再进入抑制层，放置抑制层神经元。这里可以看到，非监督学习网络的结构是不存在标签值的。更新完全依靠激活层与抑制层之间的关系。从图3.12可以看到，输入层与激活层实际上时全连接模式，即每一个像素点产生的脉冲序列都会再激活层有一个对应权重。激活层与抑制层之间时一一对应连接，但抑制层与激活层的连接却是全连接模式，除了激活层已经与抑制层产生连接的神经元。这样的网络设计模式实际上是由理由的。这应用的winter take all法则，即当某个激活层的神经元产生兴奋后，该兴奋传递到抑制层后，抑制层会抑制其他所有神经元产生脉冲。也就是说，不断的训练后，能够产生脉冲的神经元会趋向于越来越容易产生脉冲，而其他神经元会越来越无法产生脉冲。从而达到训练的目的。这和传统的K-means算法也有异曲同工之妙，但不同的是STDP 非监督学习存在抑制层，从而避免了某几个神经元一直占据某个pattern。

3.3.3  模拟结果数值模拟将MNIST 六万个训练数据编码后作为脉冲输入，整个训练集进行了6次迭代，一共是36万张图片，训练结束后学习虑被置为零，动态阈值被锁定。之后输入每一类的数字图片，记录每个神经元对应该类图片的激活次数，并且选取其中激活次数最多的为该神经元的标签。之后使用测试集的一万张图片作为脉冲输入，观察每当一张图片输入时，哪个神经元的激活频率最高，如果该神经元的标签与输入图片属于同一pattern，那么认为分类正确。统计10000万张图片的平均准确率，得到网络的训练的评价值即Accuracy。

 

图3.13 神经网络权值矩阵图

这里训练后激活层的权值矩阵。之前提到了，当网络训练完成后，我们会输入每一个图片的pattern，以激活次数最高的神经元作为该pattern的标签，在这样经过改进后，图5.3是激活层神经元重组后的权值分布，可以看到，不同神经元对于不同pattern的适应程度不同，体现在颜色的深浅上。

 

图3.14 输入层到激活层权值矩阵可视化图

 

图3.15 激活层到抑制层权值矩阵可视化图

从图3.14我们可以看到，只有很少部分的权值很高，即呈现黄色小点模式，体现即只有少数pattern才能够产生脉冲，其他的脉冲都被抑制，这个图像很好体现了我们在学习过程中的winer-take-all的模式。图3.15体现的更加明显的是，因为网络的设计是激活层与抑制层一对一连接，抑制层与激活层反向全连接，但除去了从激活层连接过来的神经元，因此在权值的对角线上都是winer，而其他的神经元都被抑制，从而达到了我们从众多神经元中选取出适合当前输入的正确pattern。

之后我们输入10000个MNIST的test集图片进行外推，结果是：Sum response - accuracy:  91.43  number incorrect:  857。即我们在验证集上达到了91.43%的准确度。总的来说还是比较可观的。

结  论本文用了三个数值模拟的方法，分别对于神经元硬件化条件，神经突触硬件化条件，神经元学习规则优越性做了探究。在神经元硬件化上，通过使用不同的非线性函数进行数值模拟，得到了其实在当选取激活函数时，函数与输入值的正相关性并不是必要的，非线性才是最为重要的基准。并且作者使用简单的链式求导法则，证明了神经元的硬件化需要有加权乘法器的功能，并且强调了乘法器的线性程度。也就推出了权值更新时，权值该变量与输入值的正相关性的重要性，也可以说是正负变化的对称性是对随机梯度下降法达到收敛的充分条件。在SNN数值模拟上，本文先尝试了tempotron有监督SNN算法，并且对其权值改变的方程做出了LTP与STDP法则的两种试探，发现STDP的效果更好，也不愧是贴近人类大脑的学习模式。这里也需要指出tempotron算法的缺点在于该算法只能针对单神经元，即脉冲只能判断单个神经元能不能发出脉冲，泛用性不是特别强，但是将输入改成离散的脉冲输入，在神经网络的结构和理念上是一个很大的突破。接着文章以STDP学习机制更为优秀的基础上，在基于2015年Peter教授的无监督STDP学习网络[16]这篇论文的基础上，使用实验相关的数据进行了数值模拟，指出了该网络的结构，采用winter-take-all模式与IF神经元结构，实现了在没有任何标签和领域知识的无监督学习网络的模拟，并且在MNIST的test数据集上达到了91.43%的正确率。从实验上证实了STDP学习机制可以用于无监督学习，指出了其在未来发展的巨大潜力。

最后本文提出一些对于当前硬件神经网络研究的看法，目前实现硬件神经网络的方法在绪论也有提出，主要有微电子方法、半导体突触和光学实现。作者认为想要实现真正的类脑计算。我们就需要研究更与人类达到贴切的器件。尽管在微电子方面，目前的技术可以实现精度很高的数字模拟电路。但是实际上那也只是靠我们强大的算力与耗费了很多资源达到的结果。再说全光学的神经网络，这样的设想只能够用天才来形容，这样的网络耗能少，效率高，速度快。但这并不能够算是类脑计算，只是从物理的角度对于神经网络进行了实现。真正的类脑计算我相信应该是基于STDP，LTP, LTD这些与人脑大脑对于信号实际反映做出的模型之上的。近年来已经发展了很多基于STDP或者类脑计算的算法，并且在数值模拟上都证实了其实现的可能性。目前的当务之急应该是制备出与这些理论符合的突触器件或者神经元元件，然后进行集成，实现一个结合微电子设计电路与编码处理，从而实现一个从输入，到reference，再到自动Back Propagation修改误差的自主型芯片，真正达到off-chip模式的神经网络计算与硬件化。

参考文献[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高丽娜 邱关源. 一种连续可调权值 CMOS 神经网络. 电子学报, 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]贺静, 基于CMOS 模拟技术的多种前馈人工神经网络硬件的研究与实现 [D]. 湘潭大学, 2014 

[8]侯媛彬,杜京义,汪梅. 神经网络 [M]. 西安:西安电子科技大学出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陈琼. 郑启伦.人工神经网络系统硬件实现的研究进展.[J].电路与系统学报.2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  录代码具体说明请参考github.com/zhenghaobaby/graduated_design

作者简历姓名：郑浩  性别：男  民族：汉族  出生年月：1997-04-11  籍贯：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大学攻读材料科学工程学士学位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻读学位期间发表的学术论文与取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授权专利：

[1]XXXXXX