论文卷积神经网络的方程组求解，本文是有关神经网络毕业论文模板范文和卷积神经网络和方程组和求解类论文如何怎么撰写.
摘 要：通过迭代求解方程组的解,提出了一种基于卷积神经网络求解线性方程组的病态方程组的方法,由于条件数过大,影响求解的精度,将求解方程组的过程转换为神经网络学习的过程.通过神经网络学习同目标数据形成一种映射关系,用最小化误差来实现参数优化,把方程组求解的问题进而转换成参数的优化问题,求得目标解.卷积神经网络的参数共享机制在高维的矩阵计算中减小了计算量,提高了计算效率.
关键词：卷积神经网络；病态方程组；参数优化；线性方程组；条件数
0 引言
方程组的求解是科学与工程计算中的基本问题,在众多的工程计算和控制领域,以及医学领域有着广泛的运用,众多的算法提出也为问题的解决提供了较为有力的支持,例如预处理共轭梯度法、奇异值分解法、遗传算法及BP 算法等,但是传统的方法仍存在一些问题,比如传统的方法基本上都是建立在串行的基础上进行,但是并行运算比较困难,而人工神经网络可以提供一种并行计算的方法,卷积神经网络的出现在一定程度上可以解决存在的问题.提出了基于误差反向传播的卷积神经网络算法[1],以2 层神经网络对方程组进行求解来达到目的[2].
1 基于卷积神经网络的方程组求解1.1 卷积神经网络
卷积神经网络是一种人工神经网络,在众多的领域被广泛运用,例如图像处理、视频分析、目标追踪、自然语言处理及人脸识别等,卷积神经网络同传统意义上的人工神经网络有所区别,它采用了权重共享机制,通过权重共享机制大大减少了权重的数量,从而降低了计算过程中的复杂程度,卷积神经网络的优良特性归功于它的网络结构,该网络由输入层、卷积层、池化层、全连接层和输出层组成.
1.2 卷积神经网络模型
病态方程组的求解设计,充分地考虑了输入与输出的映射关系,该网络具有以下特点：
① 输入与输出：网络结构接收来自系数矩阵的原始数据,并在不改变数据大小以及数量的前提下对系数矩阵的大小维度进行了重新定义.虽然未将系数矩阵的维度直接输入,但是在计算系数矩阵维度时所耗时长可以忽略不计,输出层的输出就是经过卷积神经网络的多次训练后得到的预测的值与真实数据相近,而非真值[3].
② 线性映射：线性映射又叫线性变换,线性变换就是线性代数的一个研究的对象,在数学中,线性映射是在2 个向量空间的函数,对于线性变化的讨论可以借助矩阵来实现.
1.3 求解模型
矩阵A就是线性方程组或者病态方程组的系数矩阵, 为方程组的解, 为目标值,三者之间的关系可以表示为：
1.4 网络模型
本文的网络结构如图1 所示[4],包括对输入数据大小的形状进行改变.
另外这里用了一个卷积层,在卷积层中,本文采用的卷积核的大小为2×2,输入的系数矩阵与卷积核进行卷积运算,卷积核的数量定义为1,系数矩阵的大小为2×2,数量定义为3,卷积核的步长设置为2,卷积核的滑动范围为W×H ,在这里W和H就是输入的系数矩阵的宽以及高.
式中,x 为神经元,f( x)就是一个线性函数,在卷积层后连接着一个线性映射的层级,就是上述的线性函数的输出值,最终的输出层就是输出卷积运算经过线性映射后的值.
1.5 网络训练方式
传统的网络训练采用整体输入方式,经过一系列的卷积运算以及最终的线性映射得到结果,这里不同于常规的网络训练,采用多任务联合训练的方式,将训练的任务分成3 部分,本文是分成3 个任务层,将3 个任务层联合训练,通过分别计算每个任务层训练的损失,并将3 个任务层的训练得到的损失相加,具体的计算过程如下：
第1 个任务层损失：
式（9）就是通过最小化损失优化器来使得误差最小,来达到参数优化并实现对目标值的求解,任务层数量的选择视情况而定,在本文的试验仿真部分将隐藏层为3 个任务层,如图2所示.
1.6 参数的选择与优化
（1）优化器的选择
在Tensorflow 中,存在着多种优化器可以选择.① 标准梯度下降法：汇集了样本的总误差,然后根据总误差更新权值.
② 随即梯度下降法：随即抽取一个样本的误差然后更新权值,但是存在的问题可能会造成误差增大.③ 批量梯度下降法,选取一个批次来更新权重,此外还有momentum,NAG,Adagrad,RMSprob,Adadelta 及Adam 等,这些优化器并不常用,在本文中选择了Tensorflow 这一框架,并且用Tensorflow 提供的AdamOptimizer 优化器,使用这一优化器来控制学习速度,会将之前衰减的梯度以及梯度的平方保存起来,使用RMSprob 和Adadelta 相似的方法更新参数.AdamOptimizer 通过使用动量（参数的移动平均数）来改善传统的梯度下降,促进超参数的动态调整,每次梯度调整后使得每次迭代学习率都有固定的范围,使得参数较为平稳,为不同的参数计算提供不同的自适应学习率,适用于大多非凸优化问题.
而传统的梯度下降存在较多的问题,比如容易造成梯度的消失等一系列的问题,不利于本文采用的神经网络的训练,因此在这里并未采用传统的梯度下降法.
（2）学习率的选择
传统的学习率选择都将会采用一个固定值,依据先验知识,一定范围内对数值进行取值,不断实验.根据训练的结果好坏做参数调整,最终找到一个合适的学习率.在本文中学习率的选取并不是一个数值不变的常数,而且本文的学习率的选择中是在每100 次训练后,对学习率进行动态调整,将学习率的取值在每100 次后除以3,经过200 次训练,也就是对学习率进行2 次调整,最终实现超参数最优,即权重最优.
（3）权重的选择
权重的初始化对于神经网络的训练非常重要,如果权重一开始就很小,那么信号最后也会很小,如果权重很大,则信号也会变得很大,不合适的权值会使得隐藏层输入方差过大,因此这里对权重的初始化选择设置为符合正态分布的数值矩阵.
（4）正则化的约束
因为训练数据的缺乏极大程度上会导致过拟合问题,因为需要增加惩罚项（正则化项）来进行约束,常见的正则化有
2 种：一种是L1-norm,另一种是L2-norm,在这里L1 正则化指的就是各元素的绝对值之和通常表示为||w||1,而L2 正则化则是||w||2,即对各元素平方累加并开方.在正则化之前还有一个系数λ,在这里λ的取值定义为0.001,本文采用了L1 正则化的方式,在本文的仿真部分会对L1 正则化的实验结果与L2正则化的结果做比较.
2 计算机数值仿真
算例1：求解非対称方程组,如图3所示.
该方程的精确解是[1,0,1,0],根据图3 的网络结构,将[ 1, 2,
3, 4]等价于神经网络的权重（卷积神经网络的卷积核）.通过卷积的运算求得输出值,通过减小输出值与目标值之间的误差,获得合适的权重,也就是要求的[ 1, 2, 3, 4],对权重进行初始化为[0,0,0,0],也就是全0 矩阵.对权重初始化为符合正态分布的矩阵并进行比较,试验发现初始化为0 可以获得较好的效果,接着通过多任务联合训练进行优化,对于的求解通过L1 正则化的约束求得最终的解为[0.995 7,0.001 9,0.997 7,0.002 9],此解与精确解之间在2- 范数下的绝对误差为8.844 25×10-6,可见计算的结果精确度较高,达到了预期效果.参数选择与比较如表1、表2 和表3 所示.
算例2：求解病态方程组
该方程的精确解为[1,-1],且系数矩阵条件数为2.1932×106,是一个典型的病态矩阵[5],求解的网络结构同图1 的结构相似,定义了卷积核的大小为2×1,进行卷积计算.通过最小化卷积计算后的输出与目标输出的误差,经过多次训练迭代来优化权重直至找到适合网络模型的权重,最终求解正确率比较精确,结果为[1.0373,-1.0518]T,该解与精确解在2- 范数下的绝对误差仅为2×10-3.在病态的方程组中求得最终解的准确率仍然较高,基本上达到预期结果.
3 实验结果
深度学习发展迅速,卷积神经网络的运用及其广泛,可以将卷积神经网络与其他的领域相结合,比如医学领域,不仅是在医学图像处理领域更是会在三维重构得到较好的运用,方程中的是带有噪声的,可以依据卷积神经网络对噪声进行过滤进而重构出想要的模型.
4 结束语
针对传统的线性方程组以及病态方程组的求解方法,采用了卷积神经网络对方程组进行了求解,结合多任务联合训练的方式对方程组进行求解,从最终的结果来看,不论是对一般的方程组还是病态方程组都有较好的求解,准确率达到预期,且本文的网络结构大大降低了计算的复杂度,卷积神经网络在深度学习中有着较好的运用,在图像处理、目标追踪及人脸识别等众多研究领域有着良好的运用,尤其是在特征提取运用很是广泛,而且大大减少了计算的复杂程度和参数,因此卷积神经网络的多功能性仍然值得继续挖掘,运用在众多的领域.
上文汇总：该文是适合卷积神经网络和方程组和求解论文写作的大学硕士及关于神经网络本科毕业论文，相关神经网络开题报告范文和学术职称论文参考文献.
参考文献：
1、 卷积神经网络在语言识别中的应用以江苏省方言分类为例 李子煜 , 汪 鑫 , 张优优 , 姚 天东南大学电子科学与工程学院 , 江苏南京 210096摘 要 近年来 , 随着理论的发展与大数据的来临 , 人工智能、深度学习再度成为学术界研究的热点 本研究.
2、 基于卷积神经网络的印钞二次核查系统 【摘要】 人民币作为国家的民片,其印刷质量的要求远高于其他印刷品,如何提高人民币票面的检测能力是至关重要的工作 现印钞企业依赖于模式识别技术的检测系统,其误检数量较于实际作废数量为比为101 即平均每.
3、 神经网络在计算机网络安全评价中的应用 周宇摘要随着计算机技术的快速发展,信息能够在短时间内在全世界范围内流动 信息的实时共享使得计算机技术更有价值,同时也充分发挥了信息快速传递的优势 计算机网络给人类社会带来的影响具有两面性；一方面,计算.
4、 离散混沌系统的神经网络阶逆系统控制 摘要提出用神经网络α阶逆系统方法控制一类未知模型的离散混沌系统,针对离散混沌系统的特殊性,调整了神经网络建模的输入输出结构,并以Logistic系统为假想未知系统进行实际控制,仿真结果说明.
5、 基于matlab实现人工神经网络在股票评级中的应用 1 引言 近年,我国股市跌宕起伏,远有2008年次贷危机,近有由于场外配资清理、场内融资和分级基金去杠杆形成连锁反应造成的2015年的股灾,国家推出的“熔断机制”……应对措施.