论文基于Hadoop的高校校园大数据系统设计，本文是系统设计相关研究生毕业论文范文和Hadoop和数据系统设计和高校校园类毕业论文开题报告范文.
［摘 要］随着信息技术的不断发展应用,高校数字校园、智慧校园工程的持续建设,高校校园环境中存储的各类数据数量急剧增加,一个高校校园大数据环境已初步形成.建立基于Hadoop技术的高校校园大数据系统,可采集、存储、处理校园大数据环境中的各类数据,能够为高校教学和管理提供可靠的数据支撑.基于此,本文分析了基于Hadoop的高校校园大数据系统设计.
［关键词］大数据；Hadoop；高校
doi：10.3969/j.issn.1673-0194.2017.10.142
［中图分类号］TP333［文献标识码］A［文章编号］1673-0194（2017）10-0-02
大数据（BigData）又称为海量数据（MassiveData）,数据科学家维克托·迈尔·舍恩伯格和肯尼斯.库克耶在所著《大数据时代》中,指出大数据不采用随机分析法而应对所有数据进行分析处理.研究机构Gartner则提出大数据是一种具备多样化、高增长率的信息资产,在新型处理技术、处理模式下能够实现更强的流程优化效率、提供更科学的决策依据,且大数据具有大量、高速、多样、价值和真实性的特点.高校校园中存在多类大数据,通过信息化手段的采集和数据挖掘,能够体现出巨大价值,这在传统的高校校园教学和管理中往往被忽视了.设计构建高校校园大数据系统,有助于当今信息时代高校校园大数据的采集、存储、管理乃至应用,是相关教育和科研人员正在进行的研究之一.
1高校大数据环境现状
当下高校校园大数据环境已初步形成,各类校园数据来源广泛、类型复杂、数据量庞大.以高校学生为例,高校学生的大数据可以分为两大类,一是学业大数据：其包括高校生的选课数据、每门功课的出勤数据、各门功课的平时测验和考试成绩等数据；二是生活大数据：其包括门禁卡通行数据、图书馆阅览数据、校内超市消费数据,甚至包括学生的微信、微博等数据.大规模数据集和多等级数据质量对高校校园数据的存储、分析、研究、应用提出了挑战.传统的管理理念和方法渐渐无法满足日益增长的数据处理需求,设计和构建基于Hadoop的高校校园大数据系统,以用来采集、存储、处理高校校园中的多类数据,并通过数据挖掘和数据分析,为高校教学和管理提供数据支撑,特别是为高校学生的学业、生活提供风险识别和预警功能.
2基于Hadoop的高校校园大数据系统设计
2.1Hadoop
Hadoop由开源组织Apache基金会开发,是一个分布式系统基础框架,它能够实现在多硬件集群上运行应用程序,组成具有高性能、高可靠性、高扩展性、低成本的并行分布式系统.Hadoop由多种元素构成,其三大核心技术包括分布式文件系统（HadoopDistributedFileSystem,HDFS）,用于存储集群硬件中的文件；编程模型MapReduce,用来处理多种数据集合；分布式数据库HBase.利用Hadoop的分布式技术,设计构建高校校园大数据系统,能够实现对高校学生的大量多类数据进行存储、分析和高效处理,进一步推进高校智慧校园建设的进程.
2.2高校校园大数据系统设计
2.2.1高校校园大数据系统总体框架
基于Hadoop技术的高校校园大数据系统的总体技术框架,可将系统分为三层,其中大数据采集与存储层应用HDFS文件系统,校园数据分析层应用MapReduce计算模型,数据源层、大数据采集与存储层的数据抽取,对接需要开发适合的底层适配接口模块,用来采集高校校园大数据环境中的多类数据.基于Hadoop技术的高校校园大数据系统总体框架,如图1所示.
图1高校校园大数据系统总体构架
基于Hadoop技术的高校校园大数据系统分为数据源层、大数据采集与存储层和校园大数据分析层.
数据源层用来采集数据,包括学业数据和生活数据,其中学业数据包括学生自然情况数据、选课数据、出勤数据、平时测验成绩数据、考试成绩数据；生活数据包括一卡通数据（门禁卡通行数据、图书馆阅览数据、校内超市消费数据）、微博、微信等媒体数据.
大数据采集与存储层通过数据共享接口获取数据源层提供的各类数据,校外数据需要开发商提供开放接口才能获取.大数据采集与存储层对收集到的数据进行抽取、转换和存储.
大数据分析层在Hadoop的MapReduce编程模型上,构建各类数据分析包,对提交的学生大数据进行分析.从学生近些年的数据信息中得出学生的学业情况,对异常数据进行判断、分析和预警,为高校教学和管理人员及时关注学生、制定针对性教学策略、帮助学生全面、健康发展提供决策依据.
2.2.2功能设计
基于Hadoop的高校校园大数据系统,使用Ja语言编写后台代码,分层设计预留多个扩展接口,方便后期添加新的校园大数据功能.前台使用B/S模式采用ASP.NET语言开发,对分析结果进行展示.基于Hadoop的高校校园大数据系统的功能架构如图2所示.
图2基于Hadoop的高校校园大数据系统的功能架构图
基于Hadoop的高校校园大数据系统具体功能架构分为以下3个部分：分析结果发布层、大数据分析层、管理功能层.分别提供公告和查询等数据分析结果的发布功能；学生个体关注、历史分析、实时分析的大数据分析功能；多用户管理和数据管理的管理功能.
3结语
随着信息技术在高校校园中的进一步应用,智慧校园工程的持续建设,高校校园教学和管理理念的不断发展,高校校园大数据环境一定会愈加完善.建立基于Hadoop技术的高校校园大数据系统,能够使原本被忽视的重要数据变废为宝,通过科学合理的大数据管理和大数据挖掘,能为高校教学管理人员关注学生学业和生活提供数据分析依据,也能为高校制定教学管理方针提供可靠的据数据支撑.
主要参考文献
［1］李学龙,龚海刚.大数据系统综述［J］.中国科学:信息科学,2015(1).
［2］张兰廷.大数据的社会价值与战略选择［D］.北京:党校,2014.
［3］孙丹.基于TOE-RBV理论的大数据采纳影响因素的实证研究［D］.青岛:中国海洋大学,2015.
［4］崔杰,李陶深,兰红星.基于Hadoop的海量数据存储平台设计与开发［J］.计算机研究与发展,2012(z1).
［5］王格芳.某金融系统海量数据并行处理架构优化设计与实现［D］.北京:中国科学院大学,2014.
括而言之:此文是一篇关于Hadoop和数据系统设计和高校校园方面的系统设计论文题目、论文提纲、系统设计论文开题报告、文献综述、参考文献的相关大学硕士和本科毕业论文.
参考文献：
1、 高校教师信息管理系统设计 摘要高校教育事业日益发展,教师教学、科研项目增多,教师管理模式转变、信息量扩充,对教师信息管理要求越来越高 分析目前高校教师信息管理存在的问题,以吉林大学教师业绩信息管理为例,初步探讨并设计满足教师以.
2、 高校对大数据相关知识了解和思政课考核模式现状的调查以贵州省五所高校为例 摘要对高校思想政治理论课考核模式和高校对大数据的了解现状进行了调查与分析,为探讨高校思想政治理论课程考核与大数据相结合,进行高校思想政治理论课程考核改革奠定了基础 关键词高校思政课；考核模式；大数据；.
3、 对大数据统计设计 【摘 要】随着科学技术的快速发展,大数据统计已经大范围的应用在社会的各行各业中,为不同行业的发展带来有价值的数据参考 在目前的大数据统计工作中,政府大数据统计已经成为主流的统计方式,能够为社会发展与经.
4、 基于Hadoop和Spark的高校校园大数据平台 摘 要对校园大数据分析是校园信息化发展的新思路 Hadoop是Apache基金会开发的分布式系统基础架构,它是集分布式计算、存储和管理为一体的生态系统 目前流行的Spark框架是与Hadoop生态系.
5、 大数据背景下的高校智慧校园建设 摘要本文将高校智慧校园的建设作为研究重点,对其在大数据背景下的运用进行了分析,核心目的是通过高校智慧校园的营造,改变单一化人才培养的现状,满足数据化教育体系构建的基本需求,实现现代教育体系的稳定创新 .
6、 大数据时代高校图书馆信息素养教育模式的演进和比较 关键词大数据；高职图书馆；信息素养教育；演进摘要文章阐述了大数据时代高校图书馆信息素养教育模式的演进过程,分析了当前大数据环境下高校图书馆信息素养教育三种模式的利弊,并对其进行比较研究,最后提出了大数.