论文电信领域大数据能力开放平台和设计，该文是关于大数据方面本科毕业论文范文跟电信和开放和数据方面硕士论文范文.
【摘 要】 为充分利用好电信运营商已建设的大数据资源和能力,本文分析了电信领域大数据能力开放平台的建设需求,并设计了该平台的体系架构和主要功能.首先论证了建设大数据能力开放平台的必要性和可行性.其次,设计了平台的软件架构,并详细描述了软件架构中API 服务、数据服务、系统管理服务等主要功能模块和设计方案.最后,从服务器、存储、网络设备等方面分析了该平台的建设需求和建设方案,并描述了大数据能力开放平台的预期效果.
【关键词】 大数据 电信领域 开放平台 API 服务 数据服务
Research and design of big data open platform in telecommunicationsAbstract: In order to make full use of the big data resources and capabilities that telecom operators he built, this paper analyzesthe requirements of the big data open platform in the telecom field, and designs the architecture and main functions of theplatform. First, this paper demonstrates the necessity and feasibility of building a big data open platform. Secondly, the softwarearchitecture of the platform is designed, and the main functional modules and design schemes, such as API service, data serviceand system management service in the software architecture, are described in detail. Finally, the construction requirements andplans of the platform are analyzed from the aspects of server, storage and network equipment, and the expected effect of the bigdata open platform is described.
Key words: big data, telecommunications, open platform, API service, data service,
引言
随着大数据技术的快速发展和应用,电信运营商已提出并开始实践大数据发展战略[1-2],已在营销推广、安全管理等方面取得了一些研究成果[3-5].从已有研究成果可知,当前电信运营商大数据平台已经具备统一数据采集、数据存储、数据处理和初步数据开放能力,已构建了比较全面的B域、O 域、2G/3G/4G 移动信令数据,用于电信运营商的营销推广和安全管控等工作.
为了实现海量数据资产的价值最大化,满足建设大数据开放运营平台、大数据生态圈的要求[3,6],对大数据平台形成的数据服务能力进行共性沉淀、统一管理、标准化开放,急需构建统一的大数据服务能力开放平台,从而具备快速提供数据、应用、服务的能力,从而实现数据价值的最大化.
一、必要性和可行性分析
1.1 必要性分析
在电信领域战略转型驱动下,大数据平台及应用已取得了阶段性成果.但是,由于大数据产业仍在高速演进,对现有的大数据平台在数据资产管理标准化、应用支撑高效率、开发便捷性等方面提出了新的挑战.在数据资产管理的标准化方面,由于上层应用开发百花齐放,但数据模型设计缺少标准规范,相似指标、类似算法大量出现,缺乏标准化控制能力,造成重复定义和处理,资源消耗较大.在应用支撑的高效率方面,大数据平台未定义原子数据服务,不具备组装发布能力,平台模型设计、数据输出根据应用交付需求不断调整,稳定性差、工作量大,交付效率较低.大数据平台开发的便捷性方面,缺少统一化的应用及数据服务的发布、共享、交流平台,没有统一API 可供复用,开发门槛高,应用开发和交付效率较低.
1.2 可行性分析
在计算机相关技术迅速发展的大环境下,大数据相关的新技术、新产品不断出现,为建立一个高性能、可扩展、可管理、高可用性、安全的应用系统提供了必要条件.在电信运营商内部,经过多年的大数据平台建设和运营,电信运营商已经积累了丰富的经验,培养锻炼出了一批有知识、懂技术、有经验的队伍,平台中配套基础设施的建设逐渐规范化,这些都为平台创造了良好的建设条件,从而大大缩短了建设周期.已积累的系统运行数据、指标数据、故障数据等基础数据比较完整和全面,相关的技术维护人员对系统的体系结构、主要设备运行特性等都有了比较深刻和科学的认识,这也为本平台的建设提供了重要的保障.
二、平台的软件架构
2.1 需求分析
为了解决上述大数据平台面临的问题与挑战,需要建设电信行业大数据能力开放平台.该平台需要实现API 服务能力、数据服务能力、系统管理服务能力三个方面的主要功能.其中,在API 服务能力方面,需要结合数据共享需求和数据安全原则,建立API 服务开放的业务流程和API 定义、发布、订阅等业务需求管理功能.在数据服务能力方面,需要具备提供数据服务的能力,用户可以通过此平台获取需求的数据产品和文件,实现化服务.在系统管理能力方面,需要具备能力监控、安全认证、申请审批、计费计价等功能.
2.2 软件架构
本文设计的大数据能力开放平台的体系架构如图1 所示,包括数据处理层、能力开放层、数据应用层.数据应用层包含API 服务、数据服务、系统管理服务.API 服务可以提供API 的在线设计测试、发布、订阅、审核等功能.数据服务可以提供数据产品定义、发布、审核、获取等功能.系统管理服务作为辅助功能,用于确保API 服务能力和数据服务能力的正常使用.能力开放层实现数据应用层的各项服务能力,其中,API 服务能力包含API 注册、API 商店、API 管理、API 封装,数据服务能力包含数据配置、数据发布、数据获取、数据封装,系统管理服务能力包含监控管理、用户管理、流程管理、计费管理.数据处理层为上层应用提供数据源,包括运营商数据、标签数据、合作伙伴数据.
三、关键模块设计
为了实现数据应用层提供的数据应用服务,下面对平台软件架构中能力开放层的API 服务能力、数据服务能力、系统管理服务能力三个模块进行详细设计.
3.1 API 服务能力设计
API 服务能力的体系架构如图2 所示,包括API 封装、API 注册、API 商店、API 管理,下面进行详细介绍.
1.API 封装
基于内部已有数据服务、新建的数据服务及不同数据源实现API 封装.使用可视化界面对API 进行URL、参数、返回值等接口信息描述定义,可以配置HBASE、REDIS、ORACLE、MYSQL 等数据源.针对生成的API,开发人员既可以直接部署测试,也可以进行二次开发.为了实现接口定义的易用性及通用性,采用RESTful 风格,实现简单、轻量、方便的API 调用.
2.API 注册
API 管理人员在API 注册页面注册、发布API ,系统管理员基于API 审核流程进行审核.API 管理人员可通过API名称对API 进行快速查询,显示出API 提供者、API 名称、版本、创建时间、审核状态,并可以对不同的API 进行查看或者跟踪的功能.
3.API 商店
API 商店提供所有API 的浏览检索功能,可以根据分类、标签等进行API 筛选.订阅者在商店中自助浏览、订阅、测试已经发布的API 服务.
4.API 管理
API 管理提供了完整的API 调用过程,并且在调用请求中通过访问密钥来保障API 调用的安全性.API 管理包括API 伪装管理、API 可见性管理、API 安全验证管理.API 伪装管理是API 提供者在注册发布API 时重新定义URL 路径,进行API 对外开放的重新编排,从而达到隐藏内部真实路径的目的.API 可见性管理是API 提供者设置API 服务对特定用户可见,可以只针对部分特定用户使用.API 安全验证管理是保障API 被安全调用的重要技术手段,通过配置网关路由实现安全管理机制.
3.2 数据服务能力设计
数据服务能力的体系架构如图3 所示,包括数据封装、数据配置、数据发布、数据获取,下面进行详细介绍.
1.数据封装
数据服务对象为特定数据产品、数据库、文件系统等,按照数据传输形式不同,数据封装可以划分为：数据库到文件系统的封装、数据库到数据库的封装、文件系统到数据库的封装,其中数据库类型主要包括ORACLE、HIVE、MPP、MYSQL,文件系统类型主要包括FTP、sFTP、HDFS.
2.数据配置
数据配置是指配置数据资产、加工后数据的位置以及FTP 文件资源,可以分为数据源配置、FTP 和*资源配置.其中,数据源配置是通过资源配置管理数据资产、加工后的数据所在的数据库.FTP 和*资源是FTP 服务器和*服务器管理,在元数据平台上主要用于接口文件所属FTP 或*资源的调度.
3.数据发布
将数据产品发布到产品目录后,用户可以在产品列表中查看产品的定义信息和数据获取任务定义.数据服务的产品主要是以元数据对象为依托,数据平台中的所有表、视图、接口文件、HDFS 文件都可作为数据服务发布产品的对象,其中,产品发布又分为标准产品的发布和虚拟产品的发布.标准产品发布即表、视图、接口文件、HDFS 文件等已生成的标准数据的产品.虚拟产品是指基于已有的标准产品,通过可视化SQL 编辑窗口,解决单个标准产品不能支撑的需求,实现通过多个元数据对象关联和跨数据库关联,来发布虚拟产品.
4.数据商店
数据商店提供了所有数据产品的浏览检索,并可根据分类进行筛选,用户可以查看数据产品的具体信息,及申请数据产品的使用权限.在指定数据商店中的产品后,通过结合元数据、数据资产等系统中的数据,根据产品定义可以生成数据文件.
3.3 系统管理服务能力设计
系统管理服务能力的体系架构如图4 所示,包括监控管理、用户管理、流程管理、计费管理,下面进行详细介绍.
1.监控管理
通过提供统一的监控入口,分别对API 服务、数据服务进行监控管理.在API 服务监控方面,监控API 服务的调用情况,提供API 管理的监控分析系统.API 服务每次的调用情况都会在API 网关有日志记录,监控分析系统通过各维度统计,分析不同指标,得出统计结果,比如API 服务调用成功失败次数、时间范围内调用次数统计、API 接口请求平均响应时间、调用报文等图表报告.在数据服务监控方面,包括数据监控总览、监控明细、异常任务上报.监控总览是系统定时生成当期的任务实例,在监控页面中统计基于产品当期各个状态的任务数.在监控明细中,可以查看当前日期的所有任务实例的执行情况、数据产品、流程执行情况,在执行图上可以干预执行流程( 恢复,终止等)、查看申请单详情.在系统定时生成任务和执行任务的过程中,系统监测产品及任务的异常信息, 并可关联查看该异常的申请订阅情况.
2.用户管理
用户管理包括用户管理、角色管理、权限管理.用户管理包括用户的创建、修改、删除、登陆管理、关联角色等功能.角色管理包括角色的创建、修改、删除等功能.权限管理模块根据用户角色的进行赋权.
3.流程管理
主要的流程包含能力申请审批流程、能力产品发布流程、能力产品生产流程.为了便于实现流程管理,在每种流程管理模块中,都需要实现预设管理模板、配置流程节点、流程审批等功能.
4.计费管理
计费管理主要针对用户使用开放服务进行计费,包括计费方式、支付方式、计费统计.计费方式包括按次计费( 例如,调用一次收费一次)、按周期计费( 例如,一段时间内每天可调用N 次)、包月服务模式( 例如,一段时间内每日可不限量进行调用).支付方式包括手机号支付( 例如,输入手机号,调用BOSS 接口,从用户的预存款中扣除)、第三方支付( 例如,调用银联支付、支付宝支付等第三方支付交易平台).计费统计包括日报表和月报表两种方式,对服务的服务模式和付费方式查看占比,同时日报表按小时更新收入,月报表按天更新收入.
四、平台的硬件设计
为了构建统一的服务能力开放平台,实现大数据能力开放平台的便捷、实用.本节对平台的硬件进行设计.大数据能力开放平台的硬件部分主要包括数据汇聚中心、硬件平台、软件平台.其中,数据汇聚中心是大数据平台的数据采集中心,实现B 域、O 域、2G\3G\4G 信令数据、WLAN 数据、家庭宽带数据的统一接入,此部分基于已建设平台.硬件平台包括满足软件运行需求的X86 服务器,提供基础计算和存储资源.软件平台可部署华为UNIVERSE 大数据套件、HADOOP(CDH 版) 来搭建基础软件平台.为了确保平台的稳定运行,下面对基础计算和存储资源进行设计.
4.1 服务器设计
为实现开放能力平台功能,需要的服务器包括应用服务器、FTP 服务器、数据库服务器、接口机服务器.应用服务器用于本平台的软件部署,FTP 服务器、数据库服务器用于数据产品的管理,接口机服务器用于对接底层数据源.
服务器的设计包括容量设计和组网设计.在容量设计方面,应用服务器的测算参数包括并发用户数、每分钟平均操作数、每次操作的交易数.FTP 服务器的测算参数包括并发用户数( 人)、平均每用户每分钟下载文件数、平均每分钟上传文件数.数据库服务器的测算参数包括并发用户数( 人)、每分钟交易次数、每次交易数据库交互次数、忙日集中系数.接口机服务器以WEBSERVICE 服务为主,性能需求与应用服务器相同.为了确保系统稳定,所有服务器系统采用冗余设计,都冗余30%.在组网设计方面,为了确保服务的高可用性,应用服务器采用“N( 主模式)+1( 热备模式)+1(测试模式)”的前端架构,文件服务器、接口机采用“N( 主模式)+1( 热备模式)”架构,数据库服务器设计为集群和灾备架构, 以保证可靠性与可用性.
4.2 存储设计
为实现数据的存储和管理功能,需要部署FTP、数据库两种存储设备.FTP 数据量(TB) 容量设计方面,测算参数包括每文件数据量(MB)、部门数( 个)、每天每部门文件数( 个)、保存时间( 总月数).数据库数据量(TB) 容量设计方面,测算参数包括用户数、每用户标签量、单个标签大小、数据冗余及历史.数据库的存储提供方式采用从虚拟存储池划分逻辑单元的方式,FTP 存储提供方式采用HDFS 挂载的方式.
4.3 其它
服务器和存储之外,还包括网络设备、第三方软件.其中,网络设备主要是根据服务器和存储设备的数据,配置满足要求交换容量和交换端口的交换设备.第三方软件主要包括操作系统REDHAT LINUX,开源中间件TOMCAT.
五、预期效果
根据软件架构与关键功能模型的设计,将已有的大数据应用接入能力开放门户,形成数据能力产品,方便用户申请和使用.基于此,本文提出的大数据能力开放平台可以实现大数据资源的统一接入、单点登录、日志同步.其中,统一接入是指由能力开放门户提供统一的接入API 和数据交互接口标准,各应用按统一的标准进行接入.单点登录是指应用门户使用SSO(Single Sign On) 方式进行应用集成接入,通过单点登录保证了在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用信息.日志同步是指能力门户提供统一的WEBSERVICE 远程调用接口,应用端调用WEBSERVICE 接口,实时地写入应用访问日志.
六、总结
当前,电信运营商大数据平台缺少统一的应用及数据服务的发布、共享、交流平台,没有统一的API 可供复用,开发门槛高,应用复用、交付效率低.为解决此问题,本文首先对建设大数据能力开放平台进行必要性、可行性分析.其次,对平台的软件架构、关键模块、平台的硬件环境进行了详细设计.
通过对建设大数据能力开放平台的预期效果分析可知,该平台能够实现数据服务的统一管理和按需调用,降低开发难度,从而极大的提升大数据服务品质和管理能力,满足业务发展需求,增强市场竞争能力,增加业务收入.
参 考 文 献
[1] 韩晶, 张智江, 王健全, 等. 面向统一运营的电信运营商大数据战略[J]. 电信科学, 2014, 30(11): 154-158.
[2] 刘觅, 杨海川, 李振华. 运营商构建电信大数据生态之道[J]. 电信科学, 2018, 1: 109-119.
[3] Andy Gent. Fighting fraud on mobile networks[J]. Computer Fraud & Security.2017,2017(2), 10-13.
[4] 吉涵之, 马宇宸, 李爽, 等. 基于SVM 的电信诈骗行为特征识别方法[J]. 软件, 2017 , 38(12) :104-109.
[5] Zhao S, Ma J. Research on precision marketing data source system based on big data [J]. International Journal ofAdvanced Media & Communication, 2017, 7 (2): 93-100.
[6] 汪少敏, 王铮. 基于异构关联的大数据价值密度提升方法[J]. 电信科学, 2017,12:107-113.
上文结束语，此文为适合不知如何写电信和开放和数据方面的大数据专业大学硕士和本科毕业论文以及关于大数据论文开题报告范文和相关职称论文写作参考文献资料.
参考文献：
1、 大数据时代下视觉传达设计创意课程教学逻辑的和实践 一、引言大数据时代的到来冲击着各行各业,一定程度上对视觉传达设计专业的人才培养提出了新的要求,而传统视觉传达设计创意课程却存在一些严重问题 国内高校亟需变革教学培养模式、创新教学逻辑与教学实践方可培育.
2、 政府部门的大数据能力基于组织层面的视角 樊博 陈璐【摘要】开放政府数据成为大数据时代政府改善公共治理的有效手段,自2012年起全国多省市政府开展开放政府数据建设工作 虽然我国政府掌握着社会80以上的大数据资源,但实施效果并不理想,存在数据.
3、 借助大数据和云平台进行课程建设 当前大数据的技术得到了广泛的开发以及应用,尤其是海量用户行为数据大开发为当前各个行业的发展提供了有力的数据支持 在此背景下,课程建设也可以通过利用大数据技术来完成,尤其是在对课程资源方面的建设,大数据.
4、 规律库数据质量监控平台的设计和 摘 要 文章结合实际案例,对于采用规律库技术进行的数据质量监控平台的功能设计进行分析 通过数据质量监控平台的构建,实现对问题数据的预警、对增量业务的数据监控,实现预处理功能,提升数据质量监控质量 关键.
5、 慧选址：一站式大数据智能选址平台 我介绍的是北京阿拉丁大数据（www aladinfo com）所开发的大数据智能选址产品——慧选址 这个产品通过聚合多源数据并进行专业店铺选址算法的开发和应用模型的构建,旨在为.
6、 大数据环境下学科馆员能力塑造 李艳坤（辽宁大学外国语学院图书馆,辽宁辽阳111000）摘要从大数据背景下学科馆员能力塑造面临的新问题、新情况入手,深入分析馆员能力提升应具备的学科知识服务、辅助教学科研、新知识快速吸收与传播……核心.