论文范文网-权威专业免费论文范文资源下载门户!
当前位置:毕业论文格式范文>硕士论文>范文阅读
快捷分类: 论文评价怎么写 中国学术期刊综合评价数据库 考试和评价杂志 药物评价杂志 论文评价意见 对论文的评价 期刊评价指标体系 期刊评价指标 专利价值评价指标的文献综述 科技期刊评价指标 学术期刊评价指标 文献检索效果的评价指标

评价指标方面专科开题报告范文 与数据驱动的教育机构在线教学过程评价指标体系构建和应用类学士学位论文范文

分类:硕士论文 原创主题:评价指标论文 发表时间: 2024-03-12

数据驱动的教育机构在线教学过程评价指标体系构建和应用,该文是评价指标方面论文范文检索跟评价指标体系和教育机构和驱动相关论文范文检索.

[摘 要] 当下,我国在线教育事业蓬勃发展,其质量备受关注,在线教学过程监控成为教学质量保证的有效措施.本文以远程教育机构在线教学过程为评价对象,采用演绎和归纳相结合的办法构建了“基于数据驱动的教育机构在线教学过程评价指标体系”,并基于国家开放大学学习网2016年秋季学期1.1亿条教与学行为曰志,对国家开放大学44所分部的在线教学过程进行评价.实践应用表明,这一指标体系可以高度概括地表征教育机构在线教学过程现状,并精确呈现机构之间的差距.这一体系有助于监控在线教学过程并诊断存在的问题,为教学质量的改进指明方向.

[关键词] 教育机构;在线教学过程;评价指标;数据驱动;学习分析

[中图分类号]

CAO - 057

[文献标识码]A

[文章编号]1007 - 2179( 2017) 02 - 0113 -08

一、引言

《中国互联网络发展状况统计报告》显示,截至2016年12月,中国在线教育用户规模达1. 38亿,较2015年底增加2750万人(中国互联网络信息中心,2017).面对如此庞大的规模,在线教学质量备受关注.《国家教育事业发展“十三五”规划》提到“质量”一词72次,并提出“制定在线教育和数字教育资源质量标准”“制定在线开放课程教学质量评价标准”(国务院,2017).可见,国家对教育质量,包括在线教育质量的重视,并期待出现质量保证的方法和工具.

我国开放大学、广播电视大学以及普通高等教育的网络教育学院,都是在线学历教育服务的主要供给者,是政府实现在线教育质量提升的重点关注对象和主要抓手.远程教育机构教学质量的评价,可以分为机构教学过程和教学效果两部分.其中,机构教学效果可通过考试检验,而机构教学过程则需要基于一个学期的教与学过程记录来评价.对普通教育机构而言,教学过程在教室中以面对面形式完成,一般没有记录,无法进行基于记录的过程评价.对于在线教育而言,教学过程被详细记录在网络学习平台日志数据库中,完全有条件进行基于数据的过程评价.如果说教学效果评价能够为下学期的教学实施优化提供反馈,过程评价则能实时监控机构教学过程,为其优化提供精准信息支撑.

二、文献综述

从现有文献看,众多学者从不同角度对基于数据的在线教育评价进行探讨,评价对象主要是学生、教师以及课程,鲜有以机构为对象展开评价的.

比如,郑勤华等( 2016)对基于数据的在线教学测评展开了较为系统的研究,以学生综合评价为目标,通过理论演绎和专家访谈构建了以投入度、完成度、调控度、联通度和主动性为核心的五维度综合评价参考理论模型,通过学习行为数据聚合特征变量,构建了相应的计算模型.陈耀华等( 2016)以教师的综合评价为目标,构建了参考理论模型,包括促进度、投入度、联通度、认可度和调控度五个方面,并实现了完整的算法构建.孙洪涛( 2016)构建了课程评价模型,从媒体技术、学习资源、学习行为、学习支持和联通度五个维度对在线学习课程进行评价.上述研究从投入度、完成度、联通度等维度对学生表现进行评价,从促进度、投入度、联通度对教师表现进行评价,值得本文借签.这些维度可以基于师生行为日志自动计算完成.其他维度如调控度、主动性、认可度用于评价学生的学习策略、学生的学习动机以及一些特定教学干预的效果,往往需要在人工干预下完成,难以适应大规模计算的要求.

麦克法迪恩( Macfadyen,2010)似基于Black-board平台的在线生物课程学习过程数据为研究对象,选取118名学生为样本,将平台中发生的各类学习行为量的统计值与最终的学习成绩进行回归分析,发现论坛参与度、邮件发送数量和考试完成数量是与学生学习成绩显著相关的关键变量,并建立回归模型,以预测学生的学习成绩.实验表明,该模型在预测某门课程不及格学生方面的准确率为81%.马杰等( 2014)做了类似研究.他们对教育技术初级能力培训在线课程的相关数据进行分析,构建了各教学模块得分与课程总分之间的预测模型,发现与学生课程总分呈显著相关的教学模块,由此师生可以通过预测模块快速定位重点模块,从而提高教学效果.这些研究为确定学习平台中的哪些模块应该作为计分项提供了参考.

魏顺平等( 2015,2016)以数据驱动为视角,从学习平台已有数据现状出发,确定主要计分模块及维度,构建了学生在线学习表现模型、在线课程实施过程评价指标体系,为本文机构评价指标体系的建立奠定了一定基础.

在实践方面,我国远程教育机构教学工作评价虽然已经考虑利用数据说话,但总体上仍依赖大量的人力投入和人工判断.例如,教育管理机构对于远程教育学习中心的教学评估,往往要到现场裣查教学过程材料,并对学生抽样询问等.再如,我国大型网络高等教育机构——国家开放大学(以下简称国开)每年要对遍布全国的办学单位开展网上教学检查,组织数十名专家抽检各地区的课程平台,观察被抽检课程的网上教学实施状况,并根据评审指标打分.这个过程通常需要持续4-5个月,耗时长,投人人力物力较大,一年只能集中开展一次,缺乏有效的持续性监控.同时,由于专家数量有限,抽检的课程比例极小,无法保证评价的全面性.前述针对学生个体或课程的在线学习过程研究表明,教学过程的数据分析结果和学生最终的学习效果有较大相关性,同时这些分析也能为评价教师和教学管理部门工作提供客观依据.因此,通过对学习平台中的数据进行挖掘,构建数据驱动的机构教学过程评价指标体系,能够形成在线教育机构教学工作评价的崭新视角,为在线教学质量评价提供参考.

三、研究设计

本研究选取国开学习网2016年秋季学期的数据作为研究样本.该学期共开设11,982门课程,14,332名教师和627,266名学生参与在线教与学,产生行为日志1.1亿条.笔者认为教育机构在线教学过程是一学期或一学年中可被观察的教学和学习行为的聚合.基于在线教与学日志数据,计算机可以算出各项指标,并按照权重分配进行聚合,从而完成在线教育机构在线教学过程评价.

因为本研究强调“数据驱动”,能否计算出评价指标体系中的各级指标取决于学习平台中是否有相应的数据,所以有必要给出在线学习平台一般的数据模型,这样读者在参考使用该评价指标体系时可先从数据模型人手,评估自己的学习平台日志功能是否记录了相应的数据.另外,本调“演绎和归纳”相结合的方法,还要从理论演绎的角度提出评价指标体系的一般框架.

1.数据模型.我们一般以一个行为动词为中心,辅之以行为主体、行为客体、发生场所、发生时间以及行为产生的结果等语义关系,构成“教与学行为”要素框架(见图1).根据这一框架,至少需要五类相对独立的数据表记录教与学行为及其要素,包括“行为日志”数据表、“师生”数据表、“学习处所”数据表(分为平台模块和课程单元两类)、“学习对象”数据表(包括学习对象、学习资源、学习活动等)和“学习结果”数据表(包括论坛发帖、作业成绩、测验成绩、课程成绩)(魏顺平,2016).

2.评价指标框架.判断教与学行为是否发生,可以从所熟悉的校园学习生活得到启发.判定一名学生校园学习是否发生的必要条件包括:要广泛出现在各个学习场所,而不能只是吃饭和睡觉时出现:要反复出现在一些学习场所,而不是偶尔出现:要长期出现在一些学习场所,而不是一两天出现.这三个条件可以进一步概括为校园学习生活的广度、深度和持续度.这一表征校园学习生活的“深度一广度一持续度”模型(见图2)可迁移到基于网络学习平台的在线学习中,不过此时校园的学习场所替换为学习平台的各种模块.从前面的数据模型可知,学习平台的行为日志记录了行为发生的地点,即“所属模块”以及“发生时间”.多个行为累加在一起,可以把这些行为映射到包括由课程资源模块和活动模块构成的虚拟空间和学习从开始到结束的时间这两个要素的虚拟时空上.每个用户的行为,可以在这个课程时空中计算出广度、深度和持续度.“广度”指有行为发生的资源模块和活动模块占课程部署的资源模块和活动模块比例.“深度”指曾经参与的模块上发生行为的均值,均值越大,表明在单个模块发生的行为越多,即行为越深入.“持续度”指所有行为持续的时间,可以按天计算,反映每位用户在课程学习期间学习时间的均值.这三个维度作为特征值构成师生网络学习平台中的行为向量空间,相互约束,任何一个维度的短板都会导致行为空间的狭小.

四、研究过程与讨论

本研究分两个阶段:第一阶段是以在线教学行为日志数据为驱动构建机构教学过程评价指标体系:第二阶段将指标体系应用于机构教学过程评价,检验指标体系的有效性.

(一)机构教学过程评价指标体系构建

我们可以先假设机构教学实施过程Y即为师生所有行为数量X,即:

Y机构教学工作表现等于X师生所有行为

对于机构教学实施过程Y而言,由于教与学的时空分离,教师和学生的行为可以清晰区分开来.因此,所有用户行为可以根据行为日志数据表中的“用户编号”字段,进一步拆分为教师行为和学生行为两大类.在教师行为和学生行为之间还有一个交集,即师生交互.它对于在线教育而言也是非常重要的,因为只有通过师生交互才能实现教与学的再度整合.因此,我们拟将“师生交互”作为第三项一级指标.于是机构教学实施过程Y可以看作有一定结构的值,包括表达为由学生行为、教师行为和师生交互三个方面,且三个方面各有权重,如下所示:

国开总部可以对师生表现有所区分,但无法知道其中的细节,师生到底参加了哪些学习行为,完成或批改了哪些作业,得到了多少分数.这就需要对教师行为、学生行为、师生交互等笼统的行为进行细化,并分别计数,呈现机构工作各方面的表现.根据前文构建的“广度一深度一持续度”评价指标框架,可以得到细化的指标,如将“教师行为”细化为由深度、广度和持续度三个维度构成的向量,其值表达为向量积.为了避免与“教师行为”“学生行为”两项一级指标重复计算,在表征“师生交互”行为时本研究采用独特的维度,包括交互广度、交互深度以及交互及时度.其中,交互广度以交互网络中得到回复的学生请求占所有学生请求的比例,交互深度以交互网络的密度表征,交互及时度以教师响应学生的平均时间表征.机构教学实施过程Y的计算表达为:

根据上述机构教学实施过程Y的计算表达式,本研究构建了较为完整的机构教学过程评价指标框架(见表一).结合国开各分部在线教学实施实际,本研究对指标进一步细化.首先,在广度方面,了解师生对国开学习网各个资源模块和活动模块的访问情况,从而选定主要模块进行计算.

国开学习网平台共设置26个资源模块和活动模块,一门课程一般只用到其中很小一部分.基于国开学习网日志数据表,本研究统计了各模块的使用频次,将主要活动模块,如测验、论坛、作业作为主要行为计分模块,相关资源模块如网页、电子书、文件、链接、术语表、视频以及其他模块一并作为资源模块统一计分.将学生指标的计算进一步细化到这些资源模块和活动模块中,这样可以看到学生在不同模块的活动细节.教师指标可以不用细分,教师对所有模块都应该关注.一级指标“师生交互”主要体现在论坛模块.有了这些具体模块作为支撑,可以进一步形成指标,并对各级指标赋予权重(见表二).

其中,一级指标的权重由使用者设定.例如,注重学生自主学习的课程,在“学生行为”方面可以设置较高权重(如0. 85):注重师生交互的课程,在“师生交互”方面可以设置较高权重(如0.5).二级指标不设权重,因为各二级指标与一级指标之间不是求和关系,而是乘积关系.

依据上述指标体系算出的指标是一个绝对值,每个指标的取值范围都不一样,无法进行汇总计算,需要统一转换为[0,1]之间的值.同时,每个指标很难给出合适的标准,赋值太高,大家都达不到,整体分低;赋值太低,大家都达到了,整体分高.因此,我们继续采用数据驱动的方法,从被评价对象中获得基准值,即取所有评价对象在指标得分的中位值,记为t,记指标得分为s.如果指标不大于基准值时,归一化公式如下:

在对指标归一化处理后,我们就可以计算综合得分.综合得分常用计算方法有累加法、连乘法、加乘法、加权法等.这里先对指标得分加权求和得到二级指标得分,然后计算二级指标乘积得到一级指标得分.

(二)机构教学评价指标应用

本文将上文建构的评价指标体系用于国开2016秋季学期机构教学工作评价,以验证其科学性.

在开设的课程中,注册学习人数少于30人的课程有7484门,由于这些课程学生数少,难以反映真实教与学情况,予以删除,并删除一门入学教育课程——“国家开放大学学习指南”.各分部办学规模不一,需要区分对待.这里重点介绍对规模较大分部的评价.对选学人数超过30人的4451门课程的初步统计结果显示,参与学习人数累计超过1万①的有21所分部.

按照前文构建的评价指标体系,本研究计算这21所分部的13项指标得分,并算出得分的中位值,然后依据这个中位值设置每个指标应该达到的标准,这也是数据驱动的评价指标体系构建过程的一个体现.有了这一基准值,我们便可以计算各分部每项指标的相对值,并最终计算出综合得分,并将综合得分归一化为百分制分数(见表三).

将这一综合得分与2016年国开网上教学检查工作结果进行对比,两个结果的一致程度达到0.92.这说明该方法的结论和数十位专家几个月的人工检查结果是接近的,有效性基本可以保证,同时在时间效率、人力成本上无疑具有压倒性优势.

在表三中,JG分部和SA分部在课程数、教师数和学生数等方面相差不大,但排名和综合得分相差甚远(见表四).这需要我们详细了解各项指标以发现其差异之处,并诊断SA分部可能存在的问题和改进方向.

我们先考查一级指标得分差异(见表五).在三个一级指标上,JG分部都优于SA分部,尤其在权重较大的“学生维度”上差异较大:再透过二级指标,考查各一级指标的差异细节(见图3).从图3可以看出,JG分部和SA分部在一级指标学生维度的差异主要体现在二级指标“广度”上,在教师维度的差异主要体现在二级指标“深度”上,在交互维度的差异主要体现在二级指标“交互深度”上,即指标进一步说明了二级指标上的差异所在(见表六).

由表六可知,在各项行为完成度方面,JG分部高出SA分部数倍,特别是在测验和作业两项行为的完成度上,SA分部得分分别为0.29和0.15,而JG分部的测验和作业两项行为的完成度得分是0.99.这是SA亟待改进的地方,即督促学生完成规定的测验和作业.在持续度方面,SA分部学生和教师投入的时间相对较多,这是值得肯定和发扬的.在师生交互方面,两个分部的论坛回复率都相对较高,但回复及时度方面有待加强,缩短回复时间.

五、结语

本文通过对在线教育机构师生在线教学过程的监测分析,能够快速了解师生的教与学现状、评价师生的教与学质量,并以此为依据及时、有针对性地进行教学干预,对于改进大规模在线教育机构工作效率、提升教学质量有至关重要意义.

本研究将教育机构在线教学过程评价界定为机构在线教学平台中可被观察的教学和学习行为的聚合,采用演绎和归纳相结合的办法构建评价指标体系,第一步将教与学行为按照行为角色进行拆分得到学生行为、教师行为和师生交互组成的一级指标,然后将三类行为置于虚拟时空中,进一步拆分“广度”“深度”“持续度”(或“及时度”)等二级指标,从而形成教育机构在线教学过程评价指标基本框架:第二步结合被评价杌构实际,在数据的驱动下设置指标及标准,并计算出各项指标的绝对值和相对值,并基于相对值计算得出被评价机构的表现得分.这一教育机构在线教学评价指标体系,既包含已预设的框架,又需要在特定样本数据驱动下进一步完善,将有更广的适用范围.实际应用表明,本文研制的“数据驱动的教育机构在线教学过程评价指标体系”可以高度概括且较为准确地表征不同教育机构在线教学过程的差距,并能通过比较具体指标发现差异所在,有助于机构管理者有效而快速地管理所辖子机构,监控在线教学过程并诊断存在的问题,为下一步教学改革指明方向.

教学过程与教学效果相互关联,因此后续研究可以采集教学效果数据,探索教学过程评价指标体系各个维度、各级指标与教学效果的关系,找出最关键的维度及指标,据此可以进行过程干预,并检验是否能达到优化的教学效果.另外,教学过程评价结果与师生基本特点肯定相关联,后续相关研究可以采集师生基本信息数据,探索师生的人口特征、学科特征等与教学过程评价指标体系中的各个维度、各级指标的关系,精准定位教学过程表现不佳的师生人群,并实施相应的干预.

点评,此文为适合评价指标体系和教育机构和驱动论文写作的大学硕士及关于评价指标本科毕业论文,相关评价指标开题报告范文和学术职称论文参考文献.

参考文献:

1、 高职院校英语教学中学生能力评价指标体系构建 贾 雪(辽宁石化职业技术学院,辽宁 锦州 121001)摘 要创新是一个民族进步的灵魂,是国家兴旺发达的不竭动力 作为储备人才的当代大学生,发展创新能力势在必行 由于英语学习的自主性和多样化特点,英语.

2、 基于效率视角的高职教育内涵式评价指标的构建 首先提出在内涵建设背景下研究高职院校办学效率的思考,同时对利用DEA法研究高……教育办学效率的文献进行了概述和分析 然后根据高职教育内涵式发展的要求以及高……职业院校教育投入和产出的特点,根据指标的选.

3、 地方高校生物类教学文件评价指标 袁改霞 殷亚杰 李铭 胡敏 任国领 赵晓菊 张志国 徐长君(大庆师范学院生物工程学院)摘 要高校本科教学评估是以高校自我评估为基础, 建立校内教学质量监测和调控机制 教学文件是高校本科教学评估指标的.

4、 语料库数据驱动学习模式下的高校英语词汇教学 现代信息技术的发展对传统高校英语词汇教学提出了新的挑战,语料库语言学与计算机科学技术的结合,为高校英语词汇教学开辟了新路径 20世纪90年代,许多教育专家就已经提出将语料库的研究成果应用到英语课堂中,.

5、 汉语国际教育本科专业教学资源语料库的构建 廖继莉(华中师范大学文学院 湖北 · 武汉 430079)中图分类号 G652 文献标识码 A DOI 10 16871j cnki kjwhc 2018 09 002摘 要 当前汉语国.

6、 信息技术课堂分层任务驱动教学模式实践和以字符串函数教学过程为例 一、分层任务驱动教学模式概述任务驱动教学法是一种基于建构主义教学理论的教学方法,是建构主义理论在教育教学中的具体应用 它强调让学生在密切联系学习、生活和社会实际的有意义的真实的任务情境中,通过多种手段.