传统的纸质考试考试过程消耗的人力、物力过多;数据统计繁琐,想要从考试数据中挖掘相关联的数据用于教学反馈,必然要消耗大量的时间与精力,即使能够把数据统计出来,其效率也极低;考试结果反馈慢,极大减低学生的学习热情。随着计算机网络信息技术的高速发展和大数据时代的来临,这种考试方式已不适应当代信息化的发展,逐步被计算机在线考试所代替。计算机在线考试可以方便快捷地收集学生的考试数据,了解不同学生对所考查知识点的掌握程度,并通过教育学、统计学等原理和方法,对这些数据进行统计、分析,甚至更深层次的数据挖掘,可以从中发现问题及规律并用于指导课程的教学和管理工作,从而提高教学水平和管理水平。

图片 1

导言

一、现状及问题分析

此篇干货文章约4900字,大约需要7分钟时间,需要认真研读,由于篇幅限制,需要深入研究的爱好者可以参考问候所列的参考文献。

教育数字化已成为国际流行趋势,数字技术正以前所未有的速度介入教育领域,引发了培养目标、教学手段、评价体系的巨大变革,也引起了政府部门、大型企业的高度重视。《国家中长期教育改革和发展规划纲要(2010—2020年)》中提出“加快教育信息化进程”。为全面贯彻落实该纲要,2012年2月,《教育部关于开展教育信息化试点工作的通知》发布,明确了教育信息化试点工作的时间和范围;2014年11月,教育部、财政部等五部门印发《构建利用信息化手段扩大优质教育资源覆盖面有效机制的实施方案》。政策表明国家鼓励出版业开辟数字出版的新领域,催促传统出版单位尽快向数字化转型,从而全面推进教育信息化工作。另一方面,图书市场的发展也在推动数字化的进程。信息化时代,资源的数字化越来越显示其重要性。在我国,教辅图书在整个图书市场占有的份额高达60%~80%,全年的总盘子大约有300亿码洋。目前,已经有很多教辅书开始配套电子化服务——配套网站上提供一些相关资料,如“世纪金榜”“教材全解”系列教辅图书。专业的教学资源网站也很多,如“中学学科网”“全品教学网”等,网站上提供教学需要的各类教案、试卷、课件、练习等,有的网站还提供组卷功能,个别网站还具有“在线测试”功能;许多教辅与移动端的app建立合作,提供搜题、讲解等服务。在众多的教育内容数字化产品中,数字化题库当属拳头产品,已得到了各大出版集团和各方教育出版社的重视。江苏凤凰出版传媒股份有限公司下属的江苏凤凰教育出版社、新纪元教育集团下属的上海伟志文化传播有限公司、安徽的时代出版传媒有限公司、浙江出版联合集团、外语教学与研究出版社等,都开始了数字化题库的建设。

经过调研,笔者发现大多数技工院校在该类课程的考试模式上采用传统纸质形式,较难体现高效率、集约化、标准化的要求。而网上免费的在线考试系统存在以下不足之处。

21世纪20年代的中国第一场高考将在明天揭开帷幕:2020上海春季高考。

一、传统教辅出版机构建设题库系统的优势与劣势

第一,系统功能不完善。仅提供基础模块,如组建题库、抽取试题、在线考试并完成评分,但核心模块如考试分析并没有开放权限。

关于新高考的改革的政策文本一直是新高考动态趋势和目的反映,为了更好的帮助同学们参加这次新高考,获得更好的成绩,本期特推出:

传统的教辅出版机构建设题库系统主要优势是有丰富的题目编写资源,对于题目内容质量把控较好。

第二,系统性能不足,不足以支撑大批量人数同时参加考试。

第一部分为高考政策解读:

传统的教辅出版机构在建设题库方面也有自己的劣势:

第三,系统的稳定性不够。由于免费版在线考试系统都是打包好的简装软件,不提供原代码,使用的过程中如果出现系统或代码出错问题,教师无法从根源上解决问题。

一、 高考的原因

1、技术力量不足。题库系统是基于计算机技术开发建设的,传统教辅出版机构在这方面非常薄弱。

二、“在线考试”系统研究的内容

二、高考的内容

2、教育测量人才匮乏。现代题库系统是在教育测量学的基础上建立的,需要用到非常专业的教育测量学模型。而传统教辅出版机构并不注重教育测量人才的储备,导致题库开发障碍重重。

1.电子商务师专业题库设计

三、高考的方式

二、传统教辅出版机构建设题库系统作用

为打造一个专业性强、针对性高的电子商务师试题库,需研究如下内容。

第二部分为高考的命题流程解读

将纸质教辅图书数字化,建设自己的数字化题目资源库,可以极大地支持纸质教辅出版,巩固出版社在出版产业链中不可替代的地位。

电子商务师教学大纲,历届考纲和历年考题。

第三部分为高考阅卷评价规则

1.为纸质教辅图书提供增值服务。这几年教辅同质化现象严重,价格战越演越烈,纸质教辅市场已成一片红海。教辅新政发布之后,作为教材教辅出版大户的教育社要想在竞争中求得生存与发展,必然要另辟蹊径,而这些年来,数字出版技术的长足发展,为纸质教辅图书的出版提供了新的发展空间,为其开拓了新的应用领域。数字化题库随同纸质教辅一同下发,作为补充,可以提升纸质教辅的竞争力。

依据电子商务师教学大纲、考纲,编制试题。试题编制以教育测量学理论为指导从信度、效度、区分度、平均难度等全方面考虑,设计题型、知识点难度比例、知识点认识分类,保证试题质量。

第三部分为上海高考英语的特征

2.为编辑校对工作提供支撑。例如编校工作中遇到重题,编辑可以不用找作者,自己从题库里调出可用的题目换上;遇到错题,可以到题库里搜索原题进行考证,比如有时作者选用某年的高考题,不知对错,编辑可以利用题库很快找到这道高考题,进行校正。再如,对于简单的纯练习的教辅书,编辑可以自己尝试做“主编”,从题库里选择适当的题目,编成教辅书,然后请优秀的一线教师或教研员审读。

对这些数据进行统计、分析,传统的教辅出版机构在建设题库方面也有自己的劣势。为保证题库试题及其参数的科学性和有效性,在开放建设、广泛征集试题后,须进行大范围的抽样测试,将抽样测试结果进行统计分析,得出估值误差,然后对参数进行相应修正。

Part1:高考政策解读

3.直接服务终端用户。例如可以服务于教研员,方便其对各类试卷、题目进行多方面的对比研究,供其编写大规模测试卷时参考;可以服务于一线教师,方便教师备课、组卷等,教师既可以组成每课时的练习题,又可以组成每单元的测试卷,利用网络平台选择合适的题目,既能保证试卷的质量,又减轻了教师的工作负担;还可以服务于学生和家长,学生可以利用网络上的测试平台,进行在线测试,可以根据自己的学习情况选择题目进行练习,巩固所学知识,家长还可以通过题库的“小助手”功能查看孩子的学习情况、知识点的掌握情况等等。

存储建库。试题库主要字段包括试题的种类、题目、答案、选取章节、试题解释等。知识点的划分要体现电商课程的知识架构,以树型结构为主,。

一、国家层面:大纲取消

第一章题库建设现状

动态维护。教学管理人员可以随时根据学科内容和考生水平的发展不断对题库中的试题做相应的补充、修改和删除工作,及时修正试题的各项技术参数。

2019年5月,根据国务院办公厅印发的《关于新时代推进普通高中育人方式改革的指导意见》,实施普通高中新课程的省份不再制订考试大纲。2022年前全面取消考试大纲,高考命题将以高校要求为依据。各个高校即使同一学科也是侧重点有不同的,

一、国内外研究现状

2.考试系统设计

二、改革层面:稳定性和连续性

题库是以一定的教育测量理论为依据,按照一定测试目标编制、收集的有相当数量和较高质量、附有试题性能参数(属性)、并经过分类编码的考题的有序集合。国际上对题库各项指标(包括建立题库基于的理论、题库结构是怎样的、建立题库的方法等方面)的研究始于80年代,心理测量学家在建立题库的理论上提出许多模型与参数化的计算方法,探索了各种测量理论上的模型在测试实践中的应用。如1970年,美国、比利时等国家就相继开展了题库建设的活动,1973年,澳大利亚建立了第一个数据库中心。

需求分析。第一,通过对现行电子商务师国家职业资格考试理论部分的考试系统进行详细研究,了解考证系统的功能、业务流程等方面。第二,了解学生、教师和相关考试人员对使用在线考试管理系统的相关需求。通过以上两点确保开发的系统,既符合电子商务师国家职业资格考试理论部分模拟考证要求,又符合学校校情的需要。

为保证高考的改革的稳定性连续性,2020年起,第二批和第三批高考综合改革试点省份将开始新高考。2020年作为过渡年份,不再有高考《考试大纲》。针对各地所使用的课程方案设置的差异和教学内容范围的不同,教育部向北京、河北、重庆等省印发了新高考过渡时期语文、数学学科考试范围说明。

随着信息化时代的到来,基于计算机化的测试化趋于成熟,对于题库的建立也不断深入。目前的题库己经由早期静态的题目储存发展成为一个由计算机管理的一个动态的质量监测的过程,它不仅是试题本身的管理平台,也是命题考试工作的管理平台。同时,题库建设基于的理论与建设方法化愈加多元化,愈加完善。利用计算机建立题库系统的想法在几十年前就存在,但当时功能较为简单,早期人们对计算机化考试持保留态度,因此最初的利用计算机建立的题库系统只是用于对试题的管理以及试卷的打印等。如今,题库系统已发展成为收集、管理和输出试题集合的软件系统,既可用于存储试题,又可作为命题的工作平台和计算机辅助考试的后台系统。机考、网考的出现说明,题库技术的发展为考试模式的变革奠定了基础,反过来,考试摸式的变革化推动着题库技术的进步。现今,国际上许多主管教育的部门、高校以及各种资格认证机构都采用以某种教育测量理论为指导而建设的题库,以此来编制试卷,进行有关题库建设的研究。

整体设计。通过一系列调查研究并结合学校实际情况,笔者认为电子商务师在线考试系统需具备以下功能。

三、试点层面:考试大纲+课程标准

从目前的文献来看题库建设的基本流程框架没有大的变化,只是在题库建设的技术上不断升级,例如运用了现在最新的人工智能技术,知识图谱技术和教育测量中的项目反应理论、认知空间模型等。

题库管理模块:创建题库、管理题库、增加试题、管理试题等功能。教师可以在此模块中对题库动态进行创建、修改、删除等操作,时时保持题库试题的最新性。

上海作为全国高考改革的桥头堡,一直担任着中国高考改革的试验田。在2020年的高考考试中,明确2020上海高考的考试依据为《上海市中小学课程英语课程标准》,课程标准是考试大纲宏观政策,考试大纲更加明确高考的依据和纲要,高考试卷是课程标准和考试大纲的具体形式。他们的关系如下图:

二、目前市场上主流题库分析

试卷设置模块:创建试卷、管理试卷等功能。系统提供两种组卷模式,一种是快速创建试卷模式,即系统根据教师所选定的题库与试题数目随机抽取相应的试题数量,随机组成一份试卷;另一种模式是创建试卷模式,即教师在题库中有目的性的选取学生易错题或真题出现几率较高的题目供学生练习。通过这两种方式组卷后,教师也可以对部分试题进行增加、删除、修改等操作。

四、标准层面:评价体系

1、国内题库

考试监控模块。教师可以对当前时间内正在进行的考试进行管理,监控考场情况,可以查看当前考试在线的人数列表与统计,可以针对不同的考生实现强制交卷。

新时代高考评价体系可以概括为“144”结构,即“一核”“四层”“四翼”,

(1)国家级题库

成绩分析模块:成绩分析、试卷分析、考试分析等功能。教师可以查看所有考生的成绩,也可以详细查看每一位考生的答题情况。系统还可以统计每一道试题考生答题的正确率,统计出考生的平均分、最高分及最低分。

具体理解如下:

目前可查到的国内较大的国家级题库又香港基本能力评价BCA项目,中国台湾中学生基本学力测验试题库、北京市义务教育教学质量监测题库、教育部考试中心开发的教育考试国家题库、北京语言大学开发的中国汉语水平考试HSK题库等。

用户管理模块:用户角色管理、管理用户、用户分组、导入用户等功能。教师可以在此模块对用户进行分组、批量导入与删除学生、对学生进行信息备注等操作。

“一核”为核心功能,如图中的紫色核心圈,即“立德树人、服务选才、引导教学”,是对素质教育中高考核心功能的概括,回答“为什么考”的问题;

香港基本能力评价BCA项目是一个网上评估系统,可以给予学生和教师实时回馈。教师可回应学生的学习需要和进度。该系统包括网上中央评估库、网上评估活动和计算机化评卷。

公告管理模块:发布公告、管理公告、公告分类、公告中心等功能。教师可以在此模块发布公告并对其进行增加、删除、修改的操作。

高考,核心目的是
“立德树人”,高中学生生研究高考真题、练习高考真题题、围绕高考真题题进行复习,本质上是接受教育的一个过程。

台湾中学生基本学力测验是学生升学的重要依据。其题库建设经过多次修题、审题、预测试与题目分析和等值连接从而得到题目的相关信息,然后将合乎要求的优良试题纳入题库中。

三、应用实践

高考是选拔性考试,是服务于我国高等学校人才培养和国家人才培养的需要。试卷必须有难度和区分度,能将不同水平的学生区分开来,不会因为高考改革而将选拔难度降低。

北京市义务教育教学质量监测题库以经典测量理论和项目反应理论为基础,经过方案制定、细目蓝图编制、命题审题、预测分析、指标入库以及组卷策略设计,形成具有自动组卷功能的题库管理系统。

1.教学团队在教学过程中应用在线考试系统情况

“导向教学”是改变传统的“考什么教什么”到“教什么考什么”的转变,发挥高考的导向作用,从21世纪的核心素养的角度,注重学生的知识和能力同时,重点培养学生的思维和创新能力。

这些国家级题库一般是进行大规模的学业水平测验,不对市场公开。这些题库的建设方法和流程值得我们参考与学习。

2016至2017第二学期,“在线考试”系统在笔者学校电商考试中共应用了20余场,其中包括单元测验5次、助理电子商务师模拟仿真测验4次、助理电子商务师真题验4次、14级及15级复习补考电子商务测验7次,参加人数共计1000余人。此外,2017年6月份“在线考试”系统在广州远恒教育服务有限公司的助理电子商务培训班中试用8次,参加考试人数共计3000余人,并获得该培训点的认可。

“四层”为考查内容,如图中的围绕紫色的四个圈,即“核心价值、学科素养、关键能力、必备知识”,是素质教育目标在高考中的提炼,回答“考什么”的问题;

(2)企业题库

2.在线考试系统应用优势

“必备知识”强调考查学生长期学习的知识储备中的基础性、通用性知识;

目前国内主流的互联网教育公司都建立了自己的题库,例如阿凡题、学霸君、学科网等。阿凡题的题库使用了知识图谱技术,借助于阿凡题公司强大的人工智能技术实现了千万级别的题量。但是此题库最大的问题在于教育测量理论的缺失,题目的难度或者题目质量的评判是借助于相似性算法,而不是基于测量和等值技术建立起来的,所以这些题目的质量标签准确性有待进一步优化。其他几家公司的题库与阿凡题比较相似,都是以计算机技术为导向建立的,重在量的积累,忽视了教育测量学在题库中的重要功能。

在教学上应用在线考试系统后,相对于传统的教学手段,有以下几个方面的优势。

“关键能力”重点考查学生所学知识的运用能力,强调独立思考、分析问题和解决问题、交流与合作等学生适应未来不断变化发展社会的至关重要的能力。

2、国外题库

第一,以考促训,易于评估。将“在线考试”作为考核是否掌握知识点的主要手段,督促学生养成自觉学习、主动学习的习惯。同时,考试成绩直观地体现了学生知识的薄弱点,也解决了长期存在的上课效果评估难的问题。

“学科素养”要求学生能够在不同情境下综合利用所学知识和技能处理复杂任务,具有扎实的学科观念和宽阔的学科视野,并体现出自身的实践能力、创新精神等内化的综合学科素养。

国外比较知名的题库有国际学生评价项目(PISA)、国际数学与科学教育成就趋势调查研究项目(TIMSS)、国家教育进步计划(NEAP)、knewton公司开发的自适应学习系统、TOEFEL、ACT考试题库等。这些国家知名的题库一般都是采用了比较先进的教育测量学模型和人工智能技术。例如PISA项的阅读、数学和科学素养测试取自难度覆盖广泛且具有
Rasch模型试题参数的题库,knewton公司使用了知识图谱技术和自适应学习方法。

第二,节约成本,提高效率。系统自动组题,学生在线答题,实现了无纸化考试,大大节约了考?成本;而提交答卷后系统自动判分,又节约了阅卷的时间等;学生可以将错误的试题加入个人错题集,方便复习薄弱的知识点。
第三,命题监考,减轻压力。一方面减轻教师出卷压力。“在线考试”系统有两种组卷方式,一种是由教师选定出题范围由系统随机抽取,这样具体考题无法确定,保证了试卷的保密性。第二种是手工组卷方式,即教师可以选取学生经常出错的考题、或真题中反复率高的题目供学生反复测验。这两种组卷方式大大缩短了教师命题时间。另一方面是减轻了教师监考的压力。教师可以设置试题随机排序即虽然全班都考同一份卷子,但题目的顺序不一样。教师通过测验可以掌握学生知识点理解程度的第一手资料,更好地服务于教学。

“核心价值”要求学生能够在学习过程中,逐步形成正确的核心价值观,这也体现了高考所承载的“坚持立德树人,加强社会主义核心价值体系教育”和“增强学生社会责任感”的育人功能和政治使命。

三、结论

第四,方便学生课外练习。教师在系统上设置好练习题目与练习时间,学生可以利用课余时间在系统上进行练习。对于还没有通过助理电子商务师考证而又需要去顶岗实习的学生来讲,这是最简便的复习方式。

“四翼”为考查要求,如图中从紫色圈中延展出来的四条虚线,即“基础性、综合性、应用性、创新性”,是素质教育的评价维度在高考中的体现,回答“怎么考”的问题。

国内外的大型考试题库建设的已经比较完善,有完整的建设流程与方法可以供我们参考。目前市面上的企业建设的题库大多是以计算机技术为导向的题库,重在使用先进的计算机技术,而忽略了题库本身的测量属性。所以综上所述,通过对前文的分析我们可以得出我们题库建设的初步框架,以国家级题库开发方法与流程为蓝本,学习和借鉴企业题库先进的计算机技术,融合教育测量学模型建设属于我们自己的专业题库。

四、“在线考试”系统应用总结

“基础性”要求主要体现在学生要具备适应大学学习或社会发展的基础知识、基本能力和基本素养。

第二章题库建设理论与方法

基于J2EE的电子商务模拟在线考试系统试题库中包含助理电子商务师真题共8套、电子商务师真题共5套。教师自编试题库中,电子商务师国家职业资格培训教程共870题,电子商务师国家职业资格培训教程共661题、电子商务师国家职业资格培训教程共509题。整个题库共计题目数达3340小题,形成了专业性高、题量丰富的试题库,基本满足了学生复习的需要。该系统的应用确实减少了教师的工作量、提高了学生学习的积极性,使本校电商考证率有明显的提高。但是,笔者发现,利用在线考试系统提高考证通过率的核心问题是试题的质量。因此,题库建设应不断进行补充完善。

“综合性”要求主要体现在学生能够综合运用不同学科知识、思想方法,多角度观察、思考,发现、分析和解决问题。

一、题库的概述

1.试题内容要紧贴大纲和时代发展需求

“应用性”要求主要体现在学生要能够善于观察现象、主动灵活地应用所学知识分析和解决实际问题,学以致用,具备较强的理论联系实际能力和实践能力。

1、题库的概念

一要紧贴考试大纲和教学大纲。随着电商的发展,考试大纲每年的侧重点、难点都会发生一些细微的变化。教师在出题的过程中应该以考试大纲为指挥棒,在大纲的引领下根据教材出题;二要紧贴信息时代的步伐与时俱进,教材里面的内容远跟不上时代的发展,因此教师在出题时因把书本理论与现实生活、工作中的实例融合在一起,使学生在答题的过程中对电商最新的技术、概念有一定的了解,而非为了考证而考证,增加学生负担。

“创新性”要求主要体现在学生要具有独立思考能力,具备批判性和创新性思维方式。

国家《教育资源建设技术规范》(CELTS一41.1)的定义,试题库(Item
Bank)是按照一定的教育测量理论,在计算机系统中实现的某个学科题目的集合,它是严格遵循教育测量理论,在精确的数学模型基础上建立起来的教育测量工具。

2.积极扩展在线考试的使用范围,不断通过测验完善试题的科学性、规范性

“一体” “四层”
“四翼”构成的实现高新高考评价功能的理论体系,更是21世纪20年代的新高考的参考左边和指南。

我国教育测量学者漆书青等提出:题库是大量属性明确的合格试题的有序存储,目的是为高效、成批生成具有指定性能的优良试卷而服务。

一个好的题库除了题目量充足、题目覆盖范围广外,就是试题要符合教育测量学的要求,有适当的难度、区分度、信度与效度。这需要大规模地对测题进行检测,不断修改试题的四个维度,才能使试题更具科学性、有效性。

题库的出现是教育测量技术与计算机技术共同发展的结果,也是教育考试管理与实施走向规范化、专业化、科学化的重要途径与方式。

3.试题多采用客观题的形式

2、题库的性质

问答题与材料分析题由于考生答案表述不一,很难与标准答案对比,无法体现“在线考试”系统自动评分的优势,因此教师出卷时应多以单选题、多选题或判断题为主。

Part 2:高考试卷命制流程

题库的性质取决于测验的性质。在教育测量学中,根据性质可以将测验划分为常模参照测验与标准参照测验。常模参照测验是一种以经典测验理论为基础的测量,主要目的在于把被试同常模比较,从而判断被试在所属团体中的相对位置。早期的教育测验和大部分智力测验基本上就是常模参照测验。标准参照测验又称准则参照测验。一种精心编制的,在一定的行为领域上按照具体的行为标准水平对被试的测验结果作出直接解释的测验。它为人们提供了有关被试是否达到某种行为标准水平或要求的信息,是一种与以经典测验理论为基础的常模参照测验相对的测验类型。

随着信息化建设在教育中的应用越来越广泛,在线考试可以直接与在线课程、答疑等系统连接起来,为学生提供一个课前预习、课中教师讲评加测验、课后答疑的网上学习系统,为提高教学质量、??化教育教学环境做贡献。

1、命题时间

根据对本题库用途的设想,可以确定本题库属于标准参照测验题库。在建设时应该参照标准参照测验题库建设流程来进行题库建设。这种题库的核心要求就是题库中的题目均应与课程标准中的内容标准、学业水平相应的等级标准有明确的对应。

一般为高考前一个月,考试院或教育部考试中心组专家团队进行集中命题开始。春季高考一般是12月份,秋季高考是5月份,这样确保命题团队有充足的时间命制优质的试题和印刷的时间的保证。

3、题库的功能

2、命题团队

题库最基本的功能是有序存储,在此基础上,题库还具有查询、命题辅助、自动组卷、分析反馈等功能。命题辅助功能是指入库试题因其特有的内容属性指标和统计属性指标,为命题专家提供了较多的思路,方便命题人员参考指标进行试题命制。分析反馈属于题库后期进一步开发的功能。

高考卷命题专家团队主要有三个群体组成:

结合本题库建设的目的,确定本题库重在建设存储、查询、命题辅助和自动组卷功能。分析反馈功能可以在题库建设完成后根据需求进行二次开发。

教授;

二、题库建设的理论基础

学科教研员;

1、教育学理论

一线优秀教师。

(1)教育目标分类学

一般情况下,命题组组长为大学研究学科测试方面的专家教授,具有丰富的理论和实践经验。

布鲁姆等人提出的教育目标分类学理论是制定测验方案的理论依据,决定着题库中试题、试卷呈现的内容与结构。教育目标分类学是上一轮国家教育改革的核心理论依据之一,其中的三维目标理论对我们国家的教育与考试有着深远的影响。教育目标分类学在题库建设中的试题命制、内容属性标定等环节有着非常重要的作用。

3.命题团队选择:一优三非

(2)中国学生核心素养

一优:即在行业内非常优秀,高校老师一般是正教授和博导,在职教师和学科教学研究者一般是有长期教学经验或研究经验的特、高级教师。

核心素养是国家新一轮教育改革的核心理论。核心素养理论标志着考试从知识层面考查向素养层面考查的转变,必将是未来考试的最重要的取向。目前国家对核心素养理论怎么考查还差在探索阶段,所以本题库只是兼顾核心素养理论,为将来题库的转型升级提供通道。

一非:指的是教师不能是高三教师。每个教师的教学都有自己的侧重和偏好,这种偏好会贯彻在他的教学中与命题中。

2、教育测量学理论

二非:指的是不能是该年高三考生的家长。

教育测量学中的经典测量理论和项目反应理论是进行本题库建设的基础测量理论。两种测量理论渗透在等值设计、试题分析与校准、标准制定、自动组卷等环节中,两者相辅相成。

三非:指的是并未参与过高考补习、辅导、讲座、编写复习资料备考资料等的人。

3、知识图谱理论

4、命题过程:

知识图谱,是结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系,其基本组成单位是『实体-关系-实体』三元组,以及实体及其相关属性-值对,实体之间通过关系相互联结,构成网状的知识结构。相对于传统的层级知识树,知识图谱的知识点之间关系更加复杂,更加符合学生实际的思维和学习习惯。知识图谱能够实现知识推理等功能,为后期题库的二次开发打下基础。

命题人-选题人-学科秘书

三、题库建设的方法和流程

每个学科的每个题型采用协同命题,由命题人负责,每个题型初步出题。然后,选题人要从每个题型的选出中,选出最优秀的题进行组合。

1、基本流程

选完题后,学科秘书会组织人员责把题目跟网上和市面上的所有参考资料进行对比进行题目的优化和筛选。

(1)在对国内外研究与实践分析的基础上,首先组建专业团队,整体规划题库建设方案,以教育目标分类学理论为指导,基于国家课程标准和测试方案命制试题,并按照科学的测验设计和实施方案实施测试;

筛选完后,经学科秘书和命题组长审核,最终选出今年的高考题目和一套备用卷。

(2)开展基于教育测量学理论的试题分析、校准和链接,即通过先验的试题难度和考生能力值将新试题链接到同一量尺上;

由于上海采用题库式的等值测试,相对来说,有了题库,命题的时间相对节省很多,但是对测量统计技术的要求更好,需要专业的人员的对试卷进行严格的评审,以确保试卷的科学性和公平性。

(3)进行标准划定,即由专家小组按照严格的科学程序估计达到合格、良好和优秀水平的临界能力值;

5、命题原则

(4)试题标定入库,即将试题按照既定的内容属性和统计属性指标遵循固定的规则顺序入库;

以课标和评价体系为依据

(5)自动组卷,进行测试;

试卷都应出题的细目表,每一道题,都有题意、描述、问题、解答等。

(6)做好题库的更新与维护工作。

“反押题”

图1题库建设流程图

高考命题团队对市面上的教辅教材和各种押题信息的了如指掌,可以说是最全面的和系统的。考试院或教育部考试中心有专门人员整理和收集各种教辅资料以及官方教材。

2、关键环节

从出题到题目的标点符号,包括题目是否可能出现歧义,出题的顺序都要反复商榷以确保试题的科学性。

(1)组件题库建设团队

英语语法填空、选词填空、阅读理解、完形填空,概要写作等还需要从的国外杂志中,几百上千篇中,挑选出主题积极向上的、生词量比较均衡的、语法涵盖全面的文章,进行出题。

题库建设是一项需要花费大量人力物力财力、环节众多、程序复杂、周期较长的综合工程,需要教育测量技术、学科命题技术与计算机编程技术的有机结合。因此,组件一支由教育测量、学科命题和计算机编程人员组成的建设队伍是题库建设的首要环节。

3.区分度

教育测量组由具有教育测量学理论功底和数据分析处理经验的专业人员组成,主要负责拟定题库建设的整体方案、测验设计方案、数据分析方案、标准制定方案、指标入库方案、组卷方案等。目前在国内这方面的专家有北京师范大学的辛涛、韦小满、刘云红,北京语言大学的谢小庆、王佶旻,华南师范大学的张敏强、黎光明,江西师范大学的俞宗火、戚书清、丁树良,暨南大学的戴海琦等人。我们公司在教育测量方面比较薄弱,需要咨询外部专家才能保证题库的顺利建设。

高考作为选拔人才的评价方式,需要区分不同学生的能力水平来满足高等学校人才培养。因此整个试卷的区分度要有利于选拔人才。因此试卷的难度、易度等题目会保持合理的比例。这里就需要学生根据自己的实际水平在考试中遇到问题时采取相应的考试策略和技巧。

命题组由具有某测量学科领域教育教学理论背景和实践经验并且掌握命题技术的领域专家、教研员和一线教师组成,主要负责学科领域测试方案、编制细目蓝图、命制试题等。我们公司在这方面资源比较丰富,但是在选取时要注意选择懂得测量学理论的命题专家。

4、试卷试测

计算机编程组由计算机程序员组成,主要负责题库建设方案的计算机程序开发,形成题库管理系统。我们公司这方面力量比较薄弱,可以进行项目外包,由专业公司进行定制开发。

当命题结束后,一般会有数名考生提前考试,接触到刚刚定好的当年高考试卷。根据测试生的成绩,命题人会对题目进行微调,在这种情况下,十之八九会将题目难度降低。有时候,也会请来高中老师对试卷挑出各种毛病,最后再次修改,达成一致意见,试卷方可成型。

(2)开展题库试题命制

5、高考B卷

题库试题的命制,与测验题目的命制基本相同,主要包括依据国家课程标准制定测试方案、编制细目蓝图、命制试题和评分标准、审定试题环节。其中,测试方案是对学科测试内容、结构、范围与标准的具体说明,由学科专家依据国家课程标准相应学段内容与学科教学的实际,经过反复研究、讨论,广泛征求意见后最终形成,是指导学科测试工作的重要基础。编制细目蓝图的主要目的是使试题在内容上具有代表性,在内容领域、难度、区分度分配上具有合理性,从而保证测验工具具有良好的结构。编题细目蓝图包括试题在内容领域、能力领域上的分布,试题描述及与内容标准的对应情况、错误选项的类型,以及试题预计难度、区分度等指标。

每年的高考试卷其实都有两套,正式+备用。而且除了命题人,没有人知道哪套正式、哪套备用,正式和备用也不在一个地方印刷。但如果没有极其重大情况发生,不经教育部批准,高考是不会轻易动用备用卷的。

然后,根据命题细目蓝图,组织专家分组进行平行试题及评分标准的命制工作。以国家课程标准为依据,遵循命题细目蓝图,结合具体试题类型(如客观题与主观题)的要求进行命制,形成初步的题库试题。此外,制定相应的评分标准也是命题的重要组成部分。其中,客观题的答案具有唯一性,评分标准制定略易。主观题评分标准相对比较复杂。

最后进行试题审定,保证题库中试题内容的科学性和结构的合理性。

(3)题库等值设计与校准

Part 3:高考阅卷

纳入题库的所有试题,必须建立在同一量尺上,否则试题之间无法进行科学参数标定,因此需要进行科学的等值设计。题库的等值设计常用铆题等值方法,即将有一定数量铆题的多分测验给予多组不同考生实施测验。

1.阅卷团队

在科学等值设计方案基础上的试题分析与校准是题库建设的核心环节,一般采用以项目反应理论为基础的等值方法进行试题数据校准。

高考阅卷以高校教师、中学教师、教研人员为主,不仅要熟悉所评学科的教学和考试内容的要求,并且年龄不能超过55岁,最重要的是没有直系亲属参加当年高考。

(4)试题入库指标编码

目前高考阅卷都是以电脑阅卷为主,以作文阅卷为例,每篇作文都是由两个评卷员进行评阅,如果两个人给出的分数加起来,评卷误差大于规定的分值,就要交到第三方进行评阅,如果误差仍然大于规定分值,将由学科评卷组组长进行评阅,直到分值达到允许的误差范围内,评分才算合格。

试题入库指标编码试题库建设的重要环节。试题入库指标编码一般包括试题的内容属性指标和统计参数指标两大类。

2. 阅卷公平

内容数型指标是指对题库中试题的基本属性和内容结构的标定。基本属性指标包括编号、命题时间、命题人、预测时间、预测对象、地区、修改时间、入库时间、使用次数、是否是铆题等;内容结构指标包括题型、知识结构、答案、错误答案说明等。

每个老师只负责一道题,而这道题至少要由两名老师来批阅,如果两位老师所判分数不一样,将由第三位老师进行裁定,刘老师说这样的目的就是为了减少因为阅卷出现失误而导致学生失分的情况。

试题统计参数指标,包括基于经典测量理论的统计参数指标(CTT指标)和基于项目反应理论的统计参数指标(IRT指标)。

在作文评分上,每一题均由两位教师”背靠背”评阅,如果出现评分误差,再有第三位教师评阅。在此基础上,今年还增加了一道检查环节。同时,考试院质检组的检查和我们阅卷中心组的检查,可以说经过至少五道明的环节,还有些机器的查阅,这样的话确保我们的阅卷公正。

CTT指标包括难度、区分度。难度是描述试题难易程度的指标。两级计分试题采用通过率来说明难度,多级计分试题则采用该题的平均分与满分的商来表示。区分度指试题对考生某种特质的区分程度或鉴别能力,主要包括题总相关系数(R)和鉴别指数(D)两个指标。

IRT指标主要包括基于各种模型的试题特征曲线、参数指标、信息量曲线:试题特征曲线采用单调增函数来反映考生潜在特质与正确作答概率的关系,此函数曲线确定考生对试题做出正确作答的概率,随考生潜在特质水平的提高而增加;
参数指标包括试题区分度(a)、难度(b)和猜测度(c);试题信息量曲
线反映试题能够为考试提供信息量的程度,好的试题对考生能力水平估计的误差较小,能提供较多的信息量。

四、结论

Part4:上海高考英语特征

通过以上分析,本方案基本梳理清楚了本题库建设需要的技术、人员和流程。计算机技术上,本题库倾向于使用知识图谱技术作为题库题目的组织结构,使用B/S架构。教育测量技术方面,本题库倾向于使用经典测量理论和项目反应理论相结合的方式作为测量模型。人员方面,教育测量专家组需聘请目前国内比较知名的几位测量专家作为顾问,学科命题组人员主要从公司现有的作者资源中进行挖掘,计算机程序开发主要将任务外包给其他公司。流程上,本题库的建设按照组建题库团队、规划题库建设方案、知识图谱建设与开展试题命制、测验设计与测试实施、试题分析校准与标准划定、试题入库指标与编码、自动组卷、题库更新与维护、题库设计优化等流程开展。

一、等值测试

测试学上把不同形式测验的分数转换到同一个分数系统上,以达到解决实际测验后由不同形式测验之间的差异所引起的不公平现象的一套专门技术。其本质就是通过对考核同一种心理品质的多个形式的测验作出测量分数系统的转换,进而使这些不同测验形式的测验分数之间具有可比性。为了使不同测验分数可以相互比较,在经典测验理论的指导下,测验等值的计算方法主要有两大类:一类叫等百分位等值法;另一类叫线性等值法。百分位等值法计算就是用相同的百分等级作等值的基础;线性等值法计算就是用相同的标准分数作等值的基础。

测验等值的条件:

同质性:被等值的不同测验形式所测的必须是同一种心理品质。

等信度:被等值的不同测验形式必须有相等的测验信度。

公平性:如果两个测验是等值的,则无论以其中的任何一个测验为基础进行等值转换,所得到的转换关系都是一样的。

可递推性:X=Y=Z,则X=Z。

对称性:测验间的等值转换关系是双向的,可以将测验X上得分数转换为测验Y上的分数,反之亦然。

样本不变性:X与Y测验之间的等值关系不随被试样本和测验时间的变化而变化。

“测验等值”技术早已完善,对不同题目的等值评判,考试的标准分规则也为实现“测验等值”提供了便利。

二、”一年两考“

2017年上海开始在高考英语学科实施”一年两考“,其需要专业的测试技术和测量工具以及学科命题专家对新高考英语命题进行科学的设计以确保两次考试的一致性。

从2018-2019上海高考英语的整体均分来看,两次考试分数分布来看,整体上实现了等值测试。但是6月的高考的分数整体均分还是不1月份的分数高。相对来说,高三第一学期很多同学改刚刚进行考试状态。再经过几个月的深度复习和强化,6月份的分数相对会高一些。

三、高考真题

由于上海新高考英语真题不公布,每年同学们接触的主要为还原版的真题,与实际的真题还是有差距,但是作为参加新高考的学生而言,这些还原的真题可以作为同学考前热身练习的试验场,尤其是新高考英语大量采用外刊文章,对于平时外刊阅读量少和词汇量少的同学是一个巨大的挑战。于是有部分自媒体炒作在去年的1月份高考英语中,被称为史上最难试卷。

2019年上海高考英语主要节选《经济学人》、《纽约时报》、《卫报》、《金融时报》、《芝加哥论坛》等英美报刊,这些的外刊语篇给学生阅读带来巨大的冲击。

实际上,作为高考的语篇材料,命题专家对原语篇进行科学的改编和调整以确保试题的科学性和公平性。

而且实际上均分下来1月份与6月份的基本一致,因此同学们就不必惊慌,而是根据学校老师和自己的复习节奏。

四、辅导教师

现在教育培训市场可谓是千奇百怪,很多辅导老师连教师资格证都没有,更有甚者,部分教师根本就是不是英语专业,没有经过大学英语专业的理论和实践训练,做几套高考真题和模拟试卷,然后冒充所谓的“四校八校名师”就开始辅导你。造成的结果就是就学习的效果平时还可以,而在高考中却不如人意,毕竟高考是真枪实战的考试,很多“李鬼”在高考中就会显出原形,毕竟水平有限。而且现在教育政策这么严格,像四校八校的英语教学专家有几个能有空闲时间出来,又有胆量冒着自己下半辈子的前程出来去辅导你。

相关文章