新理念大学英语网络教学系统 [大学英语网络教学中单元测试分界分数的设定]
时间：2019-01-14 03:38:22 来源：雅意学习网 本文已影响 人 
【摘要】该研究运用经典的安哥夫标准设定法为新理念大学英语网络教学系统的单元测试设定分界分数, 从北京、上海、深圳、重庆四地挑选了40位专家参与研究。 在标准设定过程中采取一系列措施把误差控制到最低。通过对专家们得出数据的计算和分析,该研究确定了单元测试的分界标准。
【关键词】新理念大学英语网络教学系统; 单元测试; 分界分数; 安哥夫标准设定法
【中图分类号】G420 【文献标识码】B 【论文编号】1009―8097(2010)09―0076―04
随着网络技术的发展和迅速普及,互联网介入了大学英语教学,这使得大学英语教学模式发生了巨大变化。大学英语教学从传统的以教师讲授为主的单一教学模式逐渐演变为采用基于计算机和课堂的英语教学相结合的模式。网络英语教学作为一种新兴的教学模式正在快速发展。这一教学模式改革顺应了社会发展的趋势也符合学生对英语学习的要求。
与此同时,《大学英语课程教学要求》提出:“大学英语的教学目标是培养学生的英语综合应用能力,特别是听说能力,使他们在今后学习、工作和社会交往中能用英语有效地进行交际,同时增强其自主学习能力,提高综合文化素养,以适应我国社会发展和国际交流的需要”。[1]要实现这一目标,培养学生自主学习能力是关键所在。大学英语网络教学模式要求体现学生在教学过程中的主体地位:学生选择适合自己的学习材料和方法学习,通过完成网络单元测试,学生和老师得到即时的学习情况反馈,教师针对学生不同问题进行学习策略的指导,从而逐步提高学生自主学习的能力。
在上述基于计算机的英语学习过程中,网络单元测试是一个重要的环节。通过单元测试,老师可以了解学生的知识掌握情况,如果单元测试合格,学生自动进入下一单元的学习;如果不合格,学生则返回学习课程,重新开始本单元学习。如何设定单元测试及格分数是这一重要环节中的重点。它的设定直接影响学生的学习进度、自信心和学习兴趣。
我国多年来一直把百分制的60分设为考试及格分数,这样的设置往往缺乏科学性,因为忽略了试题的难度、考生之间的差异、试题内容的差异等重要因素。在心理与教育测量领域,采用不同的分界标准会得到不同的及格分数。即使是同一次测试,也会出现几个不同的及格分数。对一些同学来说,用一个及格分数可以通过测试,而用另一个及格分数却不能通过。分界标准究竟如何确定和在哪里确定,这一问题一直争论不断。本文将运用众多标准设定法中最经典,最常用的安哥夫标准设定法设定新理念大学英语网络教学系统中单元测试的及格分数,希望能运用该分数去准确区分掌握单元知识和没掌握单元知识的同学。
一 为何选用安哥夫标准设定法
在客观标准化测验中常用的制定及格线的方法很多,如:对照组标准设定法,边缘组标准设定法,聂习思基标准设定法及安哥夫标准设定法等等。这些标准设定法各有利弊。其中安哥夫标准设定法由于其可靠性高,易于操作,便于计算切分点,适于成绩分析的特点而被广泛运用。[2]
安哥夫标准设定法是现今最流行,应用最广泛的标准设定法。[3]正如Berk所指出,该标准设定法与其他方法比较有其独特的优势:它能提供适当的分类信息,充分可靠的统计信息并能识别真正的标准。[4]这些都是完成本次研究最重要的部分。然而美国国家教育局的报告也指出其局限性:对测试每一题的判断非常难,而判断得出的结果与被挑选参与的专家直接相关。[6]在比较了诸多分界方法以及安哥夫标准设定法的利弊后,本文决定采用安哥夫标准设定法,并针对其局限性在专家的选择和标准设置过程中采取一些弥补措施,力求把误差控制到最低。
二 安哥夫标准设定法简介
安哥夫标准设定法(1971)分为三个步骤。在前两步,专家们分别独立找出及格分数,并估计出可以达到某一个标准的最低水平的学生,我们称之为边缘组。在最后一步,专家们互相讨论并调整他们的标准。该方法需要专家们对测试的每一个题目进行研究,然后估计边缘组可以正确回答每一道题的概率。使用此种方法主要需参照测验本身的信息,如试题内容和难度等,所以我们称之为以测验为中心的方法。在使用安哥夫标准设定法时有两个关键点:一为边缘组,是指可以达到某一标准的最低水平的考生群体(既最低胜任能力的考生群体);二为可能正确回答每一道题的概率,是指100名最低胜任能力的考生中,有多少人能正确回答某题。
三 研究过程及结果
1 研究样本
本次研究选用新理念大学英语网络教学系统第四册第三,四单元后的测试(第四册第二次单元测试)作为研究试题样本。由于少数同学在网上完成第一,二单元测试时还不太熟悉测试过程,甚至因电脑操作失误而丢分,本文为了让统计数据更真实、准确的反映学生情况,选择第二次测试作为研究样本,给学生一个熟悉的过程。
完成两个单元的学习内容后,同学即可开始单元测试进行自我检测。单元测试主要检测各位同学的听力能力是否达到该阶段要求。单元测试听力部分总分为70分,分为:短对话(10%),填表(20%),听短文判断正误(10%),听短文选择(10%),短文填空(10%)及看视频判断正误(10%)六种题型,共80小题。研究试题样本与其余单元测试在题型、分值分布及题目数量上完全相同, 测试难度随着学习知识的增多相应加大,所以研究得出的分界分数可用于其余的单元测试,具有一定参考价值。本次研究主要为听力部分设定分界标准。
2 专家的选择与培训
专家的选择与培训是安哥夫标准设定法非常重要的组成部分,因为专家组的判断直接影响最后及格分数的高低。研究中,为了弥补安哥夫标准设定法的局限性并尽量将误差值控制得最小,在选择专家时考虑到了专家的代表性。挑选专家时以性别、年龄、职称、工作地点等不同因素为参考,进行平衡选择。最后从北京,上海,深圳,重庆四地分别选择了10名经验丰富的大学英语教师(共40人),其中男教师20名,女教师20名,专家组的年龄在30―55岁之间,分别包括讲师、副教授和教授。他们不仅教学经验丰富,而且非常熟悉学生情况。
确定专家后,下一步需向他们介绍单元测试的性质、目的、内容和形式。由于大部分专家是首次参与该类评估,他们对安哥夫标准设定法的步骤并不熟悉,这些都需在培训环节中给专家们解释清楚。
培训中需要向专家们阐明大学英语课程教学对学生听力的三个层次要求,让专家们以此作为标尺对题目难度进行判断。它们分别为:
一般要求:能听懂英语授课,能听懂日常英语谈话和一般性题材的讲座,能听懂语速较慢(每分钟130-150词)的英语广播和电视节目,能掌握其中心大意,抓住要点。能运用基本的听力技巧。
较高要求:能听懂英语谈话和讲座,能基本听懂题材熟悉、篇幅较长的英语广播和电视节目,语速为每分钟150-180词,能掌握其中心大意,抓住要点和相关细节。能基本听懂用英语讲授的专业课程。
更高要求:能基本听懂英语国家的广播电视节目,掌握其中心大意,抓住要点。能听懂英语国家人士正常语速的谈话。能听懂用英语讲授的专业课程和英语讲座。[1]
以这三个层次的要求作为标准,专家们对单元测试的所有题目进行试听、分类、比较,最后以答对题目学生的百分比来判断每一题的难度。
培训的最后环节是让专家对单元测试样题进行试评。首先从样题中分别选出题型、难度各异的10题。然后让专家根据自己对边缘组同学听力能力的理解来判断他们答对该10道题的概率。概率越大,证明答对该题的同学越多,既该题难度就越小;反之则难度越大。为了降低专家判断难度,缩小判断误差,本次研究根据题目难度事先设定9种概率:高难度,5%、15%、25%;中等难度,40%、50%、60%;容易,75%、 85%、95%。专家仔细研究题目后,从9种概率中进行独立选择判断。最后专家们对比各自的数据,对出现的差异进行讨论,并试图找出出现差异的原因。
3 界定最低胜任能力的考生群体
界定最低胜任能力的考生群体(即边缘组考生),是使用安哥夫标准设定法的关键,并直接影响最后数据的准确性。边缘组学生是听力能力刚好能通过新理念大学英语网络教学单元测试的同学。由于各班同学英语程度不同,边缘组可能是一个班里的差等生,也可能是一个班里的中等生,需根据具体情况而定。
由于专家教学经验丰富且熟悉学生情况,他们首先根据大学英语课程教学对听力的三个层次要求、考试的性质和目的以及自己对学科认识讨论出最低胜任能力考生所应具备的知识和技能,从而界定出最低胜任能力的考生群体。在此过程中,专家还需进行讨论,并指出最低胜任能力的考生在该测试中的一些具体表现和特征。这样能使随后的概率判断更容易、清晰、准确,从而控制误差,保证最后数据的准确性。
4 正式评判
经过培训、试评、讨论和对边缘组考生的界定,专家对该研究有更深的了解,同时对题目难度的判断也把握得更准确,更一致。有了这样的前提,专家可以开始正式评判了。
专家们首先独立完成样本试题的6个题型(共80小题), 并根据事先设定的9种概率:高难度,5%、15%、25%;中等难度,40%、50%、60%;容易,75%、85%、95%对题目难度进行选择判断,全部完成后专家根据听力正确答案调整自己的判断。整个过程需要一小时左右,专家一气呵成对所有题目的判断,中间不设休息时间,这样有利于判断标准的统一,同时专家也更能体会考生做题的感受,有助于提高判断的准确性。
为了让最终结果更为准确一致,在第一轮判断结束后,本次研究最后采用了由Livingston 和Ziekey提出的改良安哥夫标准设定法。[5]专家公布各自的判断结果,并就判定的结果进行讨论,阐述判定理由。针对判定结果差异较大的题目,专家认真比较研究。讨论结束后,专家们再各自进行第二轮题目判断。通过两次判断,专家们得出的最终判定结果更为准确一致。
5 数据汇总,计算合格线
使用安哥夫标准设定法最大的优势就是数据容易汇总统计。在专家估计出边缘组考生能够正确回答样本试题每小题的概率后,将专家对样本试题中80小题估计的概率值求和, 既为专家估计的分界分数,再将每位专家的分界分数求平均既为样本试题的分界分数。具体情况如下表:
如上表所示,来自北京、上海、深圳、重庆的40位专家判定的样本试题分界分数各不相同。为了便于比较,本文按地区分类,分别算出了每地区10位专家判断的平均分界分数,分别是:北京38.10、上海38.58、深圳38.02、重庆37.44。从专家们得出的具体结果来看,上海的测试分界分数最高,北京次之,深圳居于第三位,重庆最低。这些计算结果证明了各地学生英语水平各不相同的事实,因此我们在设定测试及格分数时也应有所差异。上表不同的数据为我们今后在各地使用新理念大学英语网络教学系统设定具体的单元测试分界分数提供了依据。
数据汇总最后一步是把各地的平均分界分数相加并再次求出平均值,得出样本试题的分界分数:38.04。该分界分数为新理念大学英语网络教学系统单元测试的参考分界分数。
6 数据分析
根据离差公式:离差分数 = - (其中 为样本数据,即专家对考生回答样本试题的判断数据; 为样本均值,即专家判断结果的均值)可以判断,本次研究题目判断的最大离差为.41,最小离差为.00。离差表明了样本与均值之间的差距。本次研究离差偏大的情况仅存在于少数专家对少量题目的判断中。由于采取了不同措施控制和减少误差,并在研究最后一步采用了改良的安哥夫标准设定法,专家得出的最后数据较接近,存在的个体差异也较小,这证明了本次研究数据的准确性。
四 与实测数据比较
截止2009年4月23日,本次研究收集汇总了深圳大学二年级1974名同学完成研究样本(新理念大学英语网络教学系统第四册三,四单元测试)的数据,并把实测数据与研究数据进行了对比,结果如下表:
通过对比,我们发现深圳大学实测结果比研究算出的分界分数低1.79分,与研究结果相差不大。从单项题型来看,深圳大学的实测分数在听短文选择和短文填空分别高出专家判断的平均值;而在短对话、填表和判断题上,深圳大学的实测结果分数落后于各地平均值。
五 结论
从总体上看,本次研究各位专家得出的分界分数数据接近,个体差异较小,最后数据与实测数据比较也相差不大。这些都证明了结论数据的准确性,同时也说明了本次研究专家判断的及格分数是符合实际情况要求的。本次研究得出的数据和为样本试题设定的分界分数为今后大学英语网络教学单元测试设定分界分数提供了科学的依据。
综上所述,为了能让《大学英语课程教学要求》得到进一步的贯彻和实施,更加有效的完成大学英语的教学目标,我们在基于计算机的英语教学过程中,一定要认真研究测试这一重要环节。本文虽然运用安哥夫标准设定法设定了单元测试的分界标准,但是由于地区差异和各专家之间存在主观差异,他们对边缘组的理解不尽相同,所以专家评判得出的结果也有差异。[7]这些都是本次研究出现细微差异的主要原因。在今后的工作和研究中,我们要以《大学英语课程教学要求》为指导,结合学校的具体情况,准确、合理地设定单元测试分界分数,抓好教学评估这一环节,从而更加客观、全面、科学地评定学生的学习成绩,促进学生更好地学习。
参考文献
[1] 教育部高等教育司.大学英语课堂教学要求[M].北京:外语教学与研究出版社,2007:1.
[2] 弓嫣嫣,孙宝志.用安哥夫方法制定及格线的研究[J].医学教育,1995,(2):40-42.
[3] Angoff,W.H.Scales,Norms and Equivalent Scores,in: R.L.
Thorndike(Ed.)[J]Educational Measurement,1971,2:508-600.
[4] Berk,R.A Consumer’s Guide to Setting Standards on Criterion-referenced Tests[J].Review of Educational Research, 1986,56:137-172.
[5] Livingston,S.,&Zieky,M.Passing Score:A manual for setting standards of performance on educational and occupational tests[M].Princeton,New Jersey:Educational Testing Service, 1982.
[6] Shepard, L.A.,Glaser,R.,Linn,R.L.Setting Performance Standards for Student Achievement [M].Stanford, CA:Stanford University, National Academy of Education,1993.
[7] ireci,S.G.,Robin,F.,&Pateils,T.Using Cluster Analysis to Facilitate Standard Setting[J].Applied Measurement in Education, 1999, 12: 301-325.
