提高农业高职教育考试信度和效度的途径与方法_信度和效度
时间：2019-01-04 03:39:19 来源：雅意学习网 本文已影响 人 
摘 要: 本文分析了农业高职教育考试存在的问题,并从加强教师的考试能力培养、科学命题,多样化考试、加强考务管理、保证阅卷质量,严把考试质量分析与信息反馈关等方面介绍了提高农业高职教育考试信度和效度的途径与方法。
关键词: 农业高职教育 考试信度 考试效度
考试是检查学习成果和教学效果的重要手段和有效方式。考试信度和效度,会直接影响考试质量。农业高职教育作为高职教育的一种特殊类型,如何充分发挥考试功能,提高考试的信度和效度,不断提升教育教学质量,促进学生充分就业,以寻求自身不断发展,是当今乃至今后需持久研究的课题之一。
一、农业高职教育考试存在的问题
农业高职教育经过十多年的研究探索与实践,在教学改革与建设等各方面取得了丰硕成果,自身得到了长足发展,但在考试改革方面却远落后于其它改革,虽然各农业高职院校都非常重视考试,但实际的考试质量却不高,导致考试信度和效度出现异常。经调查分析,在考试的组织实施方面主要存在以下几方面问题。
(一)考试功能和考试目标单一。
考试具有检测、鉴定、评价、教育、教学、选拔等多种功能,但从实施考试的动机和出发点来看,偏重于考试的检测、鉴定与选拔功能,而对考试的教育、评价功能发挥甚少,只测不评的情形特别多。这种情况在过程考试中表现更加明显,致使考试结果所蕴含的大量信息丢失。
考试是教学过程中的重要环节,考试与教学在目的上是一致的。因此,考试的依据就是教学目标。教学目标是评价学生学业成果的客观质量标准。根据现代教学论的研究成果,教学目标一般包括认知、情感态度和动作技能三个方面。认知方面主要是指学生应该掌握各门课程的基础理论、基础知识与基本技能,包括学生的领会、转换、表述、分析、综合、概括、评价和判断等方面的能力;情感态度主要包括学生非智力因素方面,如兴趣、情感、志向、价值观、性格等品质;动作技能主要指对模仿动作的理解、组合、协调等。农业高职教育面向农业行业培养高素质技能型人才,其教学目标和考试目标同样应该包括和针对知识、技能与素质三方面。但目前农业高职教育考试存在考试目标比较单一、僵化的现象。在上世纪90年代高职教育的发展初期,考试存在偏重知识、兼顾技能、忽视素质的倾向,在知识维度考核上,目标的实现过多停留在识别或记忆这些低水平的要求上,而少有较高水平的理解、分析等目标达成的考试;形式上重视技能维度的考试,但创新思维能力方面的测试很少涉及,至于素质方面考核几乎没有要求。目前高职教育强调理实一体化教学,考试偏重教学目标的职业性、实践性、高等性有一定程度的弱化,个别院校的考试出现了重技能、素质,轻知识的倾向。这种情况在过程考核中表现更加突出。上述两种倾向都会导致考试效度低。
(二)考试类型不清,应用混乱。
目前考试类型很多,依据不同的分类标准其类型各异。由于对考试理论知识的匮乏,课任教师在实施考试时,往往混淆考试类型,随意选用,导致考试目标产生偏差。这种情况在青年教师身上带有一定的普遍性。
1.诊断性考试与形成性考试相混淆。根据考试在教学中的作用,分为形成性考试、诊断性考试、鉴定性考试和评价性考试。评价性考试在教育过程中进行,主要用于评价学生的综合素质,尤其是非智力素质;鉴定性考试一般在教学结束后进行,用于测评学生教学目标实现的程度;形成性考试是在教学过程中进行,用于检测学生对新学内容掌握的程度,以便诊断并改进教学,促进学生学习。它的编制必须依据教学目标进行,教学的重点难点都要考核;诊断性考试主要用于学前或课前预习效果或学习基础的考查,以便后续课有的放矢地开展教学,有时在教学中应用,目的是了解学生遇到的学习困难、原因所在及如何补救。这种考试是针对某一特定问题编制大量的测题,测题之间差距较小,以鉴别具体学习困难的原因。事实上在高职教育加强过程考核的要求下,一些教师设计的大量考试偏重于此,结果与形成性考试类型相混淆,客观上加重了学生负担。
2.教师自行设计考试,考试质量缺乏保证。根据考试的标准化程度或水平,分为标准化考试、准标准化考试和教师自行设计考试。标准化考试根据考试大纲要求,科学命题,并制定评分细则和记分标准,在生源质量相差不大的前提下进行考试,考试信度和效度一般较高。教师自行设计考试是根据经验设计的未经标准化的成果测试,缺乏可行的质量保证,在实施中常常出现考试太难或过易,而且没有用常模来解释分数,使得分数的相对意义无法表现出来,但这种考试与高职教学实际结合得非常紧密,用得较多。准标准化考试是高职教师最熟悉、教学评价中使用最多的一种考试类型,其标准化程度低于标准化考试,高于传统的教师自行设计的考试。实践中教师采用这种考试类型出现的问题也较多。
3.教师解读考试结果有误。依据考试结果的解释不同,分为常模参照性考试和标准(或目标)参照性考试。前者是以学生在“常模团体中的相对等第”来解释结果的考试,即以常模为参照点的考试。它能鉴别学生的个别差异,却不能确定学生达到了何种目标,而且要控制考试结果的常态分布;后者是指考生的考试成绩不与他人比较,用以考查学生对所学知识、技能的掌握程度是否达到了教学目标的要求,即以标准或目标为参照点的考试。部分教师只偏重标准参照性测验,而在对分数的解释上又把学生置于团体之中,排出学生的相对等第。实际上是混用了两类考试的结果。
4.考试形式单一,针对性不强。考试形式的多样化是今后农业高职考试改革的方向,这是由不同课程的性质、特点、目标及考核内容的多样化所决定的。但是,目前的农业高职院校普遍存在考试形式单一的现象,主要表现为“七多七少”,即闭卷考试多,开卷考试少;笔试多,口试或其他方式少;理论知识考查多,能力和素质考查少;记忆多,运用少;终结性考试多,过程性考试少;评价性、鉴定性考试多,诊断性、形成性考试少;集中性考试多,分散性考试少。这种单一的考试形式普适性、趋同性强,针对性差,不能准确反映教学质量,这种重结果轻过程、重知识轻能力的考试与高职培养目标是不相符的,也没有充分体现农业高职的特色,在客观上还会助长学生学习的惰性。推行理实一体化课程教学的一些高职院校出现“重能力和素质考核,轻理论知识考核”也是需要矫正和纠偏的。
(三)命题不科学,缺乏严密性。
一套高水准的试题,除应符合命题的基本要求外,从考试目的来看还应具有一定的难度,以便测出学生实现掌握所学知识和能力的程度与水平,同时应能测出每个学生个体学习情况的差异。但在实际调查中发现,部分高职院校教师命题随意,偏重客观题型多,试题的难度、区分度起伏大,信度和效度不高或高信度低效度,缺乏严密的科学性和针对性,不但学生不能适应,而且考试目标也无法达到。造成命题不科学的原因,主要有以下几点:①命题教师教学经验不足,农业实践能力不强,缺乏对教学目标、教学内容的全面深入的理解,导致考试目的不明确,在选择考试类型和考试形式、确定试题的覆盖面和难度分布,以及对考试分数的解释上出现偏差,有时还会造成人为隔裂考试与教学的必要联系。②命题教师的考试理论知识匮乏,也没有很好掌握高职教育规律和农业生产特点,特别是刚毕业的本科生、研究生考试观念陈旧,沿袭结构主义题型,以己好恶或认知水平作为考试内容取舍的依据,这也反映出在命题上缺乏有效的监管和指导。③受到连年扩招所带来的生源素质下降、生涯结构复杂、教师任课负担加重的影响,以及保证合理的及格率、考试成绩常态分布的需要,导致客观题型成为首选,虽然试题信度高,效度却低。
(四)监考外紧内松。
虽然许多高校加强教务管理,严肃考风考纪,某种程度上营造了公平、公正的考试氛围,但部分监考教师责任心不强或为了避免一旦抓到作弊学生后就要接受调查、进行鉴证的麻烦,监考不严格,客观上造成监考的外紧内松。此外,“大队人马”巡视等干扰因素造成考生过于紧张、疲劳等,就会导致考试信度的下降。
(五)阅卷质量不高。
由于扩招带来的在校生激增,生师比居高不下,有时一名教师一学期要承担多门课程或多个班级的课程,而且在规定期限内必须上交、录入考试成绩,教师疲于奔命,忙于应付,加之在师资短缺,很难实行教考分离的背景下,这种自己命题、自己阅卷、自我总结分析考试质量的一条龙式阅卷方式与管理,以及人情分、受到大面积不及格对命题责任追究的心理压力影响,等等,最终的阅卷质量就不言自明了。这种状况对考试质量影响非常大。
(六)考试质量分析不到位,对考试反馈重视不足。
教学质量是学校生存和发展的生命线,而考试是检验、评价教学质量的重要手段和方式,考试后进行考试质量分析和反思总结是提高教学质量的必要措施。考试质量分析主要是针对试卷进行分析,考试试卷含有丰富的教与学两个方面的信息量,答题过程所留下来的文字表达,是学生思想和思考的轨迹见证,是学生学习个性的集中表现,也是老师教学策略产生效果的真实反映。认真作好考试质量分析,是全面发挥考试功能、进行考试结果有效反馈的重要前提。通过几年的观察与调查发现,部分高校考试质量分析单制定不规范、不科学、指标不全面;个别教师随便一写,应付了事,特别是有些青年教师不会分析总结,连基本的“考试四度”概念都不清;终结性考试一般安排在学期末,即使写完考试质量分析报告,也只是上交就OK,新学期又换新班上课,考试结果反馈几乎为零。究其原因有以下几点:①有政策制度上的漏洞,教学监管不到位;②在师资培养上,存在重实践能力培养,轻考试能力培养的倾向,对教师(特别是青年教师)考试理论培训缺乏重视和投入;③职能部门对考试质量分析缺乏应有的重视;④教学管理干部青黄不接。
二、提高农业高职教育考试信度和效度的途径与方法
(一)加强教师的考试能力培养。
百年大计,教育为本;教育大计,教师为本。有好的老师,才能有好的教育。农业高职教育要确保高质量,同样离不开教师对高职教育教学进行持久的研究探索与实践。所有的改革、建设、实施、效果评价与质量监控,说到底都是为了实现教学目标,保证教学质量。因此,高职教师不但要有教学能力、教改能力,而且要有评价和监控能力,能教会改,能评善控,综合能力强,很难说那种只教不会考、只测不会评的老师执教能力强。从这个角度上说,农业高职教师必须提升考试能力,使考试真正发挥教学指挥棒的作用。提高教师的考试能力,可以从以下几方面着手:一是培养教师树立以“人”本身出发的“能力本位”现代高职考试观,具有教学与考试一体化的全局意识;二是积极开展与考试相关的理论培训,使教师(特别是非师范专业毕业的本科生、研究生)掌握常用的考试方法手段与考试质量分析评价指标;三是加强教学团队建设,鼓励以老带新,在团队中营造团结和谐、共同进步的工作氛围;四是建立制度,加强监管,使考试工作纳入常态管理,考试工作质量成为教师考核的重要指标之一。
(二)科学命题,多样化考试。
考试命题的科学化是考试制度改革的中心环节,对学生的学习有很强的导向作用。科学命题是实行高质量考试的前提。要做到科学命题,除了命题教师对高职教育理念和课程内容体系、职业岗位工作任务与能力要求有着比较清楚的了解之外,还要坚持以下原则。
1.试题内容与教学目标一致性。考试目的是测量教学目标达到的程度和促进教与学,所以试题内容应与课程教学目标相符,能有效测量目标要求的知识、能力和素质。坚持以应用能力考核为主,知识、能力、素质全面考核。
2.试题覆盖面与重点相结合。命题时编制命题双向细目表,试题内容对课程目标具有充分的覆盖面,且各部分内容的比例要适当。
3.试题独立性与试卷整体性相结合,突出针对性、实用性。试题内容具有代表性,在强调试卷整体性的同时,从全局角度把握试题的难度和区分度,注重试题的相对独立性和代表性,做到主观题与客观题相结合、重点教学内容重点考核。此外,命题要充分考虑农业生产特点、能力形成规律和职业岗位要求,做到题型立意多样,与教学内容、考试类型有效衔接和适应。
4.确保试题的效度、信度和适宜的难度与区分度。所谓信度就是指考试的可靠性,考试结果的可信程度。考试的信度对教师和学生都很重要,因为它涉及考试的公平合理。影响试题信度的因素主要是试题难度和题量大小。试题难度过难或过易,都会使分数分布范围缩小,从而降低考试的信度;题目数量越多,信度越高,因为题目数量增多,尤其是同质题目增多,在每道题目上的随机误差将会互相抵消。虽然考试受到内容和时间的限制,题数不能太多,但可尽量把大题化小,增加题数,以提高信度;题目用语不标准,也会给学生带来误导,导致信度下降。
效度是对既定目标实现的有效性和准确性的质量指标。它反映考试结果与教学目标相吻合的程度。实际工作中,对效度的检验可从内容效度、结构效度和预测效度三方面来检验。内容效度是指从需要测验的教学内容中抽取样本的适当程度,是考试题所考核的目标和内容在整个课程内的代表性,就是指所设计的测试题目能否真正代表课程目标要求;结构效度是指一份试卷考试内容的组成结构和学生所应掌握的知识、能力结构的符合程度;预测效度是表示考试成绩能够预测将来学习与课程相关后续课程的学习程度,预测的程度高,则考试效度便高,反之,预测效度就低。
难度是表示试题难易程度的指标。难度值用通过率表示。对选择题的难度值用答对的人数除以考试总人数来计算;对非选择题难度值用该题应考者的平均得分数除以该题规定的满分数来计算。难度值越大,表示试题越容易。一般认为试题的难度指数在0.3-0.7之间比较合适,整份试卷的平均难度指数最好掌握在0.5左右,高于0.7和低于0.3的试题不太合适。
区分度是反映试题对不同水平被测学生进行区分的特征,是区分学习者对试题回答程度的数量指标。区分度高的试题,学习好的学生得高分,学习差的学生得低分。中等难度的试题不仅对中等水平的考生区分度高,而且能区分出高、中、低三级水平。一份较好的试卷,特别是选拔性考试的试题,应使题目的难度分布广一些,梯度多一些,这样就可以全面区分出不同学业水平的考生。常用两端分组法计算试题的区分度,一般认为0.7―0.5为区分度较好。
在考试类型选择上,教师要清楚课程性质、特点和考试类型的特点与应用目的,按照有利、有效的原则,有针对性地选择应用,过程考试时注意与教学目的、教学方法、教学内容相适应。终结性、鉴定性考试一般用于期中、期末考试;形成性考试用于过程考试;诊断性考试用于期初或教学过程中;评价性考试主要用于素质测评。理论考试一般选择试卷笔答和口试、论文答辩形式;技能考试一般选择现场操作或与口试相结合的形式。无论哪种考试类型或形式,都要注意与命题相互适应。
(三)加强考务管理。
加强教育引导和制度建设,营造良好的考试文化氛围;不断完善考试管理体制,重点抓好命题、制卷、监考、阅卷、评价等工作环节的科学规范管理,理顺好教务、学生、教学系部等各部门之间的关系,严肃考风考纪,突出考试的公正性和规范性;共同开发课程题库,实行教考分离,杜绝命题以课堂、教师、教材为中心,鼓励教师联合命题,构建教学与考试相互促进、相互制约的互动机制,以利于调动师生两方面的积极性,保证命题质量和教学质量;合理安排考试的时间与次数,减轻学生负担,突出考试的针对性和目的性。
(四)保证阅卷质量,严把考试质量分析与信息反馈关。
通过采取制定阅卷规范、严格阅卷标准和阅卷纪律;统一阅卷、集体阅卷且流水作业,2人以上复核等措施,从而保证阅卷质量。阅卷结束后要求教师、相关部门全面、认真做好考试质量分析,撰写分析报告,作为考试结果信息反馈的依据。具体可从考试的教育测量学质量特性分析考试的效度、信度和试题的难度与鉴别度;从考试结果的教育统计学角度分析考试成绩的分布状态和对群体差异进行研究;从考试结果的教育学角度分类比较研究与个别化评价,特别对学习困难学生的试卷进行诊断,并作教学诊断分析。这是有利于今后因材施教和改革教学,提高教师教学能力,促进教师专业自主发展的有效措施。
考试质量分析结果要从教务部门、系、教师、学生不同层面进行反馈,奖优罚劣,加强监管,责令相关部门、任课教师依照分析报告有针对性地改进教学,并在新学期伊始面向学生专题反馈,使教育引导学生做到有的放矢。
参考文献:
[1]饶庆七.高校英语教学测试的走向与偏误[J].旅游学刊,2006,(1).
[2]余会莲.高中地理校内考试的主要问题及影响[EB/OL](2005-09-06)[2008-10-14].http://www.省略/gzdl/jszx/gkzl/gkzl/200509/t20050906_224087.htm
[3]朱焕芹.关于撰写教学质量分析有关知识的专题讲座[EB/OL].[2009-7-3].http://www.省略/uploadfile/htm/qikan/2/zxjy_02.htm
基金项目:辽宁省“十一五”教育科学规划课题(职63-1)
