[计算机化口语考试的构念效度问题研究]构念效度
时间：2018-12-25 03:27:04 来源：雅意学习网 本文已影响 人 
摘要： 本文旨在通过定量分析来检验广东省高考英语（NMET）II计算机化口语考试的构念效度问题，即这一考试（COT）是否考到了它所要考的构念。通过定量分析，包括内部相关、外部相关的分析和因子分析等方法证明，COT考的是一个独立的构念，而且这一构念就是口语交际能力，因此我们得出COT有比较高的构念效度。
关键词： 构念效度 口语交际能力 计算机化口语考试（COT） 高考英语II
计算机化考试是最近十几年来发展起来的一种新型考试形式。2004年广东省率先使用人机对话的方式作为高考英语II（NMETII）的口语考试形式，考核学生的口语交际能力。这种考试形式由于提高了考试的标准化程度，从而提高了考试的信度。但评价一个考试最重要的一个特征并不是信度，而是效度问题，即这个考试是否考到了它想要考的东西（Henning1987）。Woods（1993）曾指出提高效度有可能会影响到信度，而提高信度也可能会在某种程度上降低效度。因此本文旨在研究COT在提高信度的同时是否也有很高的效度。
1.理论背景
关于文章的理论背景，请参考第一篇文章《计算机化口语考试的构念效度问题研究―定性分析》。
2.研究方法
在分析中，我们采用了相关分析和因子分析的方法对COT内部各题之间的关系，以及它与NMETII中的听力和阅读的关系的分析，并进一步证明COT的内部构念效度和外部构念效度。
两位专业为语言测试的学生在接受了阅卷培训后对30份系统随机抽出的COT试卷进行重评（包括口语、听力和阅读部分）。然后将结果输入SPSS10.0进行相关和因子分析。
在内部效度分析中，我们利用口语考试三大部分，共八个小题进行相关分析。而在外部构念效度中，桂诗春（2004）与Bachman（1990）都曾提出语言交际存在两个维度：交际方式和交际渠道。这关系到语言的四大技能：听力、口语、阅读和写作。其具体的关系如图所示：
3.研究结果与分析
3.1内部相关分析
在表1中，COT的三大题目被分为4部分，因为B部分包括看提示问问题与听录音回答问题。从表中我们清晰地看到除了A（大声朗读）与B（回答问题）的相关没有显著意义之外，其他相关大都在0.3-0.5之间，这说明听力（回答问题）与语音语调并没有太大的关系。考生可能擅长听力理解但其语音语调却练得不够好。而回答问题却与口头作文的相关达到了0.687，这表明听力与口头表达能力是相互关联的。在文献中，我们发现如果一个考试有效度，那么它的各个部分会相关但相关系数却不会太高，大约在0.3-0.5之间，因为这样才能使考试各个题目在考同一个构念时还可以保持其各自的独立性，不至于造成题目的冗余（Alderson，et al1995；Li & Li1997）。
在内部构念效度分析中，COT各部分与其他两部分的相关均高于与听力和阅读的相关。这表明COT的题目都有内部构念效度。而且，各部分与听力的相关也都高于与阅读的相关。这从另一方面证明了考生的口语能力与听力的相关高于口语与阅读的相关，即口语能力与听力的关系更密切。相关文献中也指出，考试中的每个题应与同一构念下的其他题的相关高于与其他构念的相关，这是因为考试中的题目旨在考同样的构念，它们之间的相关应高于与其他构念的关系（Henning1987）。
3.2外部相关分析
从表3中看出，口语与听力的相关0.688高于口语与阅读的相关0.658。而听力与阅读的相关0.675介于两者之间。这就证明了桂诗春（2004）的语言交际的理论框架，说明题目所考的应是口语这一构念。
3.3因子分析的结果与分析
在对COT8个题目的因子分析中，我们提取出了三个主因子。这虽然与COT本身的划分，语音语调、信息交流和口头表达并不是完全对应。但也大致区分开三个因子，我们分析为：理解和口语产出、语言能力和语音语调。这就从另一个角度证明了COT大体考到了它所想考的东西，即构念效度。因为在因子分析中，如果一个考试的各个题目在进行因子分析后能够提取出与考试本身的分类类似的因子，那我们就说这个考试有效度（Wiersma & Jurs 1990）。
四、结语
本文通过定量分析的方法探讨广东省高考英语II计算机化口语考试的构念效度。通过内部效度、外部效度相关分析和因子分析三种途径验证了COT所考的是一个独立的构念，而这一构念就是口语交际能力。所以说COT有比较高的构念效度。
参考文献：
［1］Alderson，J.C.Clapham，C.and Wall，D.Language Test Construction and Evaluation.Cambridge：Cambridge University Press，1995.
［2］Bachman，L.F.Fundamental Considerations in Language Testing.Oxford：Oxford University Press，1990.
［3］Henning，G.A Guide to Language Testing.Cambridge，Mass：Newbury House，1987.
［4］Wiersma，W.& Jurs，S.G.Educational Measurement and Testing.2nd ed.Boston：Allyn and Bacon，c，1990.
［5］桂诗春.“以写促学”――个人的经历和看法.以写促学：英语“写长法”的理念与操作.郑超主编.北京：科学出版社，2004.
［6］李朝旭，李竹琴.论心理学构念及其测量效度的估计.广州师院学报（社会科学版），1997年第4期.
