构念效度【计算机化口语考试的构念效度问题研究】

　　摘要： 本文旨在通过定性分析来检验广东省高考英语(NMET)II计算机化口语考试的构念效度问题，即这一考试（COT）是否考到了它所要考的构念。Hedge(2001) 的语言交际能力模型作为本研究的理论框架。通过定性分析，包括对COT专家的问卷调查分析、试题内容的分析以及对考生考试表现的分析证明了COT考到了大部分的口语交际能力。定性分析表明COT有比较高的构念效度。
　　关键词： 构念效度 口语交际能力 计算机化口语考试(COT) 高考英语Ⅱ
　　
　　计算机化考试是最近十几年来发展起来的一种新型考试形式。2004年广东省率先使用人机对话的方式作为高考英语Ⅱ(NMETⅡ)的口语考试形式，考核学生的口语交际能力。这种考试形式由于提高了考试的标准化程度，从而提高了考试的信度。但评价一个考试最重要的一个特征并不是信度，而是效度问题，即这个考试是否考到了它想要考的东西(Henning 1987)。Woods(1993)曾指出提高效度有可能会影响到信度，而提高信度也可能会在某种程度上降低效度。因此本文旨在研究COT在提高信度的同时，是否也有很高的效度。
　　
　　1.理论背景
　　
　　交际语言教学(CLT)在我国已推广了20多年了。在外语教学界，学生的语言交际能力也已被公认为外语语言教学的目的(Richards& Rodgers 1986)。自1985年开始实行的全国高考英语考试(NMET)，考试小组的专家已明确表示力图通过该考试帮助中国英语教学从侧重语言形式转向对语言的运用(桂诗春等1985)。而广东省NMET中的口试部分也从最初的侧重语音语调的笔试语音和大声朗读，发展到1995年实施的角色扮演。后者是一种面对面的信息交流方式，这在很大程度上提高了测试的真实性，比最初的形式更为进步。但角色扮演也存在着诸多的缺限，如各地考场的考官英语水平的差异对考生的影响；不能一次性测试考生而需要多份平行试卷的影响，花费在考官培训、考试实施的时间和经费较多；以及考官所承受的必须立即评定考生成绩的压力。这些问题都呼吁着一种更标准、更有考试信度的口语考试的出现。
　　由于上述种种原因，广东省2004年在高考英语中率先实行了计算机化口语考试(COT)。在COT中，考生在同一时间进入考场，做同样的试题；只需要一个或两个的监考教师在考场中监督而不需要经过培训的考官。在阅卷方面，所有考生的测试成绩都被录入电脑，随后编入程序由受训过的大学英语教师集中在一个大型电脑中心评卷。试卷是随机发给每个阅卷人。如果评一份试卷的两个阅卷人评的分数差距超出正常标准，该试卷则由第三个阅卷人重评，直到达到标准范围之内。通过这些手段，考试的信度较之于角色扮演得到了提高，进而确保了考试的公平性。
　　评价一个考试最重要的两个标准是信度和效度。效度比信度更为重要，因为如果一个考试考的不是它宣称要考的东西，那么这个考试就没有任何意义可言。通过COT，口语考试的信度相应地提高了，但效度会受到影响吗?COT能不能考到它所要考的口语交际能力?这是COT设计者和考试使用者要问的问题，也正是本研究所要回答的问题。
　　在所有关于交际能力的文献中，对交际能力的定义发展从Hymes(1972)，Canale & Swain(1980)，到Bachman(1990)，直到Hedge(2001)从语言教学的角度总结了前人的观点。我们选择了以Hedge(2001)的语言交际能力为基本框架，操作化定义了口语交际能力，它包括语言能力、语用能力、语篇能力、策略能力和流利性。以下的研究都是在该口语交际能力的框架之下进行的。
　　因此在本文中，我们最主要的研究问题就是COT是否考到了口语交际能力?而且在多大程度上考到了这种能力？
　　根据Bachman(1990)，在考试构念效度的研究中，既需要有定性分析（专业的判断），又需要定量分析。在本文中，我们将从定性分析的角度进行分析（定量分析将在第二篇文章中进行详细阐述）。Fulcher(2003)提出了四种定性研究方法，包括专家判断、问卷调查和采访、语篇分析以及口头报告分析。
　　
　　2.研究方法
　　
　　本研究通过定性分析方式来探讨COT这种口语考试形式是否考到了口语交际能力。在分析中，我们采用了专家问卷调查和内容分析的方法。问卷调查即通过专家对于COT的考试题目是否能考到口语交际能力的每一项做出判断来看COT的效度问题，而内容分析则是对COT三大考题的分析以及考生的具体考试表现的分析。
　　本研究中的研究工具包括：专家意见调查问卷，2004年广东省高考英语II试题中的口语部分的试题和NMETII的评分标准。
　　专家意见调查问卷是以本文操作化定义的口语交际能力为框架，分为3部分。每一部分回答专家对于COT中每一个题目的意见。在每部分中有15题，即口语交际能力的15个子能力。问卷使用了1-5Likert量表。1表示专家认为该能力在本题中完全考不到，2表示基本考不到，3表示不确定，4表示基本考到，5表示完全能考到。
　　参加过COT阅卷工作的广东外语外贸大学英文学院经验丰富的英语教师及研究方向为二语习得和语言测试的研究生接受了问卷调查。有效问卷为20份。两位研究方向为语言测试的研究生在接受了阅卷培训后对30份系统随机抽出的COT试卷进行了重评。对于调查问卷，我们将每位专家的意见转换成相对应的数字输入SPSS10.0，并计算出平均数和标准差。
　　
　　3.研究结果与分析
　　
　　（1）专家意见问卷调查结果与分析
　　
　　（1-5分的Likert量表，图中问题1-15即问卷中的问题，A、B和C即COT的三部分，下同。）
　　
　　(为了得到更明显的卡方检验的统计数据，笔者特将1-5分的量表，变为1-3分的Likert量表，)
　　
　　从表1和表2中我们可以看到，专家认为PartA只考到了语音语调。这与文献中的说法是一致的。Underhill(1987)指出大声朗读这种题目一般是为了测试考生的语音语调。
　　在PartB中，所有专家的反应是在3分以上，即专家认为都在不确定到认为该能力被考到之间。在基本认为考到的能力中，虽然大部分是语言能力，但语用能力中的形式与功能的关系及正确使用语域，策略能力中的实现策略以及流利度也都被认为在考题中得到了体现。
　　在PartC中，专家认为大部分的能力在本题中都有所反映（大于等于4分）。语言能力被认为相较于B部分考到的更多。语用能力和语篇能力，策略能力和流利度也被认为考到了部分的能力，包括通过重音或声调来表达态度或情绪，正确地使用语域，开始或结束一段对话、利用连接结构，通过其他方式表达同一意思以使交流顺利进行以及利用合理的速度来进行反馈等。
　　在卡方检验中，只要测试结果P值低于0.05就可以认为其具有显著意义。在PartA中，只有第5题0.247大于0.05。而在PartB中，只有第6、7、12题没有显著的倾向。PartC中，只有第12、13、14题没有达到显著意义。这说明在所有的反馈中，专家只对少数问题的答案持不确定的态度。
　　（2）考试内容的分析和考生考试中实际表现的分析
　　从对COT三部分的试题分析以及学生考试表现的分析，我们发现PartA是大声朗读和模仿语音语调的综合体。语音和语调是评价该部分学生表现的主要标准。如考生010201321在8分的题目中得到了7分的高分。她能将每个单词都发得准确清楚，还会巧妙地利用语调，在句子的中间用升调，在句尾用降调，而且对电脑中说话者模仿地惟妙惟肖。而考生010205050，不仅发音不标准，Atlantis，thriving等单词发不准确，还经常有停顿，不能凸显各种语调，整个朗读阶段在语调上毫无跌宕起伏。她最后只得了3分的成绩。
　　在PartB中，考生先在中文提示的基础上提问三个英语问题，如学好英语的秘诀。在这一任务中，首先需要语言能力，只要考生知道疑问句的结构，如“Could you tell me……”或“I was wondering……”等结构，就比较容易提出问题。其次，在选择适合的语言形式以完成获取信息的功能时也会用到语用能力。而策略能力在考生无法想起最佳表达时可使用其他相对简单的表达形式以完成任务。最后，由于时间的限制，考生必须尽可能迅速地反馈信息，从而使得流利度也成为完成任务的一个重要标准。获得高分的考生在语言能力和语用能力方面表现突出。如考生010201005的答案是：“I’d like to know what is your secret to learning English well.”而有的考生虽无法用更切合语用原则的句式来提问，他们却利用策略能力使用更简单的句式，虽不能得到高分，但也能够达到沟通的效果，如考生010205044的答案为：“How to learn English well?”
　　在回答问题部分，考生首先要从提问问题阶段获取相关的信息，这就需要一定的听力理解能力。为了能够正确、适时地回答问题，语法知识和词汇、语音语调的正确选用以及流利度也是必须具备的。在本题中得分较高的也确实是那些听力以及语言能力较高的考生，如考生01020008对第一题：“What is the most important secret to learn a language well?”的答案是：“The most important thing is to surround yourself you want to learn.”而标准答案是：“The most important secret is to surround yourself in the language.”对于具备一定策略能力的考生，他们虽不能提供完全准确的答案，但还是可以通过其他的方式表达出比较接近的答案，如考生010201145在回答问题2：“How can it help us to watch a movie in that language?”时，回答道：“It would help us to be interested in learning vocabulary and expressions.”标准答案则是：“It would help us to keep motivated to learn vocabulary and phrase.”虽不是最佳答案，但意思已经表达出来。
　　因此，PartB 更能展示考生的各方面能力。为了能够完成信息交流的任务，考生应用了多种能力，如语言能力、策略能力、流利度、语用能力等。
　　而在PartC 口头作文里，考生则需运用更多的能力去跟上屏幕给出的情景，讲述爱因斯坦的故事。首先，为了将画面中的情境表达出来，语言能力是必需的，如必要的词汇、语法结构等。其次，语音语调等相关知识会使得作文更流利自然。除此之外，语篇能力的运用也在本题中有充分表现，如怎样开启一段话语和使用语篇连接标志等。而由于作文是要讲述一个科学家的人生，语用能力中的语域和话语正式程度也在本题中得到体现。同时，由于是看屏幕画面进行讲述，语言的流利度（适当的语流速度）也是在阅卷时需考虑的元素。
　　对考生表现的分析也证实了这一点。考生010201030不仅语言能力较强，还掌握了语篇标志、语域等语用能力，特别是策略能力，如当说到“owe to”，考生对这一短语的具体用法并不确定时，他很快就转变成另一种比较有把握的说法：“depend on”。
　　Einstein was the greatest scientist of the twentieth century.He made great contribution to the science work.Einstein was a hardworking man and he always work until night.In the daytime，he devoted himself to teaching.Many people liked to discuss problems with him.In a way，Einstein’s success was owed to.... depended on his wife’s support and care.Einstein’s wife was a kind woman.He cooked meal for his husband and helped him clean his desk. In addition，she always listens to his new ideas and shared his laughter and sorrow.We can say，without his wife’s support，Einstein may not make great contribution to the science.(From Test taker 010201030)
　　
　　四、讨论
　　
　　通过专家的意见调查和对试题及考生表现的分析，我们可以看出：在Part A中，考试主要通过这种单项试题考查了考生的语音语调，而Heaton（1991）也认为很多口语考试都会包括单独的一项大声朗读（或语音语调的模仿）以构成更加完整的口语考试。
　　在PartB中，考试主要考查了考生的语言能力、策略能力、流利度、语用能力等。章兼中（1986）指出提问问题是日常生活中口语交际能力的一个重要部分，而Underhill(1987)认为角色扮演可以测试出考生执行各种语言功能的能力。虽然考试中有中文提示，但考试不仅仅考查了考生的语言能力，还包括其他的能力。为了完成考题，考生必须意识到他所扮演的角色，提问的形式要得体恰当，这就涉及了语用能力中的语言形式和功能的关系以及语域的部分，而策略能力或流利度也会在考生追求准时和确定时得到应用。在许多口语考试中，听力和口语是不可分的。所以在回答问题阶段，听力理解能力就显得格外重要，这是因为在口语交际中，个人既是开启对话的说话者，也是回应对方的听话者（Harris 1969）。这种信息交换是交际中的主要特色，测试这一能力也变得极为重要。Luoma（2004）也提出回答问题主要包括信息的理解和利用相关信息进行回应。为了能够提供信息，考生也需要具备以上各种能力。
　　而在PartC中，除了主要的语言能力外，Hedge（2001）语言交际的其他各项能力在考题中也都有所涉及。叙述或描述的语言任务是以交际为导向的，需要考生以连贯的顺序讲述各个场景，因此除其他能力外，语篇能力也比较重要（Luoma 2004）。策略能力中的利用其他手段达到交际目的能力也显示在考生表现中，而避免策略却很难被观察到，因为如果考生没有说话的话，我们就不能确定这是因为使用了该策略还是根本就不知道这一策略（Fulcher 2003）。
　　
　　五、结语
　　
　　本文通过定性分析的方法探讨了广东省高考英语计算机化口语考试的构念效度问题。研究表明，这种新型的口语考试形式除了信度得到了提高，也在很大程度上测试了考生的口语交际能力，即该考试有较高的构念效度。
　　
　　参考文献：
　　［1］Bachman，L.F.Fundamental Considerations in Language Testing.Oxford：Oxford University Press.1990.
　　［2］Canale，M.，and Swain，M.Theoretical bases of communicative approaches to second language teaching and testing.Applied Linguistics，1，pp.1-47.1980.
　　［3］Fulcher，G.Testing Second Language Speaking. London：Pearson.2003.
　　［4］Gui，S.，Li，X.and Li， W.Report on the experiment of the standardized English test. Official document.University Enrolment Office of Guangdong Province.1985.
　　［5］Harris，D.P.Testing English as a second language.New York：McGraw-Hill.1969.
　　［6］Heaton，J.B.Writing English Language Tests.Fourth impression.London：Longman.1991.
　　［7］Hedge，T.Teaching and Learning in the language Classroom.Second impression. Oxford：Oxford University Press.2001.
　　［8］Henning，G.(1987).A Guide to Language Testing.Cambridge，Mass：Newbury House.
　　［9］Hymes，D.(1972).On communicative competence.InJ.B.Pride and J.Holmes(eds.)：Sociolinguistics.Harmondsworth：Penguin.
　　［10］Luoma，S.(2004).Assessing Speaking.Cambridge：Cambridge University Press.
　　［11］Richards，J.C.and Rodgers，T.S.(1986).Approaches and Methods in Language Teaching-A Description and Analysis.Cambridge：Cambridge University Press.
　　［12］Underhill，N.(1987).Testing Spoken Language.Cambridge University press.
　　［13］Woods，R.(1993).Assessment and Testing：A Survey of Research.Cambridge(USA)：Cambridge University Press.
　　［14］章兼中(1986).外语教育心理学.安徽教育出版社.

推荐访问:计算机化 口语考试 研究 构念效度