[网络教学平台的可用性测试研究] 新理念外语网络教学平台测试答案
时间：2019-01-14 03:32:20 来源：雅意学习网 本文已影响 人 
【摘要】可用性是关于软件可使用程度和质量的衡量标准之一,可用性测试是测量软件可用性的方法。该文介绍了可用性测试的相关概念,阐述可用性测试的流程,讨论教学平台可用性测试的特点和原则,并以实例说明可用性测试的方法和应用,希望通过该项研究和实验为网络教学平台的设计和开发提供支持和解决方案。
【关键字】可用性;测试;教学系统;评价
【中图分类号】G40-057 【文献标识码】A 【论文编号】1009―8097(2009)07―0106―05
引言
网络教育是一种利用网络教学平台,通过互联网组织教学的一种成人非面授高等教育形式。随着计算机技术和通信技术的发展,它逐渐变成一种主要的远程教育手段,目前全国有68所大学的网络教育学院提供网络教育服务,在学学生共计数百万人。网络教学平台在网络教育中起着重要的作用,它是网络教育的基础技术平台,其质量对教学效果和学生的学习兴趣有较大的影响。各网络教育办学机构对教学平台的建设也投入了大量的人力物力,如何提高远程教学平台的设计和开发质量,是我们急需研究的课题。笔者带领的课题组在北邮网络学院引入了软件测试中的可用性测试方法来提高远程教学平台软件的质量和易用性,以方便学员学习、提高学习动机和优化教学效果。下文我们将介绍可用性和可用性测试的相关概念,阐述可用性测试的流程,讨论教学平台可用性测试的特点和原则,并以实例说明网络教学平台可用性测试的方法、内容和结果。
一 可用性和可用性测试
可用性一词来源于英文 “Usability”,该词在中文中有可用性、使用性、易用度、易用性、好用性等多种翻译[1]。可用性是一个由来已久的话题,早在1991年,国际标准组织ISO制定的《软件工程产品质量文件》(ISO9126(1991):Software Engineering Product Quality)中就有关于可用性的文本。1998年出版的《可用性指南》(ISO9241-11(1998):Guidance on Usability)中更是作了精确的描述:“可用性是某个特定产品在特定使用环境下为特定用户完成特定用途时所具有的有效性、效率和用户主观满意度”。由上述定义我们可以认为:可用性是产品对最终用户的可用程度,是指产品使用的容易程度,符合人们的需要,运行他们工作或娱乐,通过它实现用户所期待的用途。可用性是软件质量的重要组成部分,因此从软件的设计阶段开始的各个环节都必须注重可用性。基于可用性的设计思想,强调以使用者为中心,让产品的设计能够符合使用者的习惯与需求[2]。以网站的设计为例,网站的可用性是让使用者在浏览的过程中不会产生压力或感到挫折,并能让使用者在使用网站功能时用最少的努力发挥最大的效能。
可用性测试是对产品的可用性进行评估的活动,是一个利用潜在用户来评估产品达到某些可用性标准的程度的过程[3]。在可用性测试中,我们可以从测试参与者的表现收集定量数据,或者通过用户访谈等手段获得定性分析的素材。通过可用性测试,我们可以预测用户满意度,了解产品的外观、行为和用户交互方式,发现产品在可用性方面存在问题并确定解决方法,或是对相关产品进行竞争性评估等。例如:(1)测试参与者能成功完成任务吗?如果不能,是什么原因?(2)在成功完成的任务中,每项任务能做的多快? 这项指标表明用户使用产品的效率。(3)在成功完成的任务中,每项任务要多少页(或者点击多少次)才能完成?这项指标表明初学者使用产品的需要尝试的次数。
二 可用性测试流程
一般来说可用性测试分为计划、分析、测试、总结四个阶段(见图1)。
计划阶段。包括设计可用性测试的流程,撰写测试项目计划,组织项目团队,召开项目开始会议,给项目组的人员安排任务等活动。除此以外,还需要为参与评估工作的人员介绍测试背景,提供关于目标、角色和评估过程的简要介绍。
分析阶段。包括分析现有产品,评价使用者,分析测试任务,分析典型用户,编写测试场景和测试任务,设定可度量的可用性目标等活动[4]。一般在测试中会设计有4-5个任务,任务的个数和难度要合理。如果起步的任务难度太高,会给被试带来挫折感,任务过多也会影响被试的情绪。在本阶段,还需要准备一些辅助材料,如设计评估前的用户调查表、评估后的用户问卷、免责声明、保密协议和同意录像的声明等。
测试阶段。包括招募被测试对象,设定测试进程,引导可用性测试等活动。首先根据测试的要求,招募被测试对象,安排测试时间和测试环境(场所、设备等)。一般来说,每个项目要选择5-7个典型用户,分析时对比测试的数据就能发现共性的问题[5]。然后,请用户填写调查表,以了解用户背景。第三步是向用户介绍测试的大概流程和注意事项,以及其应该了解的背景信息。第四步是让被试执行测试,使用设备纪录和观察被试的活动,并引导用户描述想法。第五步,测试结束后让被试填写调查问卷,进行测试后的访谈,了解更多信息。
总结阶段。分析测试数据,准备测试报告,应用测试结果的工作。首先是对测试获得的数据逐项进行数据分析,包括典型结果和定量数据,并对测试结果统计和解释。第二要对测量结果进行因果分析,并排除干扰因素。在分析中要关注测试对象的表现和变化。第三,针对测试中发现的问题提出解决方案,按优先级排列的问题列表。第四,了解用户的整体满意度和用户评论。最后,向委托方报告可用性测试的结果。此外,有时还要根据测试结果修订测试的方案,供下次测试使用。
三 教学平台可用性测试的要点和原则
网络教学平台是网络远程教育中教学得以发生的基础技术平台,它是教学内容的载体,是师生分离的情况下联系教师和学生的桥梁,也是对学习活动进行学习情况跟踪和教学管理的技术平台。网络教学平台的可用性关系到整个教学过程的实施、评价和管理各个环节。教学平台具有软件产品的一般特点,又有其特殊需求,因此教学平台的可用性测试要考虑下面的几点:
1对于多媒体内容的要求。教学平台有可能使用各种媒体承载教学内容。各种媒体对于软件平台的要求差异很大,例如能显示文本内容的系统就不一定能播放影片。因此在可用性测试的设计上要考虑设计多媒体内容的播放的任务。
2对于异质网络的要求。相对于企业内部网络环境的单一性,学习者用于上网的环境千差万别,有窄带的,也有宽带的,甚至还有无线上网的。在可用性指标设计上,教学平台必须考虑到适应各种异质网络环境的要求,能够在恶劣的网络环境下提供最基本的服务(至少能正常递送主要教学内容)。
3对于易用性的要求。学习者的信息技术素养参差不齐,例如有的学习者能够熟练操作电脑,但是有的学习者甚至几乎不会使用电脑。因此在测试任务设计上要着重考虑平台是否存在新手用户的进入门槛,保证平台的基本功能能不用专门学习或很快能学会。
考虑到教学平台的教育特性,及其与一般软件的差异,在对教学平台进行可用性测试时,应该遵守以下原则:
1 学习者优先原则[6]。可用性评估的权威不应该是专业技术人员,而应该是产品的终端用户,起决定作用是用户对产品的满意度。教学平台的用户主要是学习者、教师和教学管理人员,后两者是为学习者服务的,因此学习者优先教学平台可用性分析的第一原则。
2 代表性原则。系统应该适合绝大多数人使用,并让绝大多数人都感到满意。教学平台的用户在信息技术素养,客观环境以及使用偏好方面的差异很大,因此可用性测试的被试者应能在类型和数量上代表最广大的用户。
3真实性原则。可用性测试不能光靠问卷调查经过简单的统计分析就下结论,必须是在学习者的实际学习和操作环境下进行,在学习者完成操作以后,根据其完成任务的结果,进行客观的分析和评估[7]。
四 可用性测试案例
本文以知新网(http://www.省略)作为测试对象,分析可用性测试的流程方法和结果。知新网是基于开源学习管理系统Sakai开发的新一代网上课程管理系统,目前提供了课程大纲、课程空间、日程表、通知、资源、投递箱、论坛和个人消息、答疑室、词汇表、花名册、作业、成绩册、站点统计等多种教学工具。这些工具均可通过浏览器使用。利用知新网,教师可以创建课程网站,发布通知与共享课程资源;学生也可以在该平台上学习,提交作业,进行在线讨论。
1 测试工具
本测试项目使用的是TechSmith公司出品的专业可用性测试软件Morae,它能够通过录屏的方式和录像的方式记录用户行为和用户在网站或应用程序中的交互过程。该软件具有以下功能:(1)按照时间同步记录桌面操作、声音、摄像头和完整的事件信息等数据;(2)监控并标记关键时刻,跟踪任务的开始和结束时间点;(3)帮助可用性分析人员快速并自动分析数据,计算可用性指标,并绘制成直观的图表。
2 对该网站的测试对象、测试方法、流程
课题组选择了教育技术、管理学两个专业共八名一年级研究生作为测试对象。根据用户对于计算机操作技能,我们将被测者按熟练用户和新手用户分组。通过对新手用户的测试和访谈,了解到新手用户是否能很快入门使用该网站;通过熟练用户的测试和访谈,发现网站是否有不容易被发现的缺点。课题组使用Morae记录被测者对任务的完成情况给出评分和完成时间的统计信息,并根据任务内容和完成情况分析知新网的可用性水平。测试流程主要分为完成测试任务、问卷调查、用户访谈三步:
完成测试任务:我们根据网站的功能结构设计一个覆盖教学平台主要功能的任务流程交给被测者完成。在选择测试对象时确保被测者是第一次进行该项测试,防止产生“安慰剂效应”和“霍尔效应”[8]。测试员要监测被试完成任务的过程,在测试过程中不得向被试提供任何有助完成任务的帮助,以保证测试任务完成情况的真实有效。对于两类不同类型的用户我们设计了略有不同的两组任务(见表1)。
问卷调查:我们设计了包括客观选择和主观回答共16个题目,用于调查教学平台使用者的使用体验。在被测者完成测试任务之后,要求其填写调查问卷(见表2)。
表2 用户调查问卷(局部)
1您觉得网站的界面颜色是否舒适?( )
A.舒适 B.一般 C.不舒服 D.影响使用
2文字的大小和字体有没有影响您的使用?( )
A.完全没有影响 B.字体太小 C.颜色不舒服 D.一般
3根据提示可否迅速找到所需项目?( )
A.很快找到 B.需要仔细找到 C.不容易找到
4是否方便的知道当前所处网页位置?( )
A.有明显标题 B.需要仔细辨认标题 C.不容易知道
5各板块名称是否准确反映网页内容?( )
A.准确反映 B.隐约反映 C.很不准确
6本网站反应速度如何?( )下载速度如何呢?( )
A.快速 B.普普通通 C.慢
7帮助文档是否方便查询?( )
A.是 B.否
8有无收到不礼貌的错误提示?( )
A.是 B.否
访谈:根据被试在测试中的反应和完成任务情况进行访谈,了解问卷不能直观调查的可用性问题,获得一些主观的素材和改进的意见。例如,被试某个任务失败的真实原因或是在某些犹豫的地方是如何思考的。
3 测试的结果和分析
测试完成后,我们根据Morae记录的任务完成情况进行分析。主要参考数据为任务得分和任务完成时间,其中任务得分有三个等级:0(轻松完成),1(有困难的完成),2(不能完成)。根据对对新手用户的任务完成情况(见图2)和完成任务的时间(见图3)分析,可以看出任务3、任务4和任务6完成的情况很差。经过分析,我们发现:任务3中,帮助图标受到网站整体风格的限制,在颜色上和大小上都较为不明显,不容易被发现,给用户使用带来不方便。任务4中,在发送邮件这一任务上没有一个被测者完成,因为花名册中的邮件链接直接使用Windows默认的OE软件,而现在的用户很少使用这个软件发送邮件,很多系统中的OE软件没有预先配置,无法发送邮件。任务6中,所有被测均未完成删除自己留言的任务。在单独发帖时,帖子内容下有一系列的选项包括黏贴附件和修改删除。当用户发现已经发帖成功后无权限删除或修改。
通过对熟练用户进行分析(见图4),我们发现熟练用户的任务完成情况比新手用户要好很多。基本操作都十分熟练。但是,熟练用户也对任务4、任务5和任务6完成的情况不是很好,任务4和任务6失败原因和新手用户相同。任务5失败的原因是任务中上传的文件格式可以分为两大类:txt类型和office类型。对于txt文档,因为浏览器对于该类型的支持,当用户点击文件便可在新窗口中直接显示文档内容,但是网站并没有考虑到对中文字符的支持,直接打开文档后显示乱码。对于其他类型文件,直接点击通常会调用下载软件(如迅雷)下载文件。但这样下载得到的文件并不是目标文件,只能通过鼠标右键菜单“另存为”或使用“拷贝”选项进行下载,这样极不方便。
在可用性测试后,我们对被试进行了问卷调查。通过对调查问卷反馈结果的分析,我们获得的用户反馈有:
(1) 教学平台上有少量文字都没有汉化。某些常用操作选项使用英文,新手用户有使用困难,部分帮助文档是英文。
(2) 对于任务1来说,被试对界面颜色的反应不满意。
(3) 大多数被试觉得网站的字体太小。
(4) 所有被试都不能迅速找到所需项目。
(5) 大多数被试都认为帮助功能无用,并且当前任务的帮助信息不容易查找。
(6) 有些被测者对网站的下载速度也不满意。
(7) 论坛工具的界面设计不妥,容易误操作,出现了回复话题A却到话题B的情况。
(8) 讨论区自己添加的话题不能删除,而所有的被测者都觉得应该有这项功能。
根据熟练用户调查问卷的反馈结果,我们得到的用户反馈主要有:
(1) 有的被测者认为帮助不太方便查找,并且而也不愿意去查找;
(2) “投递箱”工具上传的文件直接打开会出现乱码,并且不能用迅雷等下载软件下载;
(3) 大多数被试觉得某些工具(如wiki,投票等)实用性不高。
4 测试结论
由于知新网基于Sakai平台,因此它继承了Sakai的基本特性,是一个设计先进、功能完善的教学平台,比较适合应用在网络教育中。通过前面的可用性测试,我们认为该平台基本能满足教学的需要。但是我们发现该网站还存在一些可用性上的问题,并针对每个问题提出了相应的建议(见表3)。
五 结论
可用性反映了产品的设计能够符合使用者的习惯与需求的程度,可用性测试是对产品的可用性进行评估的活动。教学平台系统的可用性测试,可以使我们获得一手数据和改进方案,有利于我们调整业务流程,改进教学平台设计,优化学习者的体验,将妨害学习的因素尽量减小。通过对知新网的测试,我们了解了该教学平台的优缺点,并以此次测试报告为依据,对教学平台作了很多的修改和优化,使得平台的可用性大大提高,达到了我们进行可用性测试的目的。
当然本次测试尚有很多不足的地方,例如由于条件的限制,被试对象的选择缺乏广度,存在代表性问题;在测试环境的设计上也没有充分考虑到异质网络环境。通过测试的结果反馈,我们修订了测试方案。可用性测试是一个持续的过程,通过不断的测试-改进-再测试获得高可用性的教学平台才是我们的最终目标。
参考文献
[1] Wikipedia. Usability [EB/OL].
[2] 刘静.网络可用性量化评估[J].通信世界, 2007,(44).
[3] 李瑞坤.基于可用性的课件设计[J].中国信息技术教育, 2008,(7).
[4] 林芳.数字图书馆门户可用性评估指标体系[J].图书情报工作, 2008,(04).
[5] 华迎.网站可用性测试设计[J].现代教育技术, 2008,(4).
[6] 方海光,张景中.教育软件可用性评测研究[J].电化教育研究, 2008,(2).
[7] 刘爱华.高校图书馆网站可用性评价研究[J].图书馆学研究, 2008,(2).
[8] Jakob Nielsen. Usability 101: Introduction to Usability [EB/OL].
