自动语音分析技术在俄语发音学习中的应用|
时间：2019-01-14 03:37:40 来源：雅意学习网 本文已影响 人 
【摘要】文章针对现在我国俄语教学中发音教学的不足,提出使用自动语音分析技术辅助俄语发音学习,设计了一个具有示范、评分反馈功能的俄语单词发音学习辅助系统。文章详细的描述了系统功能、基本框架,给出了系统实现中的关键技术。最后,使用VC 6.0实现了一个演示系统,并进行了简单测试。
【关键词】自动语音分析;俄语发音;MFCC;计算机辅助教学
【中图分类号】G420 【文献标识码】B 【论文编号】1009―8097(2010)07―0091―03
引言
随着国际交流的不断发展,人们已经越来越多地意识到外语学习和使用的重要性。非母语语言的教学已经成为当前教育教学领域的一个热点。俄语作为世界上最丰富的语言之一,由于历史及地理原因在我国受到的关注程度远远超越了除英语以外的其他语种。
语言作为一个交流工具,能够正确标准的发音是现代语言教学与学习的一个重要目标。在发音学习中,有效的反馈是必不可少的一个重要环节。在传统的课堂教学中教师是一个有效的反馈源,然而由于课堂时间和教师资源都是有限的,不能保证每个学生的发音都能得到有效的反馈。另外,语言的发音学习是需要反复训练的,这也是传统课堂教学方式所不能提供的。在发音习时,学生需要一个“教师”随时随地的对自己的发音进行有效的反馈和指导。
计算机辅助语言学习(CALL,Computer-Aided Language Learning)技术[1]的兴起和发展为语言发音教学提供了新的途径。CALL是指在一定的语言学和心理学的理论基础上,利用计算机和信息技术辅助外语学习。结合自动语音分析技术的CALL可以用来进行辅助发音学习,学习者可以随时随地的得到即时的有效反馈,根据反馈信息及时调整改进自己的发音,有效的弥补了传统课堂语言教学中发音反馈的不足。
俄语和汉语属于不同的语系,它们发音习惯有着很大的不同。目前我国对基于语音处理技术的发音学习的研究主要集中在英语教学[2][3]和对外汉语教学[4][5]中,对于俄语发音的研究尚未见于文献。本文采用自动语音分析技术,设计了一个具有示范、评分功能的俄语单词发音学习系统。
一 系统介绍
1 基本功能
本文设计的基于自动语音分析技术的俄语单词发音辅助学习系统包括了示范和评分反馈两个主要功能:
(1)示范。系统显示当前单词、音标、中文意思及标准发音,学习者可以反复的收听系统中存储单词的标准发音;
(2)评分反馈。学习者可以跟读,将自己的发音和系统的中标准发音比较,系统自动给出评分反馈,并给出标准发音和学习者发音的波谱图对比。
2 系统框架
根据系统的基本功能,系统的基本框架设计如图1所示:
系统预先在数据库中存储单词的标准发音,并提取其特征,本文使用MFCC(Mel频率倒谱系数)作为语音特征。系统获取学习者语音后,首先将其和数据库中标准语音在时间上对齐,然后提取特征并计算和数据库中标准发音的相似度,最后将相似度映射为学习者较易理解和接受的等级评分。
3 与其他系统的不同
本文设计的系统和其他文献中提到的基于语音分析技术的发音学习系统[2][3][4][7]的不同主要体现在以下几个方面:
(1)本系统使用的技术不是语音识别技术,并不识别学习者发音的含义,而是采用语音分析技术,分析判断学习者发音和系统存储的标准语音的相似度给出评分反馈;
(2)本系统的设计旨在指导学习者学习俄语单词的发音,是属于语音分析技术中的孤立词分析,孤立词分析技术相对于整句的分析的技术较为成熟,这增加了系统的可行性;
(3)本系统数据库使用标准语音数据库,并没有进行语料库的训练,直接根据相似度评价打分,降低了系统的复杂性,这是因为本系统仅仅面向于俄语单词发音的辅助学习。
二 系统关键技术
1 端点检测
端点检测是指在有背景音的情况下,找出实际语音的开始点和结束点,是语音分析领域的一个基本问题。在孤立词的分析识别中,尤为重要,正确的端点检测不仅是正确语音分析的必要前提,同时也能提高系统的运行速度。
本系统旨在指导学习者学习俄语单词发音,因此属于孤立词语音分析。这种情况下,单词的起始和结束位置较为明显,因此本文使用较为简单的音量法和过零率检测方法进行端点的检测。音量检测为主,过零率检测为辅,过零率的引入能有效的消除对气音的误判。
2 特征选取
特征的选择和提取是语音分析系统的一个重要部分,特征选取的合适与否将直接影响到整个系统的性能。在语音分析辅助俄语发音系统中,语音特征的选取还体现着评分的意图和侧重,这是因为所选取的特征将被用来比较作为评分依据。
在语音分析领域,常用的特征主要有短时帧平均能量、幅度、短时帧过零率,LPCC(线性预测倒谱系数)和MFCC(Mel到谱系数)等。其中MFCC考虑了人耳的听觉特性,具有良好的识别特性和抗噪特性,能较好的体现语音的内容,因而本文选择其作为语音特征。MFCC参数的提取流程过程如图2所示:
3 MFCC计算流程
首先对系统捕获的原始语音信号S(n)进行预加重、分帧、加窗等预处理,得到每个语音帧的时域信号X(n)。然后对X(n)实施DFT(离散傅里叶变换)得到线性频谱X(k)。接着计算X(k)的能量谱,使用一组Mel尺度的三角形滤波器在频域对能量谱进行带通滤波。求取每个滤波器组输出的对数能量S(m),对S(m)进行DCT(离散余弦变换)最终得到MFCC参数。
4 评分算法(相似度度量)
发音水平的衡量评分方法是俄语发音学习系统中使用到的另一项关键技术,不合理的评分算法会对发音给出错误的评分,对学习者造成误导。发音水平的计算机评分结果要可靠,要求尽可能的和现实专家(老师)对发音的评分保持一致。
现有评估发音质量的主要方法有:段分类评分、段时长评分等、HMM对数似然度评分和对数后验概率评分。它们的原理都是以标准发音为模板,通过计算学习者发音和这些模板之间相似度进行的。本文中系统是对单词发音的孤立词语音分析,因此段分类评分和段时长评分不适用本系统。以往的研究结果[3][8]表明,对数后验概率评分具有最好的健壮性,因此本文选取其作为俄语发音学习系统的评分算法。
下面对后验概率评分算法进行简单的介绍【9】。
对于音素 ,给出与其相关的第i段语音的每一帧 ,计算 基于帧的后验概率得:
其中, 为给定音素q下观测到的 的概率分布,在分母上, 为音素q的先验概率,M为当前语料中与文本无关的音素总数。
音素 在第i段语音每一帧下的后验概率取对数,然后逐帧累加,就可以得到音素 在第i段语音下的对数后验概率得分:
其中 表示音素 所对应的第i段语音的起始时间。整个单词的后验概率打分,定义为单词或句子中所有音素段的对数后验概率按音素长度归一化后的平均值,为:
其中,N为单词的总音素数, 为第i个音素持续的帧数。
对数后验概率评分具有很好健壮性,受学习者个体说话特征或声音通道的变化影响较小,它能更好的反映学习者的发音与标准发音之间相似度,因此,它是目前使用最普遍的一种发音测度方法。
使用对数后验概率评分得到的分数不够直观,不便于学习者理解和接受,因此需要将该得分映射为一个概略的得分。系统将对数后验概率得分映射到A、B、C、D、E五个等级。为了鼓励学习者学习,评分最高的(和标准语音相似度)的35%都映射为等级A(非常标准),同时为了督促学习者更好的掌握标准语音,评分最低后35%都被映射为等级E(非常不标准,建议学习重读)。当用户发音得分等级为D或E时,提示用户发音不合格,建议跟随标准发音重新学习。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文
三 系统实现
我们使用VC6.0实现了一个简单的基于语音分析的俄语单词发音学习演示系统,实现了文中提出的基本功能,系统界面截图为图3所示。
系统界面主要分为两个部分,左边部分为单词区,显示的是系统内有标准发音的单词列表(本演示系统使用的标准发音取自高等教育出版社出版的《大学俄语简明教程》随书携带的MP3)。单击左边窗口的单词,系统将会读出标准发音。
系统界面的右边半部分为信息显示区。当学习者选择开启跟读学习模式时,在标准发音结束3秒钟内,学习者跟读,系统比较学习者发音和标准发音给出评分。系统同时给出了标准发音和学习者发音的波谱图对比,直观的显示了学习者发音和标准发音的不同。
我们在小规模小范围的情况下对本演示系统进行了测试,测试结果显示本系统对俄语单词学习具有一定的指导意义,并能够帮助学习者提高俄语单词发音的准确性。
目前实现的仅仅是一个小规模的演示系统,要将系统应用于实际教学中,需要对系统注册单词的规模及对学习者友好交互性设计等方面加以改进。
四 结束语
随着计算机和语音处理技术的不断发展,利用自动语音分析技术对学习者在学习非母语时进行发音指导成为计算机辅助教学一个热点问题。它能够有效的解决外语学习课堂上教师和时间资源的有限性,作为反馈源随时随地对学习者发音进行指导。
本文利用自动语音分析技术对俄语单词发音学习进行指导,设计并实现了一个小规模演示系统。本文工作是语音分析技术和俄语教学的一个有效契合点,对语音技术和俄语教学的进一步结合发展具有较强的参考意义。
参考文献
[1] Mark Warschauera and Deborah Healya. Computers and language learning: an overview[J].Language Teaching,2009,(12):57-71.
[2] 黄骁勇.语音识别技术在英语发音学习中的应用研究[D].南京:东南大学,2007.
[3] 赵博.语音识别应用于计算机辅助语言学习的研究[D].上海:上海交通大学,2009.
[4] 施伟,谢湘.一种基于语音识别的汉语发音评价系统[A].中国计算技术与语言问题研究――第七届中文信息处理国际会议论文集[C].北京:电子工业出版社,2007: 621-625.
[5] 吕军,曹效英.基于语音识别的汉语发音自动评分系统的设计与实现[J].计算机工程与技术,2007,28(5):1232-1235.
[6] 李璐.语音识别的拼音学习中发音识别和评分模块的系统设计[J].黑龙江科技信息,2010,(1):5-5.
[7] France,H.,Neumeyer,L.,Kim,Y.,Ronen,0.,1997.automatic pronunciation scoring for language instruction[A].
Proceedings of ICASSP’97[C].Munich,Germany,April 1997.
[8] 高国栋.语音接口在汉语学习寓教于乐系统中的应用[D].北京:北京交通大学,2009.
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文
