厦大版闽南方言人工智能语音系统 会听会说还会写

它牛在哪里？

听得懂不同口音的“猪”

闽南话的AI翻译，难度不小。闽南话存在非常多的多音字，复杂的文白现象，有音无字的问题等，洪青阳说，这对训练模型中语音数据与其对应音素的正确映射，带去较大的麻烦。

举个例子大家或许就会明白，厦门人经常说，“猪”牵出厦门岛就不叫“猪”了，意思是说，单是“猪”，岛内和岛外发音就不一样，更不用说厦漳泉地区了。厦大版的闽南话翻译系统解决了这类难题，从目前看，有三大亮点。

有地基

重新建立闽南话发音词典

洪青阳介绍，翻译的最大难题是要如何把闽南话发音拆分为声母和韵母，它不同于普通话的声母韵母，尽管之前也有一些闽南话的标音方法，但是，厦大团队发现，这种自创的闽南话发音难以和AI有机结合起来，因此厦大研究人员自己建立一套兼容各地不同口音闽南话发音的体系，等于是为各种口音的闽南话建立一个基本的“地基”，当然，它不同于普通话发音，它是有九个声调的。

有资料库

囊括厦漳泉多地的语音资料

建立语音资料库，用大白话说，这个语音资料库要有足够多人的语音，口音要不同，还要有男女老少语音，这样，AI才会通过语音资料库去识别不同地区不同口音的闽南话。

这是基于许彬彬近十年来的研究成果。许彬彬带领团队借鉴整理了大量语音资料——囊括省内厦漳泉多地的闽南方言、文本，甚至收集境外多处讲闽南话的地点的语音材料。

此外，每到寒暑假，许彬彬团队还会去各地进行田野调查。许彬彬早前接受本报采访时曾介绍:“省内的德化、漳浦、南靖、东山等，以及菲律宾北部城市、美国东部地区，每一个地点至少要停留5天，尽可能全面地收集该地区语音资料。”

有模型

设计声学模型和语言模型

洪青阳团队设计了闽南话的声学模型和语言模型，其中声学模型与发音词典关联，尽可能学习到各地的口音，以不断提升系统的鲁棒性（控制系统的稳定性），语言模型则采用具有丰富语料的普通话文本训练，对用户上下文内容进行有效约束。

洪青阳说，这里的难点是闽南话拼音和普通话词汇的对应，团队因此又设计了识别词典，并整合到解码系统里，最终能直接用普通话文字显示识别内容。对于语音合成，洪青阳团队采用端到端建模框架，并做了前端的大量优化，使闽南话合成更加自然，更加逼真，也更快捷。

除了许彬彬所提供的语音资料外，他们还邀请了众多志愿者参与识别测试，让系统“学习”不同口音的闽南话。待系统基本“学会”不同口音的闽南话后，洪青阳又给系统加大了难度——文读（读书认字时教的语音）和白读（日常生活中广泛使用的语音）都要会。

闽南话中存在大量多音字，有着复杂的文读白读现象，以“大学”这一词为例，就有文读和白读两种读法。研究人员对闽南话语音识别采取了特定规则的发音词典标注，并用革新后的算法建立了闽南话语音识别模型。

为什么选它？

全球约七千万人说闽南话

在美国Meta公司公布闽南话翻译系统后，很多人很吃惊:为什么是闽南话？

原因也很简单，目前，全世界大约有7000万人在说闽南话，分布在福建的厦、漳、泉地区，台湾地区，广东潮汕，雷州半岛，海南岛部分地区以及浙江温州部分乡镇等，此外还有广阔的东南亚。与此同时，闽南话被称为“中国最难学方言之一”。

2013年，洪青阳和许彬彬团队开始闽南话翻译系统研究，洪青阳说，这源于团队中不少人都是闽南人，有闽南情怀。而且，闽南话是我国重要方言之一。与此同时，许彬彬深耕闽南方言等汉语方言研究多年。

当然，Meta公司认为，之所以选择闽南话，还有一个原因:为了解决缺乏文字语种的语言翻译难题。但是，洪青阳说，其实闽南话是有用于书面记载的文字和发音词典。

• 上一页
• 1
• 2
• 全文阅读