《赛博朋克2077》是如何将人物表情和口型本地化的?

“除了嘴型之外,他们的额头、眼睛、脖子的动作和面部表情也都非常自然。”

作者等等2020年12月15日 16时33分

在开发《赛博朋克2077》期间,“巫师”系列开发商CD Projekt Red与许多名人进行了合作。例如,让著名影星基努·里维斯扮演角色强尼银手,而瑞典朋克乐队Refused和加拿大流行歌手Grimes则参与了游戏里的音乐表演。

但你很可能从未听说过Jali Research的名字。这是一家来自加拿大的面部动画公司,在《赛博朋克2077》的本地化过程中为CDPR提供了协助。

Jali成立于多伦多大学内部,由博士生波夫·爱德华兹(Pif Edwards)、曾获得奥斯卡奖的动画师兼总监克里斯·兰德雷斯(Chris Landreth),以及尤金·富梅(Eugene Fiume)和卡兰·辛格(Karan Singh)两位教授联合创办。

Jali Research的部分成员

一些基本方法

起初爱德华兹的主要研究方向是面部动画,不过后来转移到了语言表达上,因为他认为当人们在表达想法时,几乎总是在说话。他对当时用来处理语音和动画的那些工具感到不满,决定自己构建新工具。

2016年,Jali向计算机图形学会议SIGGRAPH提交了一篇将程序性讲话作为主题的论文,CDPR在读过那篇文章后与他们取得联系。

在2015年发售的《巫师3》中,CDPR使用算法来处理8种不同语言角色配音的面部动画,并在一定程度上取得了成功。不过,《赛博朋克2077》还有更远大的目标,希望对10种语言的角色配音进行口型同步,包括英语、德语、西班牙语、法语、意大利语、波兰语、巴西葡萄牙语、俄语、中文普通话和日语。

CDPR将机器学习和基于规则的人工智能进行了结合使用。其中,机器学习被用于“校准”阶段,目标是让机器弄清楚当某个人说话时,究竟会发出哪些声音。

“假设我们有一份音频文件,里边有人正在说‘Hello’。”Jali联合创始人兼首席技术官爱德华兹解释道,“H音是从哪里开始,在哪里结束的?e、l和o的声音又在哪里?我们会标记特定语言的信息,然后训练一个机器学习过程,让它使用数据来识别声音。”

“之后你可以扔给它一句此前从未见过的新对话,而它将会预测声音之间的界线,以及每个音素的持续时间。”

我们可能从未注意到表情和口型的本地化,但这也许就是成功?

Jali接下来会进入工作的第二阶段,即动画制作。他使用老式基于规则的AI,以确定哪些面部动作与角色正在发出的声音相对应。这套系统会对特定的输入做出响应,执行操作。

“借助这种基于规则的方法,我们可以根据角色发音来判断应该采用哪种嘴型。”爱德华兹说,“例如,你在说‘dude’和‘you’时嘴型看上去很像,但它们是两个完全不同的词……当你念出某些特定字母或声音时,嘴型未必一成不变。你不能说这是个en音,所以我发音时嘴型就像这样。你得考虑很多变量,包括字母前后有哪些其他音节等。”

“我们对语音做过大量研究,积累了各方面的很多不同知识,并制定了一系列规则。无论你正在发出什么声音,无论不同语言在发音上有哪些区别,我们都知道需要配备怎样的面部表情。”爱德华兹说。

这种技术结合的美妙之处在于,在机器学习过程的支持下,同一套基于规则的AI可以被运用于多种不同方言。“我们必须针对每种语言专门训练机器学习过程,但动画的组成部分是相同的。我们没有针对日语的特定动画模型,只有语言模型。”

在游戏里,玩家最直观的感受还是配音

“令我惊讶的是,语言学的一般规则适用于所有语言,但这很难……人们之所以不愿意进行这类基于规则的工作,是因为你不得不了解这些规则,需要耗费很长时间。”

Jali帮助开发团队节省了大量时间。平均而言,一位动画师需要花大约7小时才能做完单个角色在游戏里说1分钟话的动画,而《赛博朋克2077》不但是一款含有巨量对话的大型RPG,还得支持10种不同语言配音的口型同步,显然需要CDPR付出巨大的人力和时间成本。

除了口型,还能做什么

从某种意义上讲,借助这种本地化技术,《赛博朋克2077》还将世界各地的更多语言视为“一等语言”。很多时候,游戏发行商只会在作品中针对英语同步角色口型,在为其他语言做本地化时会进行额外的配音,效果却往往不尽人意。

“举个例子,假设你想将一句对话从英语翻译成法语。”爱德华兹解释说,“翻译后的版本可能比原句长得多。许多游戏的做法仅仅是加长动画,但看上去可能非常蠢。工作室不得不这么做,因为他们不能重做口型同步了。”

“面部动画也很重要,Jali的技术让所有元素显得协调。当你玩这款游戏时,会发现说普通话的角色确实就像在说普通话。”

在这个技术下,当切换一种语言后,除了嘴型之外,他们的动作和其他面部表情也能做到跟这种语言比较搭配

有趣的是,CDPR在创办初期就是以面向波兰本土市场引进海外游戏起家的。在过去,大多数波兰人愿意玩盗版游戏,部分原因在于海外发行商不想花工夫将游戏翻译成波兰语。随着CDPR将更多精力放在翻译和本地化上,越来越多的波兰玩家愿意花钱购买正版游戏。

这种理念似乎一直延续至今。今年夏天,CDPR中国公关和市场总监Darren Ding曾在社交媒体上透露,中国是《赛博朋克2077》预购玩家数量最多的国家。这既是因为中国人口众多,也与《赛博朋克2077》在中文本地化方面的出色表现不无关系。

“我和一位俄罗斯同事聊过我们正在做些什么。”爱德华兹说,“他是《巫师3》的忠实粉丝,但只玩过英语版本,因为那是《巫师3》最受关注的版本。当那位俄罗斯同事玩到《赛博朋克2077》时,他特别兴奋,因为他将获得与那些说英语的人完全一样的体验。”

“这是让玩家进一步沉浸于游戏的方式,能够帮助他们不再出戏,真正深入体验故事。”

 

本文编译自:gamesindustry.biz

原文标题:《Why CD Projekt used AI to localise Cyberpunk 2077》

原作者:Alex Calvin

* 本文系作者投稿,不代表触乐网站观点。

2

作者 等等

xiaomeigui1@chuapp.com

每个人都能当上15分钟的名人,吃货辣妈说。

查看更多等等的文章
登录注册后写下你的评论

绑定手机号

根据相关规定,无法对未认证真实身份信息的用户提供跟帖评论服务,请尽快绑定手机号完成认证。

按热门按时间

共有2条评论

关闭窗口