电子报阅读机
2026-04-30
星期四
当前报纸名称:钱江晚报

以自己的声音为素材
钱报记者做了一个AI歌手

日期:05-18
字号:
版面:a0006版:潮新闻·读城记       上一篇    下一篇

钱报记者用AI画的这个虚拟歌手唱了用AI克隆的歌

  最近,AI声音克隆火遍全网。从“翻唱”《发如雪》《挖呀挖》的AI孙燕姿,到复制出AI版的自己而一夜暴富的美国网红卡琳·玛乔丽,AI声音克隆技术像AI绘图、AI换脸一样,迅速席卷全球互联网。

  如果孙燕姿和美国网红的声音可以被AI复制、以假乱真,那么普通人是否也能让AI版的自己开口唱歌,媲美职业歌手呢?

  答案是能!以钱报记者的声音为素材进行测试,经过24小时AI训练,“她”惊人地唱出了一首日语歌曲,而记者本人根本不会日语。

  AI克隆自己翻唱名歌,堪比原唱

  网友:以后浪姐是不是都在AI之间PK?

  看到AI孙燕姿爆火,记者的好奇心也被勾起,普通人能不能也用AI克隆一个自己来唱歌呢?

  说干就干,记者和同事一起在网络上查询了许多教程以后,使用最流行的开源软件Sovits 4.0制作AI歌手,最终让“她”演唱出了一首日文版的歌曲,效果炸裂。这个AI版记者郑琳唱功了得,还模仿出了原唱美依礼芽的大颤音,日语发音也非常原汁原味,完全超越了记者本人的唱功和语言能力。

  视频在潮新闻平台发布以后,网友们纷纷表示“凌乱”了。

  “记者果然潮!”

  “出专辑吧,可以发行卖钱了。”

  “太炸裂了,我也想挑战我的偶像萧亚轩。”

  “以后浪姐的组队都是AI PK AI了吗?”

  那么,这个AI声音克隆到底是怎么做到的?

  首先,需要准备自己的声音素材,最好是有专业的话筒和录音环境。如果要训练AI唱歌的话,那么录制唱歌的声音会更好,当然讲话声音也是可以的。如果你是一个KTV麦霸,这就是大显身手的时候!

  记者平时就爱唱歌,准备了接近两小时的唱歌素材,并且分割成8-10秒的小片段。

  接下来还需要准备一台配有独立显卡的电脑用来AI训练。因为AI深度学习的时候会占用大量的计算资源,电脑的CPU是无法胜任的,而高性能显卡有很强的计算能力。素材量越大,训练时间会越长,记者的电脑整整训练了24小时。

  训练完成以后,只需要将原唱歌曲去掉伴奏以后导入,5分钟后,AI歌手就会用记者的声音替换原唱,就像AI换脸一样!当然,我们可以导入任何歌曲作为模仿对象,一键生成“翻唱”。

  顺便再用AI绘图工具Midjourney画一个虚拟的形象,就这样,唱功炸裂的AI歌手诞生了。

  AI歌手会不会替代真人?

  专家:警惕AI诈骗,要尽快完善法律

  AI声音克隆正在迅速流行开来,就在AI孙燕姿爆火的时候,B站也出现了AI姚贝娜,勾起无数粉丝对姚贝娜的怀念。网络上用自己的声音制作AI克隆玩翻唱的网友也越来越多,连专业音乐人也在尝试用AI歌手创作。

  在浙江音乐学院音乐工程系,师生们已经训练出了AI歌手。

  这股潮流引起了人们的担忧。在记者发布了这个视频以后,有网友回复:“科技的发展有些超越边界了,如果音乐由机器完成,那么音乐还有意义吗?”

  “AI可以唱歌,以后会不会替代真人歌手呀?”

  而对这种技术抱乐观态度的网友则表示:“AI已经不仅是一种技术,而是一种艺术了。”

  其实,网友担忧AI替代真人歌手的情况还不会发生。因为在记者的测试过程中,发现遇到复杂的歌曲它就会“翻车”:龚琳娜老师的《忐忑》就不行。不仅如此,AI的翻唱效果还是会受限于本人的演唱能力,虽然AI能比你自己唱得好得多,却无法超越原唱。

  浙江财经大学人工智能学院院长张文宇教授告诉记者:“AI声音克隆技术可以用于配音领域,为影视、游戏中的虚拟人物提供真实的声音;也可以用作语音助手服务,为手机助手、语音导航、对话机器人等提供个性化的声音。”

  然而,AI声音克隆技术也带来了一些法律风险。“比如AI生成的虚拟声音可能被用于欺诈活动。”张文宇说,“同时,这项技术可能会涉及到个人隐私和侵权问题,个人的声音可能会在未经授权的情况下被他人克隆使用。”

  “AI声音克隆技术让我们开始怀疑过去‘有图有真相、有声音有真相’的观念。”张文宇说。

  在过去,我们相信图片和声音可以作为可靠的证据。然而,随着AI技术的进步,现在我们发现,即使有了图片或声音,若缺乏其它证据链进行交叉验证,也很难确定其背后的真相。

  “因此,需要尽快建立相关法律法规和伦理准则,规范克隆声音的使用范围和方式,以确保AI声音克隆技术的合法合理合规使用。”