“AI作曲家”能代替人kaiyun类作曲家吗？
2020年04月正值疫情期间，应上海纽约大学张蒙老师之邀，张老师，邹卓阳同学和我进行了一次远程视频对话并录制公开播出，内容涉及人工智能音乐创作的理念，技术和发展前景。现将当时的英文访谈翻译成中文（节选）发出，希望能给大家一些感兴趣、有价值的信息。
张：赵老师您好，很高兴今天我们就人工智能音乐（Artificial Intelligence Music）进行一次对话。在我的人工智能项目系列研究中，我们将“智能城市”切割到不同层面，从城市智能出行、城市智能医疗、城市智能规划与适应能力等多个角度探讨了对于当今以及未来城市的构想；当然，我们也不能忽略人工智能音乐对于未来社会发展的影响和对人类生活的重要性。尼采曾说过：“Without music, life would be a mistake.（没有音乐，人类生活可能会错乱不堪。）
邹：在音乐创作方面，您如何定义“智能（Intelligence）”的概念？
赵：在音乐创作领域，“智能”意味着机器可以和人类一样，也就是模仿或代替人的思维方式、创造才能和审美来创作音乐。
赵：一般而言，人工智能（AI）分为三个层面：最基本的为计算智能，也叫弱人工智能，例如电子计算器、谷歌翻译等，这些在市场上已经做的相对成熟了；第二层是感知智能，比如人脸、语音和音乐识别等，这些也发展的很成熟了；最高的层面是感知和创作智能，也就是可以模仿人类的意识、思维认知和创造能力的强人工智能，包括AI音乐创作、AI老师教学等等。
遗憾的是，目前世界上99%的企业都在做计算和感知类人工智能，这也是大多数人认为目前各类人工智能产品“人工而非智能”的原因。在国家提出发展人工智能的背景下，许多企业都给自己加上了“人工智能”的称号，这或许是为了更好地利用国家政策和争取风险投资吧。
赵：就目前而言，人工智能创作的音乐无论是从技术成熟度、还是情感深度表达上是没法和成熟的人类作曲家相比的。
要想达到理想中“人工智能”的创作效果不容易，这涉及到音乐和科技的完美结合。（图片来源：谷歌搜索）
赵：虽然一个是机器，一个是人，但我们要的结果是相同的，那么创作过程肯定有一定的共性。比如人工智能音乐创作需要和人类学习作曲一样，学习并储存大量数据，比如各种作曲技巧，包括和声 (Harmony)、配器 (Orchestration)、复调 (Counterpoint) 和曲式结构 (Music Form)，还有历史上几乎所有作曲家的写作手法和风格喜好等。然后再根据客户的需求，结合大数据，然后利用创作规律和算法生成新的作品。如果我们理想中的人工智能作曲家出现了，我相信这个创作过程应该比人类快很多。
赵：科技方面我不敢谈。就说音乐方面，和刚才我说的一样，你得把历史上出现的所有的音乐理论、创作技法和各类风格的名曲的代表性片段都输入到系统中，你想想这是个多大的工程啊？而且我们还得往坏处想，假设由于失误或不专业，你输入的音乐数据素材本身就不对或不完整而导致创作的作品不符合规则，这个问题就严重了。
我听过一些AI创作的作品，从专业的角度和人类优秀的作曲家相比不够成熟，甚至还有很多“硬伤”，包括一些知名公司的产品。所以要达到一定水准，必须要让最专业的音乐家和AI科学家们合作，把两个领域做到无缝对接，再经过长时间打磨才可以创造出期待的产品。
简而言之，对于大家理想中的人工智能音乐，最大的挑战是专业的技术和充足的资金支持，还有付出长期研发的时间，这个时间甚至得以五年、十年为单位。
有朝一日AI作曲家能依靠它的“最强大脑”，创作出超越人类伟大作曲家的作品吗？（图片来源：谷歌搜索）
赵：一个是人的行为，一个是仿人类行为。虽然方式不同，而且不同级别的AI和不同水平的作曲家差异也很大，但是我们对于结果的标准要求都是一致的。不管哪种方式，受众群体只关心创作出的音乐是否完美。
人工智能的优点是高效、低成本。但从文化交流的角度，迄今为止还是人类创作的音乐更有艺术价值，也更能引起大家的共鸣、在社会中扮演的角色更为重要。
赵：有人曾经问过我，AI能写出比人类更好的音乐吗？我的回答是，如果忽视现实，只从理想主义的角度出发，成熟的人工智能创作系统应该把音乐质量做到等同或超过人类专业音乐家的水平，可以淘汰一批不是非常专业的音乐家，尤其是在非独立的商业化音乐领域。
但即使能做到这样，AI对于音乐创作中风格的把握，艺术性的创造和认知能力等也是非常难以实现的，尤其是纯音乐作品领域，比如交响乐、室内乐等。所以机器人不可能在创作上完全替代人类，尤其是那些有着很大成就的专业音乐家。但在商业类音乐领域，比如广告音乐、背景音乐甚至影视音乐，人工智能创作在发展成熟的条件下是可以和人类竞争的，但这也得需要很长一段时间的发展。
当然我之前提到过的音乐识别类人工智能，比如以声音搜索歌曲那种，现在就可以做的很成熟，也很受欢迎。
高额的电影音乐创作费用，会不会给“人工智能作曲家”一个机会？（图片来源：谷歌搜索）
赵：很多的，比如现在国内很多需要原创或编配音乐的场合，比如合唱团、中小学、广告公司、个人自媒体，或规模比较大的影视和游戏公司等等。传统的模式而言，这些机构，尤其是后者一般要付出高额的委约费用来聘请作曲家来配乐，如果有了成熟的AI作曲系统，可能会为它们节省很大的成本。
张：还有一个问题，您认为AI音乐在亚洲(或中国)市场会与其在欧美市场有什么差别吗？
赵：中国现在有比欧美更丰富的群众艺术生活，你就看近年来各种层出不穷的娱乐App，艺术团体甚至电影电视剧的产量已超过欧美，我相信AI音乐创作在国内会有更大的市场。
赵：我觉得不管是在西方还是中国，做这件事之前一定要首先考虑和适应本土的需求和审美。
赵：据我所知，其实人工智能音乐创作不是近几年的新事物，30年前国外就开始研究了，之后一些老牌公司和某些初创公司已经创作出商业上比较成功的音乐。
对于专业音乐工作者，对照总谱听音乐就是在欣赏“可视化”音乐。（总谱：莫扎特第40交响乐）
赵：从某种角度上来讲，可视化音乐从音乐诞生起就出现了。几百年前没有录音的时候，所有的表演不都是“可视化”的吗？还有从专业音乐工作者的角度，每一次对照乐谱聆听作品时，音乐都会以不同织体形态的方式呈现在了乐谱上，这也是你说的“音响可视化”的一种体验。这个乐谱和音乐的关系，有空你可以体会体会。
所以说对于新科技加持的可视化音乐，我们还是要关注音乐本身的质量和艺术性。
邹：那除了AI音乐创作，您注意到哪些和人工智能音乐表演虚拟音乐会或是其他和人工智能有关系的新技术？
赵：除了音乐创作，智能技术也被应用到音乐领域的各个方面。例如，在疫情期间，世界上所有的音乐大学和教师都转向了在线教学。还有所有的公共音乐表演，都是通过互联网完成的，在中国我们叫“云音乐会 (Cloud Concert)”。它大大缩短了人们的距离，也取得了很好的效果。
下一步，5G会以更快的网速将有效解决目前表演者与观众、教师与学生之间音视频同步的问题，使观众与音乐家、或是学生和老师之间的距离更有现场感。
疫情期间，各种在线音乐教育、云上音乐会发展迅速，图为波士顿交响乐团线上演出。（图片来源：谷歌搜索）
张：听赵老师的讲解让我感到AI参与人类艺术创作，人机互动的音乐模式真的改变了我们对作曲和表演的原有认知和思考方式。以AI为工具的音乐创作行为，我认为应该会是镶嵌在大数据、物联网这个框架中的人文+艺术+技术的革新。未来很可能涌现出更多的数字音乐工作基站; 更多的音乐资源创作模式可以获得线上线下共享。当然，就像您提到的，这种人机互动的音乐集成模式也面临巨大的挑战，比如资金链，数据库的精准录入，人机交互的磨合，对于音乐本身的大众审美和社会认知-这些应该会是AI音乐发现道路上的难题。我们很开心看到有很多艺术家改变着时代，也不断为时代的发展、需求而努力而改变。
赵：对对，张老师给我刚才讲的内容做了个很全面的补充，要想实现我们理想中的目标，是需要多元化的因素结合起来共同完成的。
赵：疫情影响了每一位音乐工作者，我也不例外。除了创作，我利用视频给学生上课，从百人的大学讲座到一对一作曲小课；同时我也用视频进行远程排练、和团队会议等。越是这时，我越感觉到现代音乐的发展是离不开高科技的。
赵：那就发明一个App吧，人们可以通过它来写出属于自己的作品，任何人都可以。对于热爱音乐的人，你唱出一个音调，或简单弹几个音作为主题，这个软件会根据合理的发展手法创作出有趣、好听的音乐。你也可以根据它来创作各种类型的，甚至你从来没有想到过的音乐，也可以创作鼓舞人心的抗疫歌曲。
张：今天和赵老师的聊天让我意识到，AI音乐其实离我们并不遥远；我们已然生活在这个“科技音乐”和“音乐科技”的时代。特别是这次疫情期间，我们接触到并看到了许多“线上音乐会”；上海纽约大学也录制了一个线上多国籍跨时区的学生合唱表演，为居家隔离的师生们带来惊喜和鼓舞。这些实例我们也可以理解为是音乐领域在“城市弹性” (Urban Resilience) 这个概念中做出的努力和改变。
当然，谈及音乐创作本身，AI和数字技术给作曲家和表演者带来了更多的可能性，前沿性和趣味性。它改变着传统的经典的作曲模式，让音乐融入更多交叉学科的元素。
从这一方面讲，它对于创作者和表演者的综合素质提出了更高要求，同时强调了跨学科多模态的高质量合作。我非常期待一场人工智能音乐会，相信那一定是一场非凡的视听视觉感受!
邹：作为本次的访谈者，我非常荣幸能得到张老师的推荐，与赵老师进行本次学术交流。在我的研究项目中专注于“智能”这个概念在音乐、媒体产业以及人们正常的娱乐生活中是如何渗透的。赵老师对于人工智能在音乐作曲、市场塑形等方面的见解为我的项目构建了非常具有价值的一个维度。
当代科技的发展常常会在音乐、游戏、媒体等产业中得到最快、最创新与最直接的呈现。Travis Scott《堡垒之夜》演唱会中空间穿梭的视觉效果、Tinashe《Songs for You》里虚拟现实构建的世界，无不在推动着我们将“智能”的概念继续发散与运用。在赵老师对于音乐作曲的基础之上，我们还可以有许多将音乐本身与其他科技与产业结合探索的地方。
赵：非常感谢张老师、卓阳同学的精彩总结！这次对话也给我了很多启发和帮助，也给了我一个机会理顺了关于人工智能音乐的思路。
张蒙，应用语言学博士，毕业于美国南加州大学和俄亥俄州立大学。曾任俄亥俄州立大学助教，现任上海纽约大学讲师，设计并教授学术英语系列课程。
邹卓阳，上海纽约大学2019级本科生，主修商业与金融，辅修交互媒体艺术。
赵梓翔，作曲家，毕业于中国音乐学院附中、中央音乐学院（本科）和美国南加州大学（硕士）作曲专业。作品包括声乐、器乐独奏，室内乐、管弦乐和游戏配乐等，曾七次获得国内外重要作曲大赛奖项和提名。世界钢琴教师协会钢琴音乐创作委员会主席、国际钢琴会议艺术总监、美国作词作曲家协会会员，并担任多所中美音乐院校的作曲教师、客座教授。kaiyun