现在有不少动画都是通过轻小说改编而成,其实在读者阅读小说的时候就能通过文字脑补出人物、场景、对话等画面,那么人工智能是否也能做到呢?近日,Vrai的博主开发了一个基于文字自动生成视频的程序,演示文本为《桃太郎》。
自动播放
物語動画自動生成サンプル『桃太郎』
正在加载... < >人们通过阅读文字在脑内生成画面,充实人类想象力的情报是从现实生活中眼中所见、耳中所听、身体所触摸等经验而获得的知识。人工智能在一开始却并没有具备这些知识,如果要让人工智能和人类一样能够通过读取文字生成画面,那么就需要这些情报。此外人工智能所掌握的情报之间的联系和间隔也是一大难题。从事VR程序开发和人工智能技术研究的“Vrai”博主就开发出基于文本生成视频的程序,使用的文本就是日本传统民间故事《桃太郎》。
《桃太郎》在日本是一个家喻户晓的民间故事,讲述从桃子里诞生的桃太郎,用糯米团子收容了小白狗、小猴子和雉鸡后,一起前往鬼岛为民除害的故事。因为比较简单,所以人类基本上都能够想象出画面,但是这次演示的人工智能却生成了大量不符的画面。比如本该有巨大的桃子从河里流过来的场景,然而桃子并没有出现;虽然有老奶奶把桃子抱回家的反应,却突然转身了;虽然有伸手捡桃子的动作,却没有碰到“桃子”这个对象;桃太郎长大后成为了青年桃太郎,青年登场了但是小型桃太郎却并没有消失;后来在提到“鬼岛”地名的时候,人工智能却理解成了两个东西“鬼”和“岛”……后面拥有错误的地方也很多这里就不一一赘述了。可以看出AI目前在画面的理解上和人类的差距还很大,但是这项技术发展下去的话说不定以后轻改动画就可以直接用程序生成了。