用大模型制作剧本、生成视频，有博主已获百万播放量
OpenAI文生视频AI工具Sora已发布数十个视频，展现了AI文生视频的新可能。第一财经记者了解到，随着多个文生图、文生视频软件发布，已有不少视频制作者开始制作AI视频。
例如，近日发布的一个用AI技术生成的《西游记》近4分钟动画短片展现了石猴从降生到拜师学艺的过程，花果山水帘洞内的水流、植物和摆设错落，天庭依山而建，视频还展示了孙悟空乘船前往城镇、来到灵台方寸山的过程。画面中，山峦烟雾缭绕，水面有落叶等细节，街景呈现了古代着装的行人、门楼和商店。这段视频发布在抖音和bilibili上，在bilibili有超70万观看。另一个与AI制作的《大闹天宫》预告片在bilibili上有超100万播放量，画面中，天庭的座椅、服饰透露着庄严，镂空的器皿显现出设计细节，人物面部表情自然。
一些AI制作的MV或预告片、宣传片也在视频平台上获得数十万播放量。例如，一个动物版《恭喜发财》MV有多个小狗穿着红色传统服饰的画面，并演奏多种乐器、骑自行车、写毛笔字，画面细节丰富，动物毛发细节清晰。广西卫视也在网上放出了全AI制作的龙年宣传片。据记者观察，这些AI视频的共同点是画面清晰且富有细节，但每个分镜的时长只有几秒，人物讲话时还未能匹配适合的嘴型，画面的连贯性和叙事性相比影视仍存在距离，这些特点使目前AI视频更适合制作预告片、MV等对叙事要求不高、对画面冲击力要求较高的中短视频。与视频创作者已在使用的多个AI视频制作工具不同，Sora在视频时长上有明显优势，可直接生成60秒视频，但Sora目前还未对外开放使用。记者发现，不少AI制作视频都使用AI绘图工具先生成图片，再使用图生视频工具生成AI视频。例如，以上近4分钟的《西游记》动画的创作工具是AI绘图工具Midjourney和图生视频工具Runway，构思阶段采用了ChatGPT分析原著文字并规划分镜，随后通过剪映剪辑。以上《大闹天宫》预告片也使用Midjourney和Runway制作，剧本设计使用了大语言模型辅助。
发布以上《西游记》动画的博主“AI疯人院”从事美术工作15年，他表示，该视频如果人工制作至少需要半年，而自己在AI的帮助下一周就完成了。但他同时指出，绘图和图片生成视频的过程还会产生废稿，AI还很难完全理解创作者的意图，存在随机性。发布《大闹天宫》预告片的博主则在评论中称，AI迭代太快，要做成三个半小时的电影预计可以在两年内。但也有网友针对AI视频评论称，AI生成仍显得僵硬、像PPT、风格仍不够贴合主题。
市面上目前可生成AI视频的工具还包括谷歌Gemini、阿里云12VGen-XL等。阿里云在一个视频中介绍，生成视频不需美术和编导基础，创作者可以在魔搭创空间找到MotionAgent AI应用，通过该应用，在生成剧本时用到Qwen-7B-Chat大模型，在文生图时使用Stability的SDXL模型，再由图片生成视频，阿里云的视频生成软件是开源的12VGen-XL，音乐也可以通过提示词AI生成。
有影视制作者向第一财经记者表示，AI技术已在视频制作中应用，在平面设计上效果很好，但在AI视频中，目前逐帧光影衔接还有问题，从Sora放出的视频看，也存在逐帧的衔接问题。
2023年至今，与AI视频、图片相关的技术还在持续迭代。例如，此前香港科技大学、蚂蚁团队、浙江大学CAD&CG实验室合作的项目CoDeF，其算法能根据提示词对视频进行风格转换，香港大学、阿里巴巴和蚂蚁集团的新成果Anydoor可实现图片中物体瞬间移动，学界还有研究团队探索图像修复和还原技术。