原创 破狼 破狼 2024-02-04 00:16 四川
阿里Motionshop：一键AI自动替换视频东谈主物Motionshop简介
阿里通义实验室发布了用3D扮装替换视频中东谈主物扮装的框架Motionshop，旨在竣事AI自动识别视频中的洞开主体东谈主物，并一键替换成道理的3D扮装模子，生成名满寰宇的AI视频。
Motionshop框架由两部分构成：
· 视频惩办经由，用于索取缔造后的配景视频序列。
· 姿态评估和渲染经由，用于生成头像视频序列。通过并行化两个经由，以及使用高性能的清明追踪渲染器TIDE技巧，竣事了通盘过程在几分钟内就能完成。
Motionshop责任道理图片
广州市威歌尔电子有限公司 63， 太原浩揽电子商务有限公司 63);box-sizing: border-box ;word-wrap: break-word ;">Motionshop包括以下阶段：
· Character Detection: 通过将文本信息与现存的闭集检测器细巧交融， 首页-达士安机场有限公司基于Transformer框架，竣事零样本指标检测。
· Segmentation & Tracking: 在检测到指标后，使用一种视频对象分割追踪次序来追踪像素级的指标区域，该次序由世俗使用的零样天职割次序SAM运行化和优化。与平直使用SAM比拟，时序对应性能取得了进步，以更好地惩办视频分割任务。
· Inpainting: 对图像区域进行视频缔造。具体，有色金属使用一种轮回流完成次序来收复损坏的经由，使用双域传播次序在图像域和特征域上增强全局和局部的时序一致性，同期，使用一种稀薄计策，只议论一部分token，提高效力，缩短内存豪侈，同期保捏性能。
· Pose Estimation: 对扮装视频序列利用CVFFS次序来估算安定的东谈主体姿态。使用SMPL东谈主体模子来示意3D东谈主体，这是一种世俗使用的参数化模子，用于东谈主体体式和姿态有计划。
· Animation Retargeting: 将评估的体式和姿态再行映射到聘请的3D模子上。然后，将这个模子像原始视频中的扮装相似当然畅达地播放。
· Light Estimation: 在新的3D模子替换扮装时，需要与原始视频的光照条目保捏一致。Motionshop利用光照评估来更好地将新的3D模子和原始场景交融。
· Rendering: 使用一种旅途追踪渲染引擎TIDE来渲染新的3D模子。与精准系统延续结，辅以motion blur， temporal anti-aliasing， temporal denoising等算法。
· Composing: 终末，将渲染的图像与原始视频合成，生成最终的视频。
Motionshop在线体验用户不错在modelscope体验。
· 体验地址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
· 相貌主页：https://aigc3d.github.io/motionshop/
体验门径· 1：上传一个包含齐全东谈主物的视频。
· 2：聘请视频中要替换的东谈主物。
· 3：聘请要替换的凭空扮装模子并点击生成，苟简恭候10分钟即可生成收尾。
体验成果图片
首页-微加奥棉类有限公司输出视频成果：视频中东谈主物被替换为可人3D猪猪的形象有色金属
本站仅提供存储奇迹，统统履行均由用户发布，如发现存害或侵权履行，请点击举报。