让照片人物表情动起来,开源国产ai大动作LivePortrait

LivePortrait由快手科技、中国科学技术大学、复旦大学联手开发完成,目前github上开源提供下载。这不得不夸一下快手。

让照片人物表情动起来,开源国产ai大动作LivePortrait

它是一款革新性的框架,专注于通过单一静态肖像图像生成极具逼真感的动态视频肖像。其核心目标在于提供高效精准的肖像动画生成,确保动画在视觉和细节控制方面达到卓越水平。

让照片人物表情动起来,开源国产ai大动作LivePortrait

解决方案的创新点

优化生成质量和效率
传统方法如扩散模型尽管生成质量高,但计算成本昂贵,难以实现实时处理。LivePortrait采用隐式关键点方法,不仅确保高质量生成,还显著提升了计算效率。

让照片人物表情动起来,开源国产ai大动作LivePortrait

细节控制的突破
现有技术通常无法精细控制眼睛和嘴唇的动作,这对于提升动画逼真度至关重要。LivePortrait通过专门的重定向模块克服了这一挑战,实现了对眼睛和嘴唇动作的精确控制,包括微表情和细节动作。

让照片人物表情动起来,开源国产ai大动作LivePortrait
有人用LivePortrait复活兵马俑

实际应用效果

  • 面部表情和头部运动:生成的动画展现高度逼真的面部表情和头部姿态,与实际人物动作高度贴近。
  • 眼睛和嘴唇控制:能够精确调整眼睛的注视方向和嘴唇的开合动作,使得动画更加自然和生动。
  • 生成质量的优越性:相比传统的扩散模型方法,LivePortrait展示出更高水平的生成质量。
  • 高效的生成速度:在RTX 4090 GPU上,每帧生成速度仅为12.8毫秒,非常适合实时动画生成需求。

主要功能详述

让照片人物表情动起来,开源国产ai大动作LivePortrait
  • 单一图像生成动画:能够从单一静态肖像图像生成生动、逼真的动画,包括多样的面部表情和头部姿态变化。
  • 精确控制眼睛动作:内置眼睛重定向模块,能够独立控制眼睛的动作,包括凝视方向和眨眼动作。
  • 精确控制嘴唇动作:嘴唇重定向模块可以精确调整嘴唇的开合动作,与说话或表情变化同步,增强动画的真实感。
  • 多人物肖像无缝拼接:通过缝合模块处理多个人物肖像的平滑过渡,确保动画在多个动态人物之间转换自然流畅。
  • 支持多种风格肖像:结合混合图像和视频训练策略,支持生成多种风格的肖像动画,包括写实和动漫风格。

高分辨率动画生成:采用SPADE解码器和PixelShuffle上采样层,实现高清晰度动画生成,提升图像的清晰度和细节展现。#深度好文计划#

让照片人物表情动起来,开源国产ai大动作LivePortrait

通过这些先进的技术和功能,LivePortrait在肖像动画生成领域带来显著的进步,适用于各种应用场景,从个人家庭肖像到商业广告,均能提供高质量的动画效果。

据说已经有人做了整合包webui,这样就无门槛使用了,只需要一键安装到电脑就可以轻松使用。静静等待公开下载吧。