前两天世超不是刚写了 Runway 涂一涂就能动的功能么,没想到这热乎劲还没过去,就又有新产品来炸场了。
这次的主角,是一个名叫 Pika 的视频生成模型。
这家公司今年四月才成立,别看它初出茅庐,它已经融资到 5500 万美元,连 OpenAI 的科学家都出来开启了夸夸模式。
甚至其中一个创始人爸爸的上市公司,还在 Pika 的爆火下涨停了,真就父凭女贵。。。
世超也闻着味儿,直接去了他们的官网,想一探究竟。
结果,他们的宣传视频,上来就把我给唬住了。
它除了丢一张图片进去就能生成一段视频之外。
还能靠一两句提示词就生成一个视频。
比如让它生成一个在太空里讲话的 3D 动漫的老马。
这脸型、这神态,估计是连马斯克本人看到都会直呼牛 X 的程度。
丢段视频进去, Pika 也能根据提示生成新的内容。
像演示里,丢个骑马小伙的剪影视频进去,根据提示词就能生成对应的风格。
并且把现实风、 3D 卡通风、像素风各种风格拼接在一起后,之间的切换无比丝滑,整个过程里骑马的动作丝毫没有变形。
甚至这个 Pika 已经能直接对视频进行局部修改了,指哪打哪。。。
只要鼠标轻轻拖拽一下,框出视频里要修改的元素,分分钟就能给小姐姐来个换装,顺便给黑猩猩带个墨镜。
有一说一,就上面那些演示的功能和效果,几乎可以把一大部分视频生成 AI 吊起来打了。
但,上面这些官方给出的演示视频,大家 dddd 。
实际和演示的有哪些差距?老样子,世超先替你们测评一波。
现在正式网页版的还得排队,我们只能先在 Discord 社区里体验一下 “ 阉割版 ” 的,只有文字生成视频和图片生成视频两大功能。
打开 Discord 里面的 Pika 社区后,整个界面的主体就是入门介绍了,左边有个 “ CREATIONS ” 的下拉入口,里面的 10 个生成入口,随便进一个都可以体验。
用的时候也很简单,打个 “ / ” ,会自动弹出后缀, Pika 的主要两大功能就是 /animate ( 图片生成视频 )和 /create ( 文字生成视频 )。
选择模式之后,就跟用 ChatGPT 一样,打字或者输入图片讲需求就行了。
虽然这个 Pika 不像 Runway 有专门的参数调节栏,但想要调节参数它也是可以的,直接加后缀就行。
并且这个 Pika 能调节的参数也不少,这次新发布的功能就有个调节镜头的选项。
像什么放大画面、缩小画面、上下左右移动、各种方向旋转……都能调,就跟当导演一样。
其他的参数还有帧数、画面变化的幅度、视频比例等等,也都是在提示词后面加个 “ - ” 说要求。
了解完参数,就能直接开玩了,世超先试了试图片生成视频的功能,丢给了它一张正在下雪的图,大概等个一分钟左右就好了。
效果看起来也还不错,不过 Pika 这个体验版一次最多就只有 3 秒,有点意犹未尽的感觉。
接下来再丢个整个上次用 Runway 试过的经典梗图,虽说 Pika 的画面是糊了点,但就动作连贯性来说,它还是略胜一筹了,起码没当街表演换装,而且走路的节奏也很正常。。。
Pika ( 上 )和 Runway ( 下 )效果对比
不过也有翻车的时候,还是上次试过的一个案例,让下面这位长发美女的头发飘逸起来, Runway 效果还算不错。
但 Pika 这边就不太对劲了,她头发不飘起来我都还不知道里面竟然还能藏个人头,好好的一张图立马变鬼片。。。
世超还在提示词后面加了个 “ -camera rotate clockwise ” ,试了试 Pika 这次新出的 “ 镜头控制 ” 参数,让画面顺时针旋转起来。
乍一看还算不错,但遗憾的是这些蝴蝶没在镜头旋转的时候扑腾两下,而且方向还转错了。
试完了图片生成视频的功能,咱们又试了下文字生成视频。
世超发现,对于一些小幅度动作或者简单动作的要求, Pika 生成的效果还不错。
比如让 Pika 生成个 1 :1 画面的猫猫睡觉视频,算是中规中矩。
但只要涉及到要四肢协调运动,或者手部细节时,那可是槽点满满了。
让一个 3D 版的马里奥跑个步,这手脚频率不同步就算了,但腿怎么还换来换去,而且一个手四指,另一个手五指。。。
还有让迈克 · 杰克逊跳个舞,前一秒还觉得这次有戏能成,结果后一秒突然长了两个小胳膊。
有趣的是,我还去扒了扒官方演示里的提示词去试,结果只能说太抽象了。
马斯克那个完全没有演示视频里的效果,大家直接看效果吧,很难评。。。
还有机器人走路的提示词,演示图是这样的:
而咱们试出来却是这个样子,虽说效果还行,但完全没演示中那味。
试了太多次没啥比较好的案例,世超又去翻了翻社区里大家生成的视频,还跑到了官方给出的优秀案例库看了看,结果发现,没啥好效果还真不是我个人的原因。
大家用 Pika 生成效果好的,大部分都是画面部分元素闪烁、或者没啥动作幅度的视频,只要动作幅度大一点,缺点就全都暴露出来了。
下面这个还是收在优秀案例库里的,小腿那边看着也都有点奇怪。。。
总的来说,就单在 Discord 上的体验来看, Pika 的效果一般,和上次在 Runway 的效果差不多,有好有坏。
不过,之后正式版 Pika 的功能还会更多,说不定到时候演示图里的上传视频,修改视频局部的功能也都能用上了。
现在回过头来看最近几个月, AI 生成视频的模型几乎都扎堆出来更新了,像是 Runway 、 Stability AI 还有 Meta 等等,都发了新的生成视频的模型。
虽然目前市面上的这些 AI ,效果看起来还达不到标准视频的水准,但只要稍微了解下 AI 生成视频的发展,就会发现,最近的这波更新进步已经是非常大了。
像前几个月用 AI 生成的视频时,连带着背景都还在不断变化,而现在,背景已经稳定多了。
这还只是短短几个月的成果,或许再过几个月,这波模型再来一次大更新,到时候的效果又会是另一番景象。
前两天世超不是刚写了 Runway 涂一涂就能动的功能么,没想到这热乎劲还没过去,就又有新产品来炸场了。
这次的主角,是一个名叫 Pika 的视频生成模型。
这家公司今年四月才成立,别看它初出茅庐,它已经融资到 5500 万美元,连 OpenAI 的科学家都出来开启了夸夸模式。
甚至其中一个创始人爸爸的上市公司,还在 Pika 的爆火下涨停了,真就父凭女贵。。。
世超也闻着味儿,直接去了他们的官网,想一探究竟。
结果,他们的宣传视频,上来就把我给唬住了。
它除了丢一张图片进去就能生成一段视频之外。
还能靠一两句提示词就生成一个视频。
比如让它生成一个在太空里讲话的 3D 动漫的老马。
这脸型、这神态,估计是连马斯克本人看到都会直呼牛 X 的程度。
丢段视频进去, Pika 也能根据提示生成新的内容。
像演示里,丢个骑马小伙的剪影视频进去,根据提示词就能生成对应的风格。
并且把现实风、 3D 卡通风、像素风各种风格拼接在一起后,之间的切换无比丝滑,整个过程里骑马的动作丝毫没有变形。
甚至这个 Pika 已经能直接对视频进行局部修改了,指哪打哪。。。
只要鼠标轻轻拖拽一下,框出视频里要修改的元素,分分钟就能给小姐姐来个换装,顺便给黑猩猩带个墨镜。
有一说一,就上面那些演示的功能和效果,几乎可以把一大部分视频生成 AI 吊起来打了。
但,上面这些官方给出的演示视频,大家 dddd 。
实际和演示的有哪些差距?老样子,世超先替你们测评一波。
现在正式网页版的还得排队,我们只能先在 Discord 社区里体验一下 “ 阉割版 ” 的,只有文字生成视频和图片生成视频两大功能。
打开 Discord 里面的 Pika 社区后,整个界面的主体就是入门介绍了,左边有个 “ CREATIONS ” 的下拉入口,里面的 10 个生成入口,随便进一个都可以体验。
用的时候也很简单,打个 “ / ” ,会自动弹出后缀, Pika 的主要两大功能就是 /animate ( 图片生成视频 )和 /create ( 文字生成视频 )。
选择模式之后,就跟用 ChatGPT 一样,打字或者输入图片讲需求就行了。
虽然这个 Pika 不像 Runway 有专门的参数调节栏,但想要调节参数它也是可以的,直接加后缀就行。
并且这个 Pika 能调节的参数也不少,这次新发布的功能就有个调节镜头的选项。
像什么放大画面、缩小画面、上下左右移动、各种方向旋转……都能调,就跟当导演一样。
其他的参数还有帧数、画面变化的幅度、视频比例等等,也都是在提示词后面加个 “ - ” 说要求。
了解完参数,就能直接开玩了,世超先试了试图片生成视频的功能,丢给了它一张正在下雪的图,大概等个一分钟左右就好了。
效果看起来也还不错,不过 Pika 这个体验版一次最多就只有 3 秒,有点意犹未尽的感觉。
接下来再丢个整个上次用 Runway 试过的经典梗图,虽说 Pika 的画面是糊了点,但就动作连贯性来说,它还是略胜一筹了,起码没当街表演换装,而且走路的节奏也很正常。。。
Pika ( 上 )和 Runway ( 下 )效果对比
不过也有翻车的时候,还是上次试过的一个案例,让下面这位长发美女的头发飘逸起来, Runway 效果还算不错。
但 Pika 这边就不太对劲了,她头发不飘起来我都还不知道里面竟然还能藏个人头,好好的一张图立马变鬼片。。。
Pika ( 上 )和 Runway ( 下 )效果对比
世超还在提示词后面加了个 “ -camera rotate clockwise ” ,试了试 Pika 这次新出的 “ 镜头控制 ” 参数,让画面顺时针旋转起来。
乍一看还算不错,但遗憾的是这些蝴蝶没在镜头旋转的时候扑腾两下,而且方向还转错了。
试完了图片生成视频的功能,咱们又试了下文字生成视频。
世超发现,对于一些小幅度动作或者简单动作的要求, Pika 生成的效果还不错。
比如让 Pika 生成个 1 :1 画面的猫猫睡觉视频,算是中规中矩。
但只要涉及到要四肢协调运动,或者手部细节时,那可是槽点满满了。
让一个 3D 版的马里奥跑个步,这手脚频率不同步就算了,但腿怎么还换来换去,而且一个手四指,另一个手五指。。。
还有让迈克 · 杰克逊跳个舞,前一秒还觉得这次有戏能成,结果后一秒突然长了两个小胳膊。
有趣的是,我还去扒了扒官方演示里的提示词去试,结果只能说太抽象了。
马斯克那个完全没有演示视频里的效果,大家直接看效果吧,很难评。。。
还有机器人走路的提示词,演示图是这样的:
而咱们试出来却是这个样子,虽说效果还行,但完全没演示中那味。
试了太多次没啥比较好的案例,世超又去翻了翻社区里大家生成的视频,还跑到了官方给出的优秀案例库看了看,结果发现,没啥好效果还真不是我个人的原因。
大家用 Pika 生成效果好的,大部分都是画面部分元素闪烁、或者没啥动作幅度的视频,只要动作幅度大一点,缺点就全都暴露出来了。
下面这个还是收在优秀案例库里的,小腿那边看着也都有点奇怪。。。
总的来说,就单在 Discord 上的体验来看, Pika 的效果一般,和上次在 Runway 的效果差不多,有好有坏。
不过,之后正式版 Pika 的功能还会更多,说不定到时候演示图里的上传视频,修改视频局部的功能也都能用上了。
现在回过头来看最近几个月, AI 生成视频的模型几乎都扎堆出来更新了,像是 Runway 、 Stability AI 还有 Meta 等等,都发了新的生成视频的模型。
虽然目前市面上的这些 AI ,效果看起来还达不到标准视频的水准,但只要稍微了解下 AI 生成视频的发展,就会发现,最近的这波更新进步已经是非常大了。
像前几个月用 AI 生成的视频时,连带着背景都还在不断变化,而现在,背景已经稳定多了。
这还只是短短几个月的成果,或许再过几个月,这波模型再来一次大更新,到时候的效果又会是另一番景象。