日本那种片的马赛克,终于可以完美的去除了!

今日头条
Toutiao
最新回复:2020年7月4日 22点7分 PT
  返回列表
71840 阅读
34 评论
好机友

还记得很久之前,机哥给大家介绍过的GAN吗?不是脏话啦,是Generative Adversarial Networks的缩写,即“生成式对抗网络”。

这是一种深度学习的模型,如果大家记不清了,机哥通俗解释一下:

在一个GAN里,有两个天天对着干的神经网络,一个努力生成逼真的假货,一个努力鉴别假货,通过不断地学习和对抗,它们就能生成极其真实的假货,非常妙。

总之,GAN的出现那叫一个惊为天人。

因为它可以无中生有,创造出世界上不存在,但又极为真实的人脸。

没错,上面这些脸,全都是GAN生成的

后来,GAN被运用到图像增强领域,进而名声大噪。

因为……它能实现一项,我们以前不敢奢求的功能——去马赛克。。

就拿2018年大火的软件DeepCreamPy来说吧。

它就是利用GAN来实现去码的,效果大概是这样:

这张图片,用绿色画笔涂上了码。

拿DeepCreamPy操作一番后,马赛克神奇般地消失了。

横向对比一下,效果的确不错。

但肯定会有机友要说:就这?

确实,这张卡通图片,去码难度并不算高,能实现这样的效果也不算啥。

别急,时代在发展,技术在进步。

上个月,美国杜克大学推出了一款图像增强工具,又一次勾起了机哥燥热的心。

这款工具叫PULSE。

不扯虚的,PULSE能实打实地把重码图,处理成高清大图。

不看广告看疗效,机哥直接放实例:

这图的分辨率够渣了吧,机哥甚至可以直接数出它的分辨率为16x16。

经过PULSE一处理,它会变成什么样呢?

请做好心理准备。

……………………

…………

当当当当!

简直不敢相信自己的眼睛。。

我们放大头发部分看看细节。

明明只有几个像素格,它硬是还原成了丝缕分明的秀发。

还有几组实例:

左为原图,右为处理后

看了这些去码作品,机哥还是难以相信……

这tm真的不是魔法吗?

我知道,诸位老司机已经开始酝酿自己大胆的想法了。

但请你们压制一下,机哥本着认真负责的态度,还是得给大家讲讲原理。

很久以前,我们要提高一张图片的分辨率,往往是利用插值法,在低分辨率的图片中填充像素。

就比如PS的改变图像大小

后来有了GAN,虽然也是填充像素,但凭借机器学习,填充的方法变得更高级,更像是AI在凭经验“猜”。

但总的来说,以上方法去码效果有限。

而杜克大学的PULSE思路就很巧妙了,它选择反其道而行。

你给它一张低分辨率图,比如这张:

AI并不急着去填充,而是把自己以前GAN出来的高清图,压缩成低分辨率和你给的图片对比。

遍历之后,找出相似度最高的,把对应的高清图输出。

如果不理解的话,机哥再打一个通俗的比方。

物理考试中,有一道填空题,让我补全一个公式:

你如果让我去推导,E和c的关系,估计我这辈子都填不出正确答案。

但是换种思路,机哥在脑海中回忆背过的公式,其中含有E和c,且跟它长得像的……

不就是爱因斯坦质能方程嘛!

明白了吧,“直接推导”就像是去码算法中的老方法。

而“从回忆中找相似”,就类似于杜克大学的PULSE。

看到这玩意,机哥脑海里浮现了很多大胆的想法。

比如画家,再也不用细心去勾勒图片的细节,简单画几笔,再交给AI就好。

电影艺术也可以用上啊。

哪里还需要花钱请演员,费劲地布景、演、拍……

直接做个粗糙的脚本,剩下交给AI。

姜文的分镜头脚本就适合这么搞……

还有!

警察办案的时候,案发现场的摄像头,只拍到了全损画质的嫌疑犯。

机哥拿自己的照片举个例子

这哪儿看得出是谁啊?

没事,PULSE一下!

注:此图并非PULSE实际效果

噢,原来机哥长这样。

美滋滋吧……

慢着,事实上并没有你想象的这么美好。

吊炸天的PULSE刚公布没多久,就被网友们发现了问题。

有网友拿出奥巴马的照片,手动压缩了一番。

然后,他们把它放进PULSE里。

输出的结果,让人始料未及——

出来的这个面孔,虽然是张很真实的脸,但跟奥巴马大相径庭。

更坑爹的是,奥巴马本来是个黑人,却被AI硬生生还原成了白人。。

紧接着,又有网友发现不仅是黑人,用亚洲面孔去测试,输出的结果也会变成白人。

左为原图,中为压缩图,右为AI补全的图

知名华裔女星刘玉玲

本来种族歧视这事儿,在美国那儿就敏感,AI这一搞果然引起轩然大波。

很多人出来批评,认为AI存在偏见,一时之间骂声四起。

其实,PULSE会出现这样的结果,原因不难猜测。

PULSE基于英伟达的StyleGAN,而StyleGAN所使用的FlickFaceHQ数据集当中大部分都是白人面孔。

它就像一个从小只见过白人的小朋友,当然会以为全世界的人都是白人。

机哥觉得这与其说是偏见,倒不如讲是认知局限。

随着算法的精进,数据集日渐丰富,AI的认知局限肯定会越来越少。

除此之外,PULSE犯的错误还不止搞错人种,沙雕网友们还拿卡通形象试了试。

比如游戏《Wolfenstein》中的卡通像素脸。

左为输入图,右为PULSE处理后的结果

PULSE并没有把它变成卡通高清大图,而是用补真实人脸的方式,输出了一张不伦不类的奇怪脸。

minecraft当中的像素角色,有同样的遭遇。

左为输入图,右为PULSE处理后的结果

家喻户晓的马里奥,看来只有AI认不出来。

左为输入图,右为PULSE处理后的结果

甚至有人试了试emoji,出来个什么玩意儿。。

左为输入图,右为PULSE处理后的结果

也就是说,现阶段的AI补脸,虽然看起来像模像样。

但本质上还是瞎杰宝补的,它根本无法还原图片原本的细节。

所以,上面举警察办案的例子,如果真的采用PULSE处理的照片来确定嫌犯,八成会抓错人。

AI还需要更聪明,才能应对这个复杂的人类世界里,千奇百怪的问题啊。

但是,机哥要说但是了。

我知道在座的司机们肯定有话要说。

也许在你们大胆的想法里……有些东西补得是否还原本来的样子,可能并不重要吧。

测试有效
1 楼
总有sb拿这个当黑科技 实际原理就是拿无数图像给算法学习 然后输入一副带马赛克的图像时算法用已知的像素按照学习过的数据库自己发挥一下 和实际的图像可能相似也可能差了十万八千里 只不过P的不露痕迹而已
马三立
2 楼
政治不正确的软件,哈哈。不过蛮有意思
二公子
3 楼
看半天你逗我玩呢
系统不忙了
4 楼
不就是用AI编么,就好比小编拿着条内裤让后想象出穿内裤的人
纳兰德性
5 楼
虽然科技不够黑用来还原小电影足够了,毕竟下面都长的差不多
l
lids
6 楼
1000张图打码生成同样的马赛克,这个还原就是在1000张里面随便挑一个。罪犯的重大利好,因为还原真的像自己的概率太低了。
p
peter174
7 楼
抓小偷很好用
T
Tyraelee
8 楼
从理论来讲,马赛克已经丢失了很多细节,想填补回来是不可能的,顶多通过学习可以找到最接近原图的照片,但细节丢失就是丢失了,就像桌上有个勺子你拿走了,然后问路人桌上原来有啥。。。。只能通过盘子饭菜判断西餐 应该用 刀叉勺子。
T
Tyraelee
9 楼
刀叉勺子是最可能出现的组合,但如果你偏用筷子吃西餐,那还原的就彻底失败了。
k
kudoof
10 楼
真是夏季八补充数据,还不如插值
p
parrot
11 楼
深奥, 哈哈
D
DLGJZD
12 楼
右下角,让你们晒老婆
f
fusq
13 楼
一只猪脸打个马赛克还原出来的百分百是一个白人,因为那些婊子就是这样进化来的!
C
ColdFire
14 楼
这个用在娱乐上真的可以。没人在乎和原型的相似度是多少
斷╱╄嶂掫義
15 楼
去除马赛个属于恢复损失的逆向工程。目前为止也就cv用tv,或是ml/dl用vae or gan。前者不需要学习,是经典方法,但是损失或噪点多了就不行了。后者则取决于学习样本,latent space的损失函数选择,以及gan模型本身的深度。
t
tosefun
16 楼
是不是跟华为手机AI把灯拍成月亮一样啊
老烟头
17 楼
眼前的黑不是黑 你看得白是什么白
m
mwf536
18 楼
牛啊,以后不怕打码了
在家修行
19 楼
其实这个技术在AV届非常实用,因为AV的马赛克不是遮脸的
d
dongbeifeng
20 楼
去码确实实用,用来抓罪犯就值得商榷了, 除非用全球的人脸去训练。如果只用已知罪犯训练, 会产生偏差。
d
dongbeifeng
21 楼
说到点子上了
l
lovepark1
22 楼
数据库里没有, 怎么弄也是白搭, 很清楚的不正确
裆中央深入裙中
23 楼
日本爱情动作片步兵片基本都是流出的,在日本国内是不能翻手的。这个东东虽然不够精确,但是对死宅们来说足够了,器官又不是脸,有那么高的辨识度,随便看看解决一下生理问题就好了。
彪呼呼的B格
24 楼
万一有个土鳖用筷子吃西餐呢? 或者红脖子用刀叉吃鱼香肉丝呢?
彪呼呼的B格
25 楼
这个AI是个投机取巧的深度学习模型,其核心就是把数据库里的图片挨个放大,放大到和侧视图一个分辨率,然后再找出最相近的模糊图片接着倒推出清晰原图,估计比较的时候还是尼玛用Euclidean distance做比较运算因子,这模型有够low
c
cchhtt
26 楼
这是逆向思维的工具。全世界的人类只有70亿,加上所有的死去的伟人名人也不过10亿。这是一个有限的数据源。反向推理应该不难。 人脸的马赛克基本被攻克了。
m
melbguy
27 楼
真扯淡马赛克后面随便放个脸就好 下面谁知道 随便放个逼就好
m
melbguy
28 楼
还一个问题是破机器得分析多少逼才能能得出结论
h
hyperziz
29 楼
狗粮这么多时间反共,还不如多花点时间反日马赛克,把问题根除了还要AI干什么,这不比反共更有意义么
二公子
30 楼
说半天就是靠脑补
来凑热闹的
31 楼
“把众多高清图压缩成低分辨率和你给的图片对比。遍历之后,找出相似度最高的,把对应的高清图输出”--这和AI有毛关系
日他妈的本
32 楼
就是再创作了
美籍評論員
33 楼
前面說了一堆,結果後面即刻打臉,那等於白說。
4
4584
34 楼
这些例子不算数!应该展示一下带胡子的效果。