用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风

用 iPhone 给林徽因拍照会是啥样?这款 ” 穿越相机 ” 把老照片换成现代风

来源丨量子位(ID:QbitAI)

作者丨晓查

如何用 iPhone 给林肯拍大头照?除了肉身穿越回 19 世纪以外,你还可以试试这款 ” 穿越相机 “。

照相技术发明 100 多年以来,有无数历史名人留下了黑白照片。然而因为时代不同、技术不同以及岁月的侵蚀,这些历史照片逐渐失真。

能不能用现代相机的风格把他们都恢复原貌呢?

现在,来自华盛顿大学、UC 伯克利、谷歌的最新论文Time-Travel Rephotography,将这些照片里的历史人物真实地展现在屏幕上。

比如,居里夫人、爱迪生、林徽因……

放大瑕疵的老照片如何恢复

从黑白照片乃至画像恢复人脸并不是什么新鲜事,比如最近恢复兵马俑、古代帝王的视频在社交网络大热。

但是从古老照片恢复人脸要复杂得多。

我们先看一张著名作家卡夫卡的还原照。Zhang 等人恢复的照片粗看起来皮肤上有很多瑕疵,而 ” 穿越相机 ” 恢复的照片似乎自带 ” 磨皮 “。

那么是前一张恢复照片更加真实吗?

事实并非如此,卡夫卡脸上的瑕疵是当年底片技术导致的。如果只是简单给黑白照片填色,那么就不能充分表征旧胶片的特性和老化过程。

最早诞生玻璃感光底片只对蓝光紫外光敏感,1873 年推出的新感光乳胶也只对绿光和蓝光敏感。

由于他们都缺乏对红光的敏感性,造成了人物脸上的雀斑和皱纹被放大,嘴唇变黑。

所以我们今天来看林肯的原始照片,会发现林肯脸上呈现出很多夸张的皱纹:

1907 年,对红蓝绿都敏感的全色底片诞生。所以 1913 年采用新技术拍摄的潘克斯特(时年 55 岁),脸部皮肤要干净和平整得多:

因此,恢复这些历史照片不仅要考虑照片的模糊、褪色、噪点、低分辨率等问题,还要考虑不同老照片对颜色的感光差异。

而这款 ” 穿越相机 ” 相比之前的方法,在人物的还原上避免了当时技术造成的失真。

从 StyleGAN2 出发

对于 1873 年之前的照片,作者使用了蓝光敏感模型,对于 1873 年至 1907 年的照片,手动在蓝光敏感和正色底片之间选择,然后在 1907 年以后拍摄的照片,则在所有模型中手动选择。

作者利用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中,从而在统一的框架中实现所有这些效果。

作者使用其他彩色样本图像作为参考,它们与黑白图像具有相似的面部特征,但包含高频细节以及自然色和照明。为了进一步减小输入图像和现代人像之间的感知身份差距,他们还设计了特别适合于老照片的重建损失。

模型的结构如下:

1、同级编码器

以低分辨率灰度参考图像 I 作为输入,生成具有真实颜色和相似面部特征的同级图像 Is。

2、同级颜色和细节转换

为了进一步限制颜色和皮肤细节,使其与同级图像匹配,模型引入了颜色转换损失 Lcolor 强制 StyleGAN2 的 ToRGB 层输出与同级图像的相似性。

3、老照片的重建损失

为了进一步减小输入图像和现代人像之间的感知身份差距,作者特别设计了适合于老照片的重建损失 Lrecon,它对老照片的缺陷具有鲁棒性。

4、潜在编码优化

将之前的所有损失函数叠加起来,以此进行优化,生成最终图像 。

据作者介绍,生成这样一张 1024 × 1024 的照片,需要在英伟达 Titan X 上运行 10 分钟。

与其他几种恢复老照片的方法相比,” 穿越相机 ” 的效果显然有着更真实的观感。

不过,” 穿越相机 ” 现在还存在着一些缺点。

首先是对在恢复人物发型与配饰方面存在着错误,或者会丢失细节。

另外,生成照片也非常依赖于统计图像的选择,如果选择了和原照片不一样的种族或性别,会造成黑人变白人、女人变男人。

作者简介

这篇文章作者包括华盛顿大学、UC 伯克利与谷歌等学校与机构的 6 名学者。

其中第一作者是毕业上海交大 ACM 班校友罗璇,她现就读于华盛顿大学。

她今年还有一篇 ” 水淹食堂 ” 的 CV 论文,因为惊艳的效果引起了不小的轰动。

从交大毕业后,罗璇选择进入华盛顿大学研究 ” 虚拟视觉 “,又先后在迪士尼、谷歌等知名企业实习。

作者在项目主页中表示,” 穿越相机 ” 的代码将会很快开源。不过根据 ” 水淹食堂 ” 这篇论文开源的节奏,我们恐怕还要等上两三个月了。

论文地址:

https://arxiv.org/abs/2012.12261

项目地址:

https://time-travel-rephotography.github.io/

— 完 —

欢迎转发到朋友圈。

果壳网
我还没有学会写个人说明!
下一篇

如 何 破 解 闪 电 五 连 鞭

你也可能喜欢

评论已经被关闭。

插入图片