Google Camera 发展梳理
Google Camera，Google相机，是Google自个做的相机应用程序。
一开始在2014年的4月，登陆了Play商店，但是随后到了2016年，渐渐淡出安卓通用领域，后续在自己的Nexus与Pixel设备上提供。
Ai Blog 有Google内部对功能思考的分享，也提供了一个管中窥豹的机会，不妨以此解读一下Google Camera的发展。
本文藉此大概齐地梳理一下发展脉络，细节比不过相关文章本身；
但因为也给出了英文原文的链接，如果愿意，以本文作为一份GCam发展中文索引，大约也是极好的。
本文最后更新日期
2023-04-19
高动态范围成像 High Dynamic Range Imaging 的相关技术有相当长的探索期，甚至可以追溯到19世纪摄影师 Gustave Le Gray；
而实际一些的，具有突破性的当代技术，应该论及在1997和1998年，于SIGGRAPH上，由 Paul Debevec 提交的论文。
HDR图像制作通常有两部分内容：
1.1.短间隔内拍摄不同曝光的影像
1.2.同时间内，在帧内的不同行采用不同曝光
前者需要对齐，有时候不适合动体；
而后者损失一半分辨率。
Google应用的还是前序方案，并且比传统的两张更为激进，为一次性拍摄多张，进行合成；这样可以在扩大动态范围的同时，获得较好的色彩表现。
而在对其图像中，需要的算力，Google Camera也应用了高通 Hexagon DSP 来提升HDR+的表现。
在天文摄影中，有一种被称作 幸运成像 Lucky imaging 的解决方案。
在地表的观测状态，以多次的短时曝光，然后选择其中受大气等影响少的图像进行移动与叠加，生成高质量图片（相比单张）的技术。
Google的多张合成，也受到了这种技术的影响。
HDR+原初版本，差不多与GCam同期于2014年登场，应用了一种叫做 Zero Shutter Lag , ZSL 的技术。
这一技术由 高通 Qualcomm 提出，其基于图像传感器的高速读出及处理器的即时处理，最早在2011年演示；高通将这一部分功能集成于其 Spectra ISP 内，相当一段时间，仅在高级的骁龙8系的处理器上提供，直到2017年，随着市场变化，将其下沉到6系骁龙处理器。
后续又有了 HDR+ Enhanced ，这一工作模式不具有ZSL特性，而保有正向的快门延迟 PSL，即按下快门钮后开始叠加；差不多为Pixel3世代添加。
而在Pixel 4世代 (2019)，Google又提出了一项功能，称作 Live HDR+，这一功能除了强调本身接近“所见即所得”的实感效果，也从直出成像，到保留用户前后期的调节空间，这一附带功能称作 Dual Exposure Controls，双曝光控制 —— 与之前整段式的调节不同，使用者可以干预亮部和暗部的具体分布表现。
通俗来说，以往的曝光控制（曝光补偿）是在横轴上平移直方图；而新的功能，则是在不同区域内放大或缩小这种表现。
不同代之间的HDR+，性能也是不同的，这种差异可能超乎想象。
在2017年4月，由工程师 Florian Kainz 的论文中提及的实验性方法，也潜移默化影响了之后的发展。
可以看到这种惊人效果。
也在其后成为了Pixel2，乃至Pixel3上的改进项目。
以上图片来自 Ai GoogleBlog，提供的文件为Webp，转制为jpg。
可访问原始文章找到全分辨率图像。
作者在之后还论述了图像对齐的思路。
在2018年初的公开数据集文档里，Google也将Pixel和Pixel2世代的手机，凭借单摄而在DxO的手机摄像头排名中前列成绩，归功于HDR+的应用。
数据集以CC-BY-SA发布。谷歌还专门建立了一个站点。
http://hdrplusdata.org/
数据集也在其上公布，任何人都可以下载。
以相同协议使用
Panorama 这个词直译就是全景 ，狭义的概念就是包括 360x180 范畴的图像，但随着更多的滥用，这个词逐渐失去原本狭义所指。
有人尝试以 「宽景」作为这类，比一般照片稍宽，但又不及360x180的图像的名称；
在日文中，以和制汉语的「全天球」专门指称 360x180 图像。差不多对应的概念，就是英文的「Photo Sphere」。
但不得不说，目前中文领域的滥用依旧存在。
通过镜头移动来达到“扫描式全景拍摄”的方案，最早可能见于索尼的BIONZ装配机型，初代的 WX/HX/TX 消费级数码相机。
而下一个里程碑，就是 iOS 6 ，开放了全景扫描模式。
另外一边，2013年，理光公司推出了消费级的双目全景相机 THETA ，本博客也多次提及，相当有标杆属性的系列。
所以在2014年的更新，很有意义。
利用手机本身的加速度传感器，完成了对图像间的校正；
从使用角度来说，中心球的提示也非常利于一般用户……
虽然一般用户往往是试一次就再也不玩了
全景老司机kmnet也有写过专门的教程。
此处为全景演示
相对不好2点：
使用多张图像拼合的全天球图片，一个常见的问题就是图像撕裂。
这在传统拍摄中，归结于光心位置不准造成的，通常需要更好的前期对齐工作进行补正；
在手机拍摄条件下，要求用户有全景摄影师的设备调校素养，并不现实。
Google Street View 街景团队也提出了一种新的，基于光流 Optical flow 的算法，来在后期对齐以消除/减少撕裂情况。
值得一提的是，2014年的球形照片在这年8月也登陆了iOS平台，于iTunes商店，以ID904418768提供，名称为 Photo Spheres ；之后颇为波折，成为了今天的 Google Street View 应用，以中文版访问，则是「Google街景」或「Google街景服務」，除了支持消费级全景相机，仍然保留了该功能。
而在 Google AI 这边，开始用全景图来作为素材，训练机器，从中截取并加强，试图混入专业级图片队伍。
2017年7月的文章
简单说一下 Live Photo ，这是一种混合了图像和视频的拍摄包；内里有一个全分辨率的照片，以及在该照片前后一段时间（1.5秒）的全高清视频片段，带有声音信息。
虽然在之前，如黑莓、HTC还有诺基亚都有推出类似的产品，但是显然这个时代的麦克风是在苹果手里。
例如Google也不得不向苹果看齐，推出了对应的 Motion Photos
该功能也作为独立应用提供：
iOS版本可以对 Live Photos 进行编辑。
但是超出想象的一件事，这玩意在2016年10月先提供的iOS版，在2017年约7月才加入了Android版本。
Motion也加入了AR支持，例如文字跟随；还有更好的细节展现。
因为是视频应用，也和之前在Youtube上的后制防抖有联系，比较好的展现，就是在Pixel 2上 —— Pixel 2 在DxO的摄像评分也值得关注。
以及，Google在2017年发了一款甜点级的硬件，Google Clips，相信也有交互内容。
在2014年，也就是 Google相机 程序推出的时候，第一波带来的就是虚化功能，非常谦虚地称之为 Lens Blur 镜头模糊。
但是所谓模糊，也不是瞎糊的。
在较大幅面，如135规格相机和大光圈镜头的表现中，背景的模糊也是遵循由近及远的渐进变化。
粗糙的 抠图-统一模糊 是不自然的。
如何获得深度信息呢？
从仿生的角度来说，就需要利用立体视觉，最常见的例子，就是同一方向的双眼成像，错开一定距离的两个眼球/相机，获得的图像有细微的差异，这种差异，也就是视差，提供了生物关于远近距离的额外信息。
Google的做法是，在开始拍摄后，让用户提手将手机缓慢向上移动一段距离，期间摄像头工作，获得不同的视觉信息，计算出深度图。
图片来自Google+上的公开信息，由官方提供。
还记得当时试用有一个发现，如果背景里有识别到人脸，会自动不予虚化，但是结果就是在整体的虚化中露出一脸，颇为喜感。
也没有选项关闭这个识别功能
在2017年，随着同期的 iPhone ，以及 Android 阵营的许多旗舰机配置了双镜头，带来了更为简单的模拟虚化效果；Google同期的 Pixel 2 却仍然采用单镜头设计，这时也通过Camera应用提供了虚化支援。
由于 Pixel 2 使用的是 Dual Pixel 类的设计，所以在单逻辑像素下有两个子像素，它们在空间位置上仍然有细微差别；
这种差别在原理上接近视差，或者可以认为它们就是在镜头同光孔径范畴内的视差，约1mm，对于传统方式无法应用。
Google给出一个，只有这个时代才有，而且特别Google的一个方案……让机器来学习这种细微的差异，然后给出一个通用集。
Google使用了 TensorFlow Mobile 作为工具
略带好的一个消息是，这个功能是基于HDR+的；
对于Pixel 2 来说，HDR+功能会自动拍摄10张，所以有一个序列的、略带差异的照片可以进行分析使用；相比单张的情况，更为亲切。
实际的识别过程更为复杂，包括了对于背景物体信息的识别等。
而且论文作者也提出，这种训练对于后景的虚化很好，但是前景虚化无法实现。
不过总体而言，以手机拍摄的照片来说，Google 的 单镜头 Portrait Mode 给出了一个前人几乎难以完成的方案。
在Camera应用之外，Google在2018年3月1日，还放出了一段关于视频中实时背景分离效果的展示。
双摄的方案里，在苹果iOS平台，值得一提的是 focos 工具。
可以参见之前的文章。
除了融入诸如Motion Stills等应用，也独立成组。
超分辨率 Superresolution 简写作SR 同样有久远的历史。
我小学时读的启蒙《数字化生存》，就提及了相关内容。
基本原理在于，不同图像采集彼此 像素之间 的空间中的信息，从而提升信息表现。
相关的应用在21世纪的第二个十年，频繁出现在照相机上，成为一种提升分辨率的有效手段，也是计算摄影的一大展现。
Pixel Shift 功能，各厂商名称并不一致；较常见如「像素偏移」「像素位移」等。
在中国大陆之爱好者群体，有以「摇摇乐」称呼。
除了厂商提供的官方方案之外，也有爱好者摸索出用于通用机型的解决。
Ian Norman 在2015年撰文，叙述了使用手持拍摄，与 Adobe Photoshop 的后制技巧。
这种方案的一大消耗，便是图像对齐；
相比起传统数码相机应用的弱鸡处理器，手机日新月异的旗舰显然更值得发挥。
同样是2015年，iOS平台出现了一款 Hydra 应用，可以提供原生4倍像素的合成。
所以在Google来说，这个方案出现似乎显得稍微晚了那么一些。
但是好像又很合适。
Android一些厂商甚至开始尝试三镜头，其中一枚划拨为中焦应用；
而iPhone的态度，就是以28+56mm的阵容来进行双镜头配置。
不知道为什么一直坚持单镜头设计的Google，似乎也在尝试推进软件方案的可行性；
这样，以方案弥补变焦的需求，就变得稍微急迫了起来。
如果易用性好，其实未来的多镜头配置有望朝向超广角（Ultra Wide）发展，而可以适当回缩在中长焦上的布置。
2022年登场的Pixel7带来了更好的Super Res Zoom功能，
在2023年，有文章详尽解释了其中进化。
放的越大，AI参与越多。
刚公布的时候列举了一张与之前发布的 iPhone XS 拍摄图的比较。
当时大家反应是，怎么 Google 也学坏了，发布个功能也碰瓷 iPhone 了。
Night Sight 本质上还是多帧叠加，并且类似于HDR+的欠曝帧获得正常亮度。
但实际上Google还解决了很多夜拍的问题，比如夜晚各类野鸡光线的色准问题，以及在抖动与曝光时间中的取舍。
相比于解决问题，在 准AI 时代，也许认清问题反而更加重要。
例如对于“暗”的讨论，既有关于照度方面，也有从艺术审美上的考量：
Google 的技术部门也乐于分享这些思考，
在 AI Blog 以及 Blog.Google 上的两篇文章，虽然有一定重叠，但是从不同角度解释了这种技术。
在展示的动图自拍例子中，左边为一系列原始序列，其均为欠曝光状态；
由于其使用的均为ISO无关传感器，所以可以用于HDR+处理；
在处理过程中，选定“关键帧”作为轮廓基础，其他的帧用于加强这种轮廓。
这一点是和以往HDR或多帧处理不太一样之处，即便是实例的这种具有运动的，传统叠加往往是模糊一团，而关键帧方案则至少可以保证清晰（附作用则是动区的噪点会较静止区多）。
目前Google方面也指出，白天当然也可以用，并且会有所提升，所以不晓得该功能，是否会代入到新的HDR+本体。
而在易用性方面，GCam也考虑了手机的实际拍摄环境，会根据光线与震动，来决定每帧长短。
手持的条件下，晃动是在所难免的；选择较短的曝光时间帧，可以使得（可能的）晃动幅度较小，即在轮廓上较为清晰；作为补偿，需要更多的帧叠加。
而稳定条件下，使用较长曝光时间帧，利于减少合成时的对齐工作量。
在该例子中，虽然稳定条件的画质更好，但即便是手持，也有不错的可用性。
更新：
2019年9月，装配A13处理器的 iPhone 11 系带来了自己的夜拍模式，称作 Night Mode。
预估原理类似，DPReview等网站也有与Pixel3的对比。
2019年10月，Pixel4世代发布，NS功能有提升；
可以进行银河的拍摄。有民间称之为 Astronomy mode，但依然算作在 Night Sight 分类下。
该升级也惠及 Pixel 3及3a
https://www.androidpolice.com/2019/10/15/pixel-3-pixel-3a-astrophotography/
Go Ando (@goando)差不多在十月底得到了自己的Pixel4，于是来了一场 iPhone11 Pro、Pixel 4以及客座嘉宾 Sigma FP的对比。
虽然说拍星星这码事，在一些Android厂商里吹了许多年，但是对于Google方面，还是第一次。
这种审美疲劳下的再出发，其实本不是什么讨巧的事，奈何摊开一看，确实是实力选手。
相比之前的手持可解，这次需要用上三脚架进行4分钟的曝光，也算是豁出去了
—— 甚至，以一台智能手机而言，圈点这样的功能，也有一些过分的意味。
Astrophotography with Night Sight on Pixel Phones
有兴趣的话，可以看看 2017年末的
Introducing Appsperiments: Exploring the Potentials of Mobile Photography
小众软件也有介绍。
无论是合作的Nexus，或者是自研的Pixel，Google系的“亲儿子”手机与同期市面的竞争机型不太一样，往往不太讲求硬件堆料，甚至于一直给人一种硬件素质上平平无奇的观感，似乎全靠软件调校。
但GCam开发显然也与基础硬件有相当的合作；
这个道理大概换一个方式讲，吃透了平平无奇的硬件，有了深入理解，才可能比别人在软件调校上有更多的发挥空间。
之后的Google自有手机的处理器配置是这么个情况：
Google的硬体其实一直有与多家ARM制造商有接触。
除了高通公司，黄老板的NVIDIA旗下的Tegra系列芯片也不乏合作，
例如2012年款的 Nexus 7，处理器为Tegra 3；
2014年 Nexus 9，配置 Tegra K1；
而2015年款Pixel C平板，更是用上了当时先进的Tegra X1，这一处理器性能到2018年才由骁龙845超越。
高通骁龙系列的CPU，特别是8系，也是市售旗舰手机芯片的标杆。
Nvidia的芯片虽然强，但功耗略高，后续也转战车载平台，倒是近年来又在开发板上大放异彩；联发科在这一阶段的性能就好像差点意思；同样是ARM旗舰代表的苹果A系，并不拿出来卖。
2022年更新
2021年，Google可以说痛定思痛，或者反过来讲，长期谋划一朝出世，以Pixel6推出了自研的Google Tensor SoC，应该也是在长期开发过程中获得的经验积累而成。
在 Pixel2 世代开始，Google为视觉处理这块，装配了专门的协处理器，其称作 Pixel Visual Core。
虽然关于Google自研芯片的传闻沸沸扬扬，但是 Pixel Visual Core 算是消费级实锤的第一款协处理器产品，主要是针对机器学习 Machine Learning 部分的辅助计算。
同一世代的移植版GCam，在其他机型上表现往往不如Pixel流畅，与此也有关系。
可能是考虑到其基础为机器学习的神经网络，且未来用途不仅局限于视觉，
在Pixel 4 世代，谷歌将协处理器改名为 Neural Core。
在 Pixel 3 世代，作为经济型的 Pixel 3a，从成本考量，配置了6系骁龙处理器，并且取消了Pixel Visual Core装配；而2020年8月登场的Pixel 4a，也不配置 Neural Core，这两款机型以主处理器的ISP来承担这部分运算任务，虽然性能上有差异，但也能维持较好的表现。
到了2020年的 Pixel 5，不再配置 Neural Core，可以说是Google自研协处理器告一段落，再次登场便是 Pixel 6 的“主处理器”。
Pixel 4 上也在镜头之外，首次配置了深度感测传感器；
手机为平台的可能性发展，突然来到了一片新的领域，即实体建模。
2020年初，Apple公司发布的 iPad Pro，
也配置了深度传感器，并且第三方应用迅速出现了关于建模的案例。
反而更多的都是市售量产款，便宜大碗。
特别值得一提的是，自 Pixel2 世代开始，就热爱上 Dual Pixel 架构的传感器；
除了明显的对焦因素，关于景深识别等效果，可能也是内在因素。
Pixel 系列手机的后置主传感器（据信）：
也许伴随未来 Quad Pixel 的进取，Google或许会在新的架构下实现更多功能。
不过Google在图像传感器上的升级似乎并不热衷，
相比其他Android厂商，乐于与索尼半导体「联合开发」买断一种型号的做法，我都怀疑Google是不是批发了一堆老款放在仓库里慢慢用。
不仅是我抱怨，Pixel 的这种“散漫”也被媒体批评
散漫归散漫，翘课的学生还能保持名列前茅，也是很奇特。
2021年更新的大跨步新款，Pixel 6，据信采用了来自三星半导体的GN1，为一片标称50MP，具备 Quad-Bayer 结构的图像传感器，也是打破了多年不变的配置。
其物理规格达到了1/1.31英寸，在Google的多年发展下是比较「大块头」的传感器了。
不过也是很让人期待，Pixel产品何时会上1英寸的车。
小结
关于视觉研究方面的内容，除了GCam，Google曾经也尝试生产一种相机硬件，虽然主打背后的AI，不过市场接受度极低。
Google Clips 也成为了Google坟场里的一员。
一开始，Google基于8系适配的Camera APP，被非官方修改之后，移植使用（同样骁龙8系的Android手机），并且可以实现绝大多数功能。
初代的Pixel独占的Google Camera，被 开发者BSG 修改，一直到 820/821/835 机型上。该修改版本在 xda-developers 上发布，后经 the verge报道。
Google在Pixel 2上配置了 Portrait Mode ，作为对苹果，以及其他双摄机型虚化的一种回应。这种机器学习的做法很新颖，但是用户更关心自己的单摄能否用到。
2018年1月，相关移植也在 xda 上发布，过了几天，扩大了支持机型范围。
也就是说，市售的机型，只要应用的是骁龙较新的8系列CPU（主要是相关ISP），就都可以用上 Google Camera ，其中收益最大的，主要是HDR+方面带来的画面表现提升。
其中比较关键的，是在骁龙820开始，装配的 Qualcomm Hexagon 680 DSP 。2015年登场的介绍文可能并不惊艳，实际在HDR+应用中才显现威力。
其英文维基百科介绍
对比起自研Android的Google，整个画风就不太一样。
当然，我并不是说这其中有什么联系。
也许真的只是很巧呢？
很有意思。
而苹果在2018年9月份发布了新的iPhone：
比如类似HDR+的序列拍摄，推进到了12张。
XR上的单镜头虚化，也是『高度相像』Google Pixel 2 的机器学习实现。
也许确实是有存在合作。又或者是一同基于相同思路的衍生复现。
谁知道呢？
之乎 于2018-10-30 简书版本
2019-10-17 更新Pixel4世代的相关进展
2020-08-24 版面修订，Pixel4a更新
2022-03-17 改进可读性
一开始在2014年的4月，登陆了Play商店，但是随后到了2016年，渐渐淡出安卓通用领域，后续在自己的Nexus与Pixel设备上提供。
 |
| Google 相机图标 |
Ai Blog 有Google内部对功能思考的分享，也提供了一个管中窥豹的机会，不妨以此解读一下Google Camera的发展。
本文藉此大概齐地梳理一下发展脉络，细节比不过相关文章本身；
但因为也给出了英文原文的链接，如果愿意，以本文作为一份GCam发展中文索引，大约也是极好的。
本文最后更新日期
2023-04-19
目录
- 功能
- HDR+
- 全景与真全景 Panorama & Photo Sphere [跳转]
- 动态图 Motion [跳转]
- 模拟虚化 Lens Blur & Portrait Mode [跳转]
- 增强现实 AR Stickers [跳转]
- 超分辨率变焦 Super Res Zoom [跳转]
- 夜视 Night Sight [跳转]
- 其他
- 硬件
- 主处理器 SoC
- 协处理器
- 图像传感器
- 意料之外的故事发展
- 移植修改版
- 其他厂商
- 参考与引用
功能
△HDR+
HDR+是在初代就提供的功能。高动态范围成像 High Dynamic Range Imaging 的相关技术有相当长的探索期，甚至可以追溯到19世纪摄影师 Gustave Le Gray；
而实际一些的，具有突破性的当代技术，应该论及在1997和1998年，于SIGGRAPH上，由 Paul Debevec 提交的论文。
HDR图像制作通常有两部分内容：
- 宽域信息采集
- 色调重新映射
1.1.短间隔内拍摄不同曝光的影像
1.2.同时间内，在帧内的不同行采用不同曝光
前者需要对齐，有时候不适合动体；
而后者损失一半分辨率。
Google应用的还是前序方案，并且比传统的两张更为激进，为一次性拍摄多张，进行合成；这样可以在扩大动态范围的同时，获得较好的色彩表现。
而在对其图像中，需要的算力，Google Camera也应用了高通 Hexagon DSP 来提升HDR+的表现。
在天文摄影中，有一种被称作 幸运成像 Lucky imaging 的解决方案。
在地表的观测状态，以多次的短时曝光，然后选择其中受大气等影响少的图像进行移动与叠加，生成高质量图片（相比单张）的技术。
Google的多张合成，也受到了这种技术的影响。
HDR+原初版本，差不多与GCam同期于2014年登场，应用了一种叫做 Zero Shutter Lag , ZSL 的技术。
这一技术由 高通 Qualcomm 提出，其基于图像传感器的高速读出及处理器的即时处理，最早在2011年演示；高通将这一部分功能集成于其 Spectra ISP 内，相当一段时间，仅在高级的骁龙8系的处理器上提供，直到2017年，随着市场变化，将其下沉到6系骁龙处理器。
后续又有了 HDR+ Enhanced ，这一工作模式不具有ZSL特性，而保有正向的快门延迟 PSL，即按下快门钮后开始叠加；差不多为Pixel3世代添加。
而在Pixel 4世代 (2019)，Google又提出了一项功能，称作 Live HDR+，这一功能除了强调本身接近“所见即所得”的实感效果，也从直出成像，到保留用户前后期的调节空间，这一附带功能称作 Dual Exposure Controls，双曝光控制 —— 与之前整段式的调节不同，使用者可以干预亮部和暗部的具体分布表现。
通俗来说，以往的曝光控制（曝光补偿）是在横轴上平移直方图；而新的功能，则是在不同区域内放大或缩小这种表现。
不同代之间的HDR+，性能也是不同的，这种差异可能超乎想象。
在2017年4月，由工程师 Florian Kainz 的论文中提及的实验性方法，也潜移默化影响了之后的发展。
 |
| 32帧2秒曝光，加上32帧的黑场平均叠加，最终的成效。由Nexus 6P拍摄的RAW合成 |
 |
| 同地点，使用当时的Nexus 6P的HDR+手持拍摄，特别区块为在PS中直接提亮的效果 |
可以看到这种惊人效果。
也在其后成为了Pixel2，乃至Pixel3上的改进项目。
以上图片来自 Ai GoogleBlog，提供的文件为Webp，转制为jpg。
可访问原始文章找到全分辨率图像。
作者在之后还论述了图像对齐的思路。
在2018年初的公开数据集文档里，Google也将Pixel和Pixel2世代的手机，凭借单摄而在DxO的手机摄像头排名中前列成绩，归功于HDR+的应用。
数据集以CC-BY-SA发布。谷歌还专门建立了一个站点。
http://hdrplusdata.org/
数据集也在其上公布，任何人都可以下载。
以相同协议使用
△全景与真全景 Panorama & Photo Sphere
Panorama 与 Photo Sphere 也都是初代具有的功能。Panorama 这个词直译就是全景 ，狭义的概念就是包括 360x180 范畴的图像，但随着更多的滥用，这个词逐渐失去原本狭义所指。
有人尝试以 「宽景」作为这类，比一般照片稍宽，但又不及360x180的图像的名称；
在日文中，以和制汉语的「全天球」专门指称 360x180 图像。差不多对应的概念，就是英文的「Photo Sphere」。
但不得不说，目前中文领域的滥用依旧存在。
通过镜头移动来达到“扫描式全景拍摄”的方案，最早可能见于索尼的BIONZ装配机型，初代的 WX/HX/TX 消费级数码相机。
而下一个里程碑，就是 iOS 6 ，开放了全景扫描模式。
另外一边，2013年，理光公司推出了消费级的双目全景相机 THETA ，本博客也多次提及，相当有标杆属性的系列。
 |
| RICOH THETA V。之乎拍摄 |
所以在2014年的更新，很有意义。
利用手机本身的加速度传感器，完成了对图像间的校正；
从使用角度来说，中心球的提示也非常利于一般用户……
虽然一般用户往往是试一次就再也不玩了
全景老司机kmnet也有写过专门的教程。
此处为全景演示
相对不好2点：
- 全景照片往往整体跨越多光比区段，如果在拍摄前进行一个预测光，效果往往会好很多，也更利于展现算法优势 这也是大疆 DJI 的无人机的全景模式没做到的一点
- 画面中出现意料之外的动体，Google未提供补拍机会
使用多张图像拼合的全天球图片，一个常见的问题就是图像撕裂。
这在传统拍摄中，归结于光心位置不准造成的，通常需要更好的前期对齐工作进行补正；
在手机拍摄条件下，要求用户有全景摄影师的设备调校素养，并不现实。
Google Street View 街景团队也提出了一种新的，基于光流 Optical flow 的算法，来在后期对齐以消除/减少撕裂情况。
值得一提的是，2014年的球形照片在这年8月也登陆了iOS平台，于iTunes商店，以ID904418768提供，名称为 Photo Spheres ；之后颇为波折，成为了今天的 Google Street View 应用，以中文版访问，则是「Google街景」或「Google街景服務」，除了支持消费级全景相机，仍然保留了该功能。
 |
| iTunes香港商店截图，这款在中国大陆商店没有 |
而在 Google AI 这边，开始用全景图来作为素材，训练机器，从中截取并加强，试图混入专业级图片队伍。
2017年7月的文章
△动态图 Motion
2015年，苹果随着iPhone6s，推出了 Live Photo 实况照片，这个功能在2016年，由iOS端的Google Photos支持（支持进行备份）。简单说一下 Live Photo ，这是一种混合了图像和视频的拍摄包；内里有一个全分辨率的照片，以及在该照片前后一段时间（1.5秒）的全高清视频片段，带有声音信息。
虽然在之前，如黑莓、HTC还有诺基亚都有推出类似的产品，但是显然这个时代的麦克风是在苹果手里。
例如Google也不得不向苹果看齐，推出了对应的 Motion Photos
该功能也作为独立应用提供：
- Google上的页面
- Motion Stills - Play商店版本
- Motion Stills - iTunes应用商店
iOS版本可以对 Live Photos 进行编辑。
但是超出想象的一件事，这玩意在2016年10月先提供的iOS版，在2017年约7月才加入了Android版本。
Motion也加入了AR支持，例如文字跟随；还有更好的细节展现。
因为是视频应用，也和之前在Youtube上的后制防抖有联系，比较好的展现，就是在Pixel 2上 —— Pixel 2 在DxO的摄像评分也值得关注。
以及，Google在2017年发了一款甜点级的硬件，Google Clips，相信也有交互内容。
△模拟虚化 Lens Blur & Portrait Mode
Lens Blur功能在初代提供，Portrait Mode则是Pixel 2世代加入。在2014年，也就是 Google相机 程序推出的时候，第一波带来的就是虚化功能，非常谦虚地称之为 Lens Blur 镜头模糊。
但是所谓模糊，也不是瞎糊的。
在较大幅面，如135规格相机和大光圈镜头的表现中，背景的模糊也是遵循由近及远的渐进变化。
粗糙的 抠图-统一模糊 是不自然的。
 |
| Google演示中的例子，中间灰度图像，就是深度图，可以以此与左边的原图进行混合计算，得到右侧的效果 |
从仿生的角度来说，就需要利用立体视觉，最常见的例子，就是同一方向的双眼成像，错开一定距离的两个眼球/相机，获得的图像有细微的差异，这种差异，也就是视差，提供了生物关于远近距离的额外信息。
Google的做法是，在开始拍摄后，让用户提手将手机缓慢向上移动一段距离，期间摄像头工作，获得不同的视觉信息，计算出深度图。
 |
| 这种计算整体自然 |
还记得当时试用有一个发现，如果背景里有识别到人脸，会自动不予虚化，但是结果就是在整体的虚化中露出一脸，颇为喜感。
也没有选项关闭这个识别功能
在2017年，随着同期的 iPhone ，以及 Android 阵营的许多旗舰机配置了双镜头，带来了更为简单的模拟虚化效果；Google同期的 Pixel 2 却仍然采用单镜头设计，这时也通过Camera应用提供了虚化支援。
由于 Pixel 2 使用的是 Dual Pixel 类的设计，所以在单逻辑像素下有两个子像素，它们在空间位置上仍然有细微差别；
这种差别在原理上接近视差，或者可以认为它们就是在镜头同光孔径范畴内的视差，约1mm，对于传统方式无法应用。
Google给出一个，只有这个时代才有，而且特别Google的一个方案……让机器来学习这种细微的差异，然后给出一个通用集。
Google使用了 TensorFlow Mobile 作为工具
略带好的一个消息是，这个功能是基于HDR+的；
对于Pixel 2 来说，HDR+功能会自动拍摄10张，所以有一个序列的、略带差异的照片可以进行分析使用；相比单张的情况，更为亲切。
 |
| 效果展示 |
实际的识别过程更为复杂，包括了对于背景物体信息的识别等。
而且论文作者也提出，这种训练对于后景的虚化很好，但是前景虚化无法实现。
不过总体而言，以手机拍摄的照片来说，Google 的 单镜头 Portrait Mode 给出了一个前人几乎难以完成的方案。
在Camera应用之外，Google在2018年3月1日，还放出了一段关于视频中实时背景分离效果的展示。
双摄的方案里，在苹果iOS平台，值得一提的是 focos 工具。
可以参见之前的文章。
△增强现实 AR Stickers
事实上，Google的AR尝试可能更多在其他程序上展现，例如 Google Goggles (2009) 与 Google Lens (2017)除了融入诸如Motion Stills等应用，也独立成组。
△超分辨率变焦 Super Res Zoom
该功能在2018年的 Pixel 3 世代装配。超分辨率 Superresolution 简写作SR 同样有久远的历史。
我小学时读的启蒙《数字化生存》，就提及了相关内容。
基本原理在于，不同图像采集彼此 像素之间 的空间中的信息，从而提升信息表现。
相关的应用在21世纪的第二个十年，频繁出现在照相机上，成为一种提升分辨率的有效手段，也是计算摄影的一大展现。
| 机型 | 推出年份 | 应用像素提升 |
|---|---|---|
| Hasselblad H4D 200MS | 2011 | 50MP -> 200MP |
| Olympus E-M5 MarkII | 2014 | 16MP -> 64MP |
| Pentax K3 II | 2014 | 24MP |
| SONY α7R III | 2017 | 42MP |
- 仅收录同厂牌第一台实现之机型
- 宾得方案为输出等大，但色彩表现更好之图像
Pixel Shift 功能，各厂商名称并不一致；较常见如「像素偏移」「像素位移」等。
在中国大陆之爱好者群体，有以「摇摇乐」称呼。
除了厂商提供的官方方案之外，也有爱好者摸索出用于通用机型的解决。
Ian Norman 在2015年撰文，叙述了使用手持拍摄，与 Adobe Photoshop 的后制技巧。
这种方案的一大消耗，便是图像对齐；
相比起传统数码相机应用的弱鸡处理器，手机日新月异的旗舰显然更值得发挥。
同样是2015年，iOS平台出现了一款 Hydra 应用，可以提供原生4倍像素的合成。
所以在Google来说，这个方案出现似乎显得稍微晚了那么一些。
但是好像又很合适。
Android一些厂商甚至开始尝试三镜头，其中一枚划拨为中焦应用；
而iPhone的态度，就是以28+56mm的阵容来进行双镜头配置。
不知道为什么一直坚持单镜头设计的Google，似乎也在尝试推进软件方案的可行性；
这样，以方案弥补变焦的需求，就变得稍微急迫了起来。
如果易用性好，其实未来的多镜头配置有望朝向超广角（Ultra Wide）发展，而可以适当回缩在中长焦上的布置。
2022年登场的Pixel7带来了更好的Super Res Zoom功能，
在2023年，有文章详尽解释了其中进化。
- How Pixel's Super Res Zoom works [2023-04-12] Molly McHugh-Johnson
放的越大，AI参与越多。
△夜视 Night Sight
夜视 Night Sight 是在 Pixel 3 发布时公告的功能，但实装是约2018年11月14～15日（时差关系）。刚公布的时候列举了一张与之前发布的 iPhone XS 拍摄图的比较。
当时大家反应是，怎么 Google 也学坏了，发布个功能也碰瓷 iPhone 了。
 |
| 左边iPhoneXS，右边Pixel 3开启NS功能 |
Night Sight 本质上还是多帧叠加，并且类似于HDR+的欠曝帧获得正常亮度。
但实际上Google还解决了很多夜拍的问题，比如夜晚各类野鸡光线的色准问题，以及在抖动与曝光时间中的取舍。
相比于解决问题，在 准AI 时代，也许认清问题反而更加重要。
例如对于“暗”的讨论，既有关于照度方面，也有从艺术审美上的考量：
| 照度 | 形容 |
|---|---|
| 300 lux | 通常的办公室照明 |
| 150 lux | 家里台灯 |
| 50 lux | 大部分饭馆 |
| 20 lux | 暗戳戳饭馆的氛围光线 |
| 3 lux | 街灯照明水平 |
| 1 lux | 能读报纸上字的极限 |
| 0.6 lux | 满月时的地表吧 |
| 0.3 lux | 地板上找不到钥匙 |
| 0.1 lux | 不带手电筒就别出门了 |
 |
| AI Blog文章专门拎出来油画例子，谈论暗光下的“暗”。 |
Google 的技术部门也乐于分享这些思考，
在 AI Blog 以及 Blog.Google 上的两篇文章，虽然有一定重叠，但是从不同角度解释了这种技术。
 |
| 左边为原始帧的序列，右边为成品 |
在展示的动图自拍例子中，左边为一系列原始序列，其均为欠曝光状态；
由于其使用的均为ISO无关传感器，所以可以用于HDR+处理；
在处理过程中，选定“关键帧”作为轮廓基础，其他的帧用于加强这种轮廓。
这一点是和以往HDR或多帧处理不太一样之处，即便是实例的这种具有运动的，传统叠加往往是模糊一团，而关键帧方案则至少可以保证清晰（附作用则是动区的噪点会较静止区多）。
目前Google方面也指出，白天当然也可以用，并且会有所提升，所以不晓得该功能，是否会代入到新的HDR+本体。
而在易用性方面，GCam也考虑了手机的实际拍摄环境，会根据光线与震动，来决定每帧长短。
 |
| 左边为手持，机器自决用较短但更多的帧；右边上脚架，稳定情况较好，使用较长的帧叠加。 |
而稳定条件下，使用较长曝光时间帧，利于减少合成时的对齐工作量。
在该例子中，虽然稳定条件的画质更好，但即便是手持，也有不错的可用性。
更新：
2019年9月，装配A13处理器的 iPhone 11 系带来了自己的夜拍模式，称作 Night Mode。
预估原理类似，DPReview等网站也有与Pixel3的对比。
2019年10月，Pixel4世代发布，NS功能有提升；
可以进行银河的拍摄。有民间称之为 Astronomy mode，但依然算作在 Night Sight 分类下。
该升级也惠及 Pixel 3及3a
https://www.androidpolice.com/2019/10/15/pixel-3-pixel-3a-astrophotography/
Go Ando (@goando)差不多在十月底得到了自己的Pixel4，于是来了一场 iPhone11 Pro、Pixel 4以及客座嘉宾 Sigma FP的对比。
夜の富士山をPixel 4で撮って来ました。— Go Ando / THE GUILD (at🏡) (@goando) October 27, 2019
Pixel 4の真価を見た...
月明かりも街灯もなく、足元も見えないくらいの真っ暗闇。肉眼では富士山のシルエットがわかる程度だったんですが、雪までハッキリと映っている。
1. Pixel 4 - 天体写真モード
2. Pixel 4 - 夜景モード
3. iPhone 11 Pro#Pixel4 pic.twitter.com/DPapR6BO5z
虽然说拍星星这码事，在一些Android厂商里吹了许多年，但是对于Google方面，还是第一次。
这种审美疲劳下的再出发，其实本不是什么讨巧的事，奈何摊开一看，确实是实力选手。
相比之前的手持可解，这次需要用上三脚架进行4分钟的曝光，也算是豁出去了
—— 甚至，以一台智能手机而言，圈点这样的功能，也有一些过分的意味。
Astrophotography with Night Sight on Pixel Phones
其他
Google在拍摄之外的后制段，也有一些发展，这些内容没有在Camera程序中体现。- Storyboard 一个拼贴叙述故事发展的程序，很有漫画风格，仅Android
- Selfissimo! 帮你更好的自拍……自拍是用数量堆出来的
- Scrubbies 当视频的DJ，仅iOS
以及部分 Motion Stills 程序内容。
有兴趣的话，可以看看 2017年末的
Introducing Appsperiments: Exploring the Potentials of Mobile Photography
小众软件也有介绍。
硬件
无论是合作的Nexus，或者是自研的Pixel，Google系的“亲儿子”手机与同期市面的竞争机型不太一样，往往不太讲求硬件堆料，甚至于一直给人一种硬件素质上平平无奇的观感，似乎全靠软件调校。
但GCam开发显然也与基础硬件有相当的合作；
这个道理大概换一个方式讲，吃透了平平无奇的硬件，有了深入理解，才可能比别人在软件调校上有更多的发挥空间。
主处理器，SoC
Google Camera在2014年4月推出，赶上推出半年的Nexus 5平台。之后的Google自有手机的处理器配置是这么个情况：
| 机型 | 推出年份/处理器 |
|---|---|
| Nexus 5 | 2013-10 |
| Snapdragon 800 | |
| Nexus 6 | 2014-10 |
| Snapdragon 805 | |
| Nexus 5X | 2015-09 |
| Snapdragon 808 | |
| Nexus 6P | 2015-09 |
| Snapdragon 810 | |
| Pixel Pixel XL | 2016-10 |
| Snapdragon 821 | |
| Pixel 2 Pixel 2 XL | 2017-10 |
| Snapdragon 835 | |
| Pixel 3 Pixel 3 XL | 2018-10 |
| Snapdragon 845 | |
| Pixel 3a Pixel 3a XL | 2019-05 |
| Snapdragon 670 | |
| Pixel 4 Pixel 4 XL | 2019-10 |
| Snapdragon 855 | |
| Pixel 4a | 2020-08 |
| Snapdragon 730G | |
| Pixel 5 | 2020-10 |
| Snapdragon 765G | |
| Pixel 5a | 2021-08 |
| Snapdragon 765G | |
| Pixel 6 Pixel 6 Pro | 2021-10 |
| Google Tensor (Cortex-X1 *2 Cortex-A76 *2 Cortex-A55 *4) | |
| Pixel 6a | 2022-05 |
| Google Tensor (Cortex-X1 *2 Cortex-A76 *2 Cortex-A55 *4) | |
| Pixel 7 Pixel 7 Pro | 2022-10 |
| Google Tensor G2 |
除了高通公司，黄老板的NVIDIA旗下的Tegra系列芯片也不乏合作，
例如2012年款的 Nexus 7，处理器为Tegra 3；
2014年 Nexus 9，配置 Tegra K1；
而2015年款Pixel C平板，更是用上了当时先进的Tegra X1，这一处理器性能到2018年才由骁龙845超越。
高通骁龙系列的CPU，特别是8系，也是市售旗舰手机芯片的标杆。
Nvidia的芯片虽然强，但功耗略高，后续也转战车载平台，倒是近年来又在开发板上大放异彩；联发科在这一阶段的性能就好像差点意思；同样是ARM旗舰代表的苹果A系，并不拿出来卖。
2022年更新
2021年，Google可以说痛定思痛，或者反过来讲，长期谋划一朝出世，以Pixel6推出了自研的Google Tensor SoC，应该也是在长期开发过程中获得的经验积累而成。
协处理器
除了主处理器，在 Pixel2 世代开始，Google为视觉处理这块，装配了专门的协处理器，其称作 Pixel Visual Core。
虽然关于Google自研芯片的传闻沸沸扬扬，但是 Pixel Visual Core 算是消费级实锤的第一款协处理器产品，主要是针对机器学习 Machine Learning 部分的辅助计算。
同一世代的移植版GCam，在其他机型上表现往往不如Pixel流畅，与此也有关系。
可能是考虑到其基础为机器学习的神经网络，且未来用途不仅局限于视觉，
在Pixel 4 世代，谷歌将协处理器改名为 Neural Core。
在 Pixel 3 世代，作为经济型的 Pixel 3a，从成本考量，配置了6系骁龙处理器，并且取消了Pixel Visual Core装配；而2020年8月登场的Pixel 4a，也不配置 Neural Core，这两款机型以主处理器的ISP来承担这部分运算任务，虽然性能上有差异，但也能维持较好的表现。
| Pixel Visual Core | |
|---|---|
| Google Pixel 2 & 2XL | 2017-10 |
| Google Pixel 3 & Pixel 3 XL | 2018-10 |
Pixel Neural Core
| |
| Google Pixel 4 & 4XL | 2019-10 |
Pixel 4 上也在镜头之外，首次配置了深度感测传感器；
手机为平台的可能性发展，突然来到了一片新的领域，即实体建模。
2020年初，Apple公司发布的 iPad Pro，
也配置了深度传感器，并且第三方应用迅速出现了关于建模的案例。
图像传感器
而在图像传感器方面，Google似乎不如其他厂商，例如小米或是华为一般，乐意与图像传感器的生产厂商，搞诸如深度定制的行为。反而更多的都是市售量产款，便宜大碗。
特别值得一提的是，自 Pixel2 世代开始，就热爱上 Dual Pixel 架构的传感器；
除了明显的对焦因素，关于景深识别等效果，可能也是内在因素。
Pixel 系列手机的后置主传感器（据信）：
| 机型 | 推出时间/主传感器 |
|---|---|
| Google Pixel 2 | 2017-10 |
| IMX362 | |
| Google Pixel 3 | 2018-10 |
| IMX363 | |
| Google Pixel 3a | 2019-05 |
| IMX363 | |
| Google Pixel 4 | 2019-10 |
| IMX363 | |
| Google Pixel 4a | 2020-08 |
| IMX363 | |
| Google Pixel 5 | 2020-10 |
| IMX363 | |
| Google Pixel 5a | 2021-08 |
| IMX363 | |
| Google Pixel 6 | 2021-10 |
| ISOCELL GN1 | |
| Google Pixel 6a | 2022-05 |
| IMX363 | |
| Google Pixel 7 | 2022-10 |
| ISOCELL GN1 |
不过Google在图像传感器上的升级似乎并不热衷，
相比其他Android厂商，乐于与索尼半导体「联合开发」买断一种型号的做法，我都怀疑Google是不是批发了一堆老款放在仓库里慢慢用。
不仅是我抱怨，Pixel 的这种“散漫”也被媒体批评
散漫归散漫，翘课的学生还能保持名列前茅，也是很奇特。
2021年更新的大跨步新款，Pixel 6，据信采用了来自三星半导体的GN1，为一片标称50MP，具备 Quad-Bayer 结构的图像传感器，也是打破了多年不变的配置。
其物理规格达到了1/1.31英寸，在Google的多年发展下是比较「大块头」的传感器了。
不过也是很让人期待，Pixel产品何时会上1英寸的车。
小结
关于视觉研究方面的内容，除了GCam，Google曾经也尝试生产一种相机硬件，虽然主打背后的AI，不过市场接受度极低。
Google Clips 也成为了Google坟场里的一员。
意料之外的故事发展
移植修改版
GCam的核心HDR+基于高通骁龙内置的ISP功能，而这一处理器也在市面手机机型中广泛应用，这就使得移植成为可能。一开始，Google基于8系适配的Camera APP，被非官方修改之后，移植使用（同样骁龙8系的Android手机），并且可以实现绝大多数功能。
初代的Pixel独占的Google Camera，被 开发者BSG 修改，一直到 820/821/835 机型上。该修改版本在 xda-developers 上发布，后经 the verge报道。
Google在Pixel 2上配置了 Portrait Mode ，作为对苹果，以及其他双摄机型虚化的一种回应。这种机器学习的做法很新颖，但是用户更关心自己的单摄能否用到。
2018年1月，相关移植也在 xda 上发布，过了几天，扩大了支持机型范围。
也就是说，市售的机型，只要应用的是骁龙较新的8系列CPU（主要是相关ISP），就都可以用上 Google Camera ，其中收益最大的，主要是HDR+方面带来的画面表现提升。
其中比较关键的，是在骁龙820开始，装配的 Qualcomm Hexagon 680 DSP 。2015年登场的介绍文可能并不惊艳，实际在HDR+应用中才显现威力。
其英文维基百科介绍
其他厂商
在手机营销上，中国大陆的一些厂牌，营销噱头做的比技术积淀多，往往是花头吹上天，拿出来的东西却不是那么回事。对比起自研Android的Google，整个画风就不太一样。
| 事件 | 时间 |
|---|---|
| Pixel 2的Google Camera移植修改版 于xda开发者论坛放出 | 2018-01 |
| Google正式开放HDR+数据集 | 2018-02 |
| Vivo 推出 Super HDR | 2018-03 |
| Oppo 推出 3-HDR | 2018-04 |
当然，我并不是说这其中有什么联系。
也许真的只是很巧呢？
很有意思。
而苹果在2018年9月份发布了新的iPhone：
- iPhone XS
- iPhone XS Max
- iPhone XR
比如类似HDR+的序列拍摄，推进到了12张。
 |
| 苹果声称，每张照片完成了 a trillion operations 一万亿次操作。Apple官网展示 |
XR上的单镜头虚化，也是『高度相像』Google Pixel 2 的机器学习实现。
也许确实是有存在合作。又或者是一同基于相同思路的衍生复现。
谁知道呢？
参考与引用
| GCam |
|---|
| * Google 相机 - Play商店页面 * Google Camera帮助页面 |
| HDR+ |
| 全景 Panorama |
| Motion |
| 模拟虚化 |
| AR |
| Super Res Zoom |
| Night Sight |
| 硬件 |
Google Camera 移植
|
之乎 于2018-10-30 简书版本
2019-10-17 更新Pixel4世代的相关进展
2020-08-24 版面修订，Pixel4a更新
2022-03-17 改进可读性
没有更新了吗？
回复删除