漫话Dual Pixel
Dual Pixel 是一种较特殊的图像传感器构造，近些年被应用在于提升片上相位对焦能力上。
由于涉及多个厂商产品，且应用日趋广泛，而互联网上整理总结较少，故做此笔记。
最后更新日期
2024-02-27
Dual Pixel 结构，在单像素的单一透镜下埋设了一对互相独立的光电二极管。
对于 拜耳滤镜 Bayer Filter 构造的图像传感器，也就是今日多见的RGBG类型，一个逻辑像素其实由RGBG共4个子像素构成。
这一功能基于的原理，仍然是相对传统的相位对焦。
这一模式在80s兴起的自动对焦单反系统上广泛应用。
也由于其为一种相位对焦，所以有时也被称作 Dual Pixel Phase Focus，简写 DPAF。
2010年富士胶片首先在EXR机型上实装了内嵌相位对焦点的图像传感器构造，
其将临近的一对像素，各遮蔽一半，获得来自相对方向的光线，进行对比，获得对焦物的相位信息，从而传递指导对焦的信息。
这一对像素无法重新参与到成像中。
佳能在此设想的基础上，将传感器中的所有像素都进行了分拆，成为由两个子像素构成，由此可以实现大面积的覆盖，以及在需要时重新参与成像。
佳能在Dual Pixel的应用上有较为重要的地位，这里着重介绍佳能的实现。
佳能将Dual Pixel构造，应用在两个目的上，皆有其自定的术语名称：
通常公认的，用于对焦的Dual Pixel CMOS AF，一般是追溯2013年诞生的70D上。
每一个像素其实可以分作左右两个子像素。
这样的结构，在可以进行对焦的同时，还可以回复参与成像；
同时，由于片上都是这样的构造，所以很容易做成 全片对焦搜索区域 ……当然，受限于一些条件，当时差不多是80%左右的范围，也已经很不错了。
无论如何，佳能至少把对焦功能普及到这些年的机身上，这对于它的本意也够了。
直到2020年，佳能把蓄谋已久的二代套了出来，在EOS R5机型上搭载，
名字叫 Dual Pixel CMOS AF II，
不过结构上应该没变，主要是加入了深度学习。
前一年的2019，奥林巴斯和松下前后脚给自己的对比度对焦加入了深度学习的辅助，
即便拍摄的人背对镜头，也可以跟踪到。
这部分其实一直叫做 iTR，即 intelligent Tracking and Recognition 智能追踪识别；
看起来是合二为一了。
里程碑机型：
Dual Pixel 在佳能机身也得到了广泛的应用，
Dual Pixel CMOS AF作为对焦辅助提升的万用金丹，普适性极强。
摄像机的部分应该存在缺漏，我对这条产品线实在不熟。
还有一台PowerShot序列，不可换镜头的G1X Mark III，装配了APS-C规格的传感器，显然是佳能自产的，也带上了Dual Pixel构造。
2013年开始配置这一构造，并且在技术验证和市场反馈上都有不错的反响。
2016年以后的机型，佳能大多都装配了DP构造。
但也有例外，例如2015年的EOS 5DS / 5DSR，作为50MP+选手，可能在工艺上限制等问题，当时并未配置这一功能。
还有就是，“祖传” 18MP的那片APS-C，因为老工艺的关系，也没能配置，这通常为低端机型配置。
严格来说，并不是所有的佳能EF镜头都支持全像素双核对焦，
所以佳能额外安排了一个兼容性列表以供查验：
全像素双核CMOS AF（Dual Pixel CMOS AF）对应镜头一览
值得一提的是，虽然名义上装配是2013年的70D，
但是从后来发展来看，可能早已布局。
2012年的摄像机型C100、C300，可以通过2014年2月固件方式打开功能。
说明在产品出厂时，至少早已装配了该构造的传感器。
虽然容量翻倍了，但是可以给后期留空间。
5D IV上实装了该功能，称作 「全像素双核RAW」～
佳能当时认为，有三个项目可以在后期调校：
呐，这是佳能自己在实验室里拍脑袋想出来的场景应用。
看上去很美。
但是媒体一用，似乎不是那么回事……
可能是自己也感觉到鸡肋，佳能也没有过多推广这一功能，后续的1D系列产品根本不提供；
反而是全画幅无反的EOS R，又把这一功能倒出来了。
这三个功能都需要在PC或mac上进行处理，无法在机内完成，所以需要一种保存了完全子像素信息的格式，也就是上方5D4菜单的内容选项。
佳能自己的处理软件，Digital Photo Professional DPP 可以解读这种信息并完成相对应的功能。
在2020年的R5世代，佳能额外提供了两个功能R5：
作为高级功能 Dual Pixel RAW 似乎限制了高端机型。
佳能在自己的EOS C300 III (2020)上，宣称有了可实现动态范围增加的传感器，Dual Gain Output，似乎与 Dual Pixel 结构的复用有一定关系，
不过这是我们要在摄像机章节提到的。
到了2024年CP+，佳能展示了利用DPCMOS来重构拍摄体3D的实验性进展。
一是大传感器的单反开始拍视频了，比如5D2；
二是M43为代表的无反出现了，比如松下G1。
这两个变化共同提出了对焦的挑战，即主传感器接受光线，而没有诸如反光镜来提供分光束进行对焦。
索尼公司的想法是固定式半透镜，富士胶片则在自己的小型数码机身上实践了称作EXR的构造。
这种内嵌相位点的做法，现在已经是大名鼎鼎。
但这带来一个问题，就是专职化的相位点，不参与成像，对于正经Bayer结构来说，这种摸鱼像素通常成比例出现，无论是32个里头存在一个，或者是16个里头分配一个，它总是在降低整体的画质。
富士反而没怎么挖掘，不过引起了索尼和佳能的注意。
佳能的步子显然很大，全部像素都可以用于对焦，也不影响成像；
而在视频拍摄中也可以实现相位对焦，也省去了新开发对比度对焦的精力 —— 佳能在2012年搞过一次，EOS M 的问题惨不忍睹。
索尼公司在早期，差不多是 NEX-5R / NEX-6 的年代，试验性采用了内嵌相位点的传感器构型，但效果依然不佳；
在此后有了两组技术分别路线，一个是更加密集的相位点嵌入，另一个则是后文提及的2x2规格。
每年诞生的智能手机可能浩如烟海，仅列举一些典型厂商，
其中以三星、Google以及Apple为代表。
三星公司在2016年加入战局，例如 Galaxy S7、Galaxy S7 Edge等机型
这两款使用两种传感器，一种是来自索尼半导体的 IMX260，一种是三星半导体的S5K2L1 ISOCELL；
IMX260 是三星向索尼半导体定制的，所以市面上其他机型上并不能见到。
Google在Pixel2世代开始装配具有Dual Pixel结构的图像传感器，初代使用为索尼半导体的 IMX362，
之后的3、3a以及4，均采用了具备DP功能的传感器模块。
Google还基于这一构造打造了新的功能，会在稍后解释。
Apple 一般对于技术型术语，都喜欢搞自己的一套。
对于内嵌相位对焦点这类技术上它称之为 focus pixel ，对焦像素，这一功能在 iPhone6 时代引入。
TechCrunch指出，在8世代，以及XS世代，这一密度一直在提升。
终于在iPhone11世代，Apple也装配了具有Dual Pixel功能的图像传感器。
“Mivan”老师猜测，Apple限制了在11世代上才可以进行 Deep Fusion 的原因，不仅仅是基于A13芯片的算力决定；
同样基于A13的 iPhone SE (2020)，使用的是没有DP配置的传感器，一样也没有配置Deep Fusion。
三星半导体的ISOCELL图像传感器品牌有相当的流行度，其宣称在2016年首次做出Dual Pixel结构的传感器，并应用在当年的S7机型上。
在2021，伴随新款GN2的推出，还升级为 Dual Pixel Pro。
简单来说，将原本常用的左右分像素，变成斜切一刀，使得在横向条纹等场景，也可以适配不同的对焦模式。
值得一提，现在已经事实退出的美图手机 Meitu，因为主打自拍而闻名，在2017年做了比较特别的尝试，在前置相机上使用 Dual Pixel 。
其发展贯穿了其Nexus及Pixel机型，
详情可以参考Google Camera 发展梳理
在2017年，GCam团队提出了一种利用单镜头实现 Portrait mode —— 即深度识别后虚化效果的实现，利用的即为 Dual Pixel 的图像传感器上的冗余信息。
事实上，由于手机镜头本身不大，双像素信息即便放在最大，也不过是毫米级的差别
—— 想象左右像素，分别接获镜头最左端与最右端信息。
Google引入了机器学习来处理这种微乎其微的数据差异，从而构建出图像的深度图（Depth Map）
由原本的照片（左），分析出深度图，得到右侧虚化的效果图片。
用途为将佳能的，以 Dual Pixel RAW 方式记录的文件，后缀名CR2，提取出次帧，保存为通用的DNG格式。
由于次帧的曝光相比主帧少1EV，而画面上差异相对有限，可以以此方式来实现（以主帧为基准）向暗部扩大1EV的宽容度。
https://www.fastrawviewer.com/DPRSplit
关于扩展宽容度这一用法，其实又和Dual ISO这一有点关系。
在上一个十年的CHDK之后，这一个十年最流行的应该是 MagicLantern 魔灯，我还为其写过条目。
2013年的时候，作者a1ex在魔灯论坛提出了一个想法：
可以强制传感器不同区域，以不同的ISO进行曝光。
对于真实世界来说，可以在像素级的不同行，交错以 ISO100 / ISO1600 进行曝光。
这样跨越了4档的宽容度，但是考虑到高ISO条件下的宽容度缩减，还能有约近3档的宽容度提升。
副作用也不是没有，例如相比基础的ISO100，这样拍摄的“合成画面”噪点会略多，但可以接受；而因为混合了奇偶行，在纵向上的分辨率会缩减 —— 这对于拍摄动态画面的视频应用来说，不算太大问题。
这一应用被写成了ML的实例模块，并且受到了不少视频拍摄用户的欢迎。
a1ex也将此作为论文发表，并且在传感器天然差距的基础上，表示5D3由此可以提供差不多当时巅峰机型，尼康D800的宽容度水平。
这一“民间高手”的发现撬动了厂商，造成了接下来的研发和市场变化。
和本文说的Dual Pixel构造相比，它更像前述Dual ISO的想法，
但在实现上又应用了这一理念。
一枚像素下由两组电路 Analog Circuit 执行不同的ISO运算放大。
松下公司将其投放到自己的 Vari-Cam 机型上，作为准专业到专业的应用，将夜间/弱光拍摄提升到新的可用性。
有多台Varicam(及衍生)机型应用了这一功能
虽然消费级到准专业市场上，松下拔得头筹，但是这一技术在行业巨擘ARRI那里倒是有了很长时间的应用，而这一技术也在随后普及到了其他厂牌上出现，
索尼的Venice，以及Blackmagic的 Pocket Cinema Camera 4K/6K均有应用。
业界通常用一个较为中性的（没被注册商标） Dual Base ISO 称呼。
而采用了这类设计的图像传感器，可能称作 Dual Gain ，也就是ARRI称呼的那样。
松下公司虽然将其作为镇宅之宝，不过也乐于在渐渐普及的市场中推广。
在M43的当家王牌 GH5S 上即配置了该功能，成为许多小工作室的选择；
而2019年伴随自己S系全画幅机型上市，也在面向视频的 S1H机型 上启用，并一举拿下了Netflix的设备认证。
特别神奇的是，适马的FP相机也具备了类似的双原生ISO设计，其称作 Dual Base ISO。
关键在于，它发布时并未宣称，而是在2020-06的2.0固件里解禁。
Sigma FP，据推测，可能使用了来自索尼半导体的 IMX410CQK，这就变得很有意思了。
另一方面，2020年，佳能推出了自己 EOS Movie 下的新款，C300 MarkIII。
佳能将其使用的这片S35规格传感器，称作 DGO ，Dual Gain Output 双增益输出，或者双增益成像；
佳能声称，C300 III 可以实现16档动态范围。
当然，也与 Dual Pixel CMOS AF兼容。
绕了一圈，似乎又回来了。
这些准专业或消费级机器使用了Dual Native ISO (或许不是这个名字)
机型整理我专门做了一篇双原生ISO应用相机
除了标称使用的，有猜测 (来自Andy Trace)，松下S1也事实上配置了 Dual Native ISO，其档位约在ISO数值4000时，出现了噪声降低。
[2020-08-07 更新]
* 解锁了vlog固件的松下 S1（就是系列里最便宜的那台），事实上也表现出双原生ISO的特性，在由3200档位至4000档位时，噪声显著降低。
* 与本文同一天发布的 索尼A7S III，虽然没有提及，但是根据一些测试表明，在ISO由12800提升至16000时，噪点水平显著降低，这是这类 Dual Base ISO 技术的特征；
猜测索尼在S3上实装了该功能，可能等待后续固件的进一步完善。
对于个体拍摄，或小型工作室而言，
在室外场景进行布光往往不太现实，而这一功能使得高感可用、弱光可拍，对于创作自由度帮助很大。
这一方面，倒是可能比行业巨擘ARRI的设备，对用户群的意义更大。
至于关系，原本是单一像素下两组DAC，
但对于现在图像传感器厂商推出的Dual Pixel结构，乃至Quad Pixel结构来说，是更容易的选择。
毕竟，你要的是一个像素下双组DAC，
结果上游供货商直接给你塞了俩完整像素，这不是更大碗么～
(Quad，或者Tetra-，都是表示“4”的前缀)
简单来说，DP的两枚子像素，现在变成了2x2的4枚。
首先应用的反而是面向移动设备（智能手机）的图像传感器。
索尼和三星首当其冲。
索尼将这一构造称作 2x2 On-Chip Lens Solution，或称 2x2 OCL。
索尼半导体不少传感器都应用了Quad Bayer，例如IMX294、IMX299、IMX482、IMX586intro、IMX521。
其中，IMX299CJK应用在了松下的GH5S上，倒是很好解释了其上的双原生ISO实现；
而IMX521CQR，则是一块135画幅的15MP传感器，有猜测是基于A7R4同款改型。
索尼的 Quad Bayer 构造，最早应该是见于2018年3月；
三星则更早一些，在2017年10月，宣布了称作 Tetracell 的技术。
从之后披露的解释来看，三星这一传感器构造，可能先期在工业级图像传感器上使用。
而在消费级上的应用则具备灵活性，例如在弱光条件下，在传感器层面进行像素合并，以4像素组块 (Tetracell)，或者是9像素组块 (Nonacell)。
他们示意图里色区变换，一开始有一些费解，其实在忽略边缘后，中间的4格移位即是传统Bayer架构。
此外，同样进行图像传感器生产的 OmniVision，在2019年6月，也加入了这一行列。
首发产品为OV48B，不过就没有什么华丽的名称，仅以 4-cell color filter array 称呼。
佳能自己，作为 Dual Pixel 先锋，也在2015年传出了关于Hexa结构 —— 使用4x4的16区块构建像素的设计。
Dual Pixel ，或者说多像素技术（包括演变的Quad Pixel），有这些特征：
在7年，或者4年以前的缺点，例如生产线的成本增加，随着时间推移，以及大规模生产分摊，而使得较为弱化。
当时市面上流行的APS-C，佳能的18MP传感器，首发于7D (2009)，以及索尼的IMX071系；还有诸如D7100上的东芝传感器。佳能力有不逮。
在专利方面已经形成压制势态的情况下，佳能的Dual Pixel结构，在当时多少有些孤注一掷的味道；结果算是不错，对焦方面的优点补足了其他表现。反而是未能在无反系统上布局，棋差一招。
另一方面就是关于想象力，5D3 (2016)上姗姗来迟的DPR，RAW文件的调节功能乏善可陈；
反而是第三方的fastrawviewer团队，提出了1Ev提升的应用。
实话实说，1Ev 的扩展多少有些乏力，佳能要是有心，大约+3Ev起是可以做到的；
2020年的C300 III 实现了16档，虽然官方说明里没有提及藉由Dual Pixel结构实现的双输出，但说明能力显然有，但是到了R5上，似乎并不想普及这一可能性，多少有些牙膏厂本色 —— 也不好说，结构有了，处理能力也有显著提升，也许真的就是一版神奇固件的事。
因为小尺寸传感器其实景深足够，真的会由于对焦速度而产生什么质的变化吗？
智能手机上的摄像头因为物理限制，提升画质和可用性的手段，一直是计算摄影；这也使得变化超出了我的预期（本文原发于2016年）。
首先，Google提出了HDR+，这是一种 按一下-拍好几张-合成-获得一张高质照片 的思路。
对于一些传统上的缺陷，比如随机热噪声，多张叠加会消除随机性，而附带造成降噪效果；
但对于原本存在的不参与成像的固化相位点位置，其本质是一个“洞”且位置固定，多张叠加加剧了这种洞的效应。
相对灵活的Dual Pixel设计，因为也可以参与成像，而消弭了这种缺陷。
有网友就对为什么使用了（升级的）16MP传感器而画面质量下降，提出了自己的看法。
其次，佳能而言，对于 Dual Pixel RAW 的应用，
虽然一脚迈进了计算摄影的门槛，但似乎与算力限制有关，均留给了后制DPP处理。
Google则将自己 Pixel2 上的DP点，结合了机器学习，做到了深度识别。
虽然没有DP构造，也可以通过机器学习来尝试处理，例如 focos 及 iPhone XR/SE上的尝试，但效果不佳。
https://blog.halide.cam/iphone-se-the-one-eyed-king-96713d65a3b1
比如，Dual Pixel 单对的相位点，其实相当于「一」字对焦点，而在诸如单反相机宣传上，早已经是「十」字对焦点，或者双「十」字对焦点（也有称「米」字对焦点）称霸了；
QP的 2x2 像素倒是可以实现这类的对焦需求。
索尼、三星等在手机应用的，如1/2.55等尺寸传感器上应用了Quad Pixel结构；索尼半导体在IMX521CQR上实践了135型号 —— 虽然没有看到量产相机。
最为期待的，可能反而是便携机种类。
例如理光GR系列，以现在 GR III 的设计而言，防抖和镜头设计几乎到头了，而伸缩式的镜头设计也似乎很难支持135规格（RX1、徕卡Q均为固定不可伸缩镜头）；
百尺竿头，要再进一步，计算摄影无疑是一个选择，而 Quad Pixel 的结构大概是一拍即合……
只能等待APS-C规格的QP结构图像传感器了。
之乎
原文名称为Dual Pixel 全像素双核乱弹，发表于 2016-09-01
2020年想着修订一下，重发表于 2020-07-28
由于涉及多个厂商产品，且应用日趋广泛，而互联网上整理总结较少，故做此笔记。
最后更新日期
2024-02-27
目录
- 硬件实现
- 佳能的应用 [跳转]
- 对焦增强
- 图像功能
- 诞生的背景
- 手机市场的波澜
- Google Camera
- 其他进展 [跳转]
- DPRsplit
- Dual ISO
- Dual Native ISO
- Quad Pixel
- 小结
硬件实现
Dual Pixel 结构，在单像素的单一透镜下埋设了一对互相独立的光电二极管。
对于 拜耳滤镜 Bayer Filter 构造的图像传感器，也就是今日多见的RGBG类型，一个逻辑像素其实由RGBG共4个子像素构成。
这一功能基于的原理，仍然是相对传统的相位对焦。
这一模式在80s兴起的自动对焦单反系统上广泛应用。
也由于其为一种相位对焦，所以有时也被称作 Dual Pixel Phase Focus，简写 DPAF。
2010年富士胶片首先在EXR机型上实装了内嵌相位对焦点的图像传感器构造，
其将临近的一对像素，各遮蔽一半，获得来自相对方向的光线，进行对比，获得对焦物的相位信息，从而传递指导对焦的信息。
这一对像素无法重新参与到成像中。
佳能在此设想的基础上，将传感器中的所有像素都进行了分拆，成为由两个子像素构成，由此可以实现大面积的覆盖，以及在需要时重新参与成像。
佳能的应用 Canon Applications
佳能在Dual Pixel的应用上有较为重要的地位，这里着重介绍佳能的实现。
佳能将Dual Pixel构造，应用在两个目的上，皆有其自定的术语名称：
- Dual Pixel CMOS AF
- Dual Pixel RAW
- Dual Gain Output
对焦增强
通常公认的，用于对焦的Dual Pixel CMOS AF，一般是追溯2013年诞生的70D上。
每一个像素其实可以分作左右两个子像素。
同时，由于片上都是这样的构造，所以很容易做成 全片对焦搜索区域 ……当然，受限于一些条件，当时差不多是80%左右的范围，也已经很不错了。
无论如何，佳能至少把对焦功能普及到这些年的机身上，这对于它的本意也够了。
直到2020年，佳能把蓄谋已久的二代套了出来，在EOS R5机型上搭载，
名字叫 Dual Pixel CMOS AF II，
不过结构上应该没变，主要是加入了深度学习。
前一年的2019，奥林巴斯和松下前后脚给自己的对比度对焦加入了深度学习的辅助，
即便拍摄的人背对镜头，也可以跟踪到。
 |
| R5上配置的 DPAF II，可以紧跟面部或眼睛 |
这部分其实一直叫做 iTR，即 intelligent Tracking and Recognition 智能追踪识别；
看起来是合二为一了。
里程碑机型：
| 机型 | 时间 / 功能 |
|---|---|
| EOS 70D | 2013-07 |
| 首款发布时装配 Dual Pixel | |
| EOS 5D IV | 2016-08 |
| Dual Pixel RAW 首次实装 | |
| EOS R5 | 2020-07 |
| 升级的 Dual Pixel AF II 增加Portrait Relighting |
Dual Pixel 在佳能机身也得到了广泛的应用，
Dual Pixel CMOS AF作为对焦辅助提升的万用金丹，普适性极强。
| 单反机型 | 无反机型 | 摄像类 |
|---|---|---|
| EOS 70D (2013-07) EOS 7D II (2014-09) EOS 1DX II (2016-02) EOS 80D (2016-02) EOS 5D IV (2016-08) EOS 800D (2017-02) EOS 77D (2017-02) EOS 6D II (2017-06) EOS 200D (2017-06) EOS 2000D (2018-02) EOS 250D (2019-04) EOS 90D (2019-08) EOS 1DX III (2020-01) EOS 850D (2020-02) | EOS M5 (2016-09) EOS M6 (2017-02) EOS M100 (2017-08) EOS M50 (2018-02) EOS M6 II (2019-08) EOS M200 (2019-09) EOS M50 II (2020-10) EOS R (2018-09) EOS Ra (2018-11) EOS RP (2019-02) EOS R5 (2020-07) EOS R6 (2020-07) EOS R3 (2021-04) EOS R5 C (2022-01) | EOS C100 II EOS C300 II EOS C200 EOS C500 II EOS C700 |
还有一台PowerShot序列，不可换镜头的G1X Mark III，装配了APS-C规格的传感器，显然是佳能自产的，也带上了Dual Pixel构造。
2013年开始配置这一构造，并且在技术验证和市场反馈上都有不错的反响。
2016年以后的机型，佳能大多都装配了DP构造。
但也有例外，例如2015年的EOS 5DS / 5DSR，作为50MP+选手，可能在工艺上限制等问题，当时并未配置这一功能。
还有就是，“祖传” 18MP的那片APS-C，因为老工艺的关系，也没能配置，这通常为低端机型配置。
严格来说，并不是所有的佳能EF镜头都支持全像素双核对焦，
所以佳能额外安排了一个兼容性列表以供查验：
全像素双核CMOS AF（Dual Pixel CMOS AF）对应镜头一览
值得一提的是，虽然名义上装配是2013年的70D，
但是从后来发展来看，可能早已布局。
2012年的摄像机型C100、C300，可以通过2014年2月固件方式打开功能。
说明在产品出厂时，至少早已装配了该构造的传感器。
图像功能
佳能在2016年，把DP的构造进了一步，同时保存左右两个像素的数据，虽然容量翻倍了，但是可以给后期留空间。
5D IV上实装了该功能，称作 「全像素双核RAW」～
 |
| 菜单中开启全子像素信息保存的选项 我于2016年拍摄的，机器是5D4 |
佳能当时认为，有三个项目可以在后期调校：
- 对焦微调 Image Microadjustment
- 虚化偏移 Bokeh Shift
- 鬼影控制 Ghosting Reduction
呐，这是佳能自己在实验室里拍脑袋想出来的场景应用。
看上去很美。
但是媒体一用，似乎不是那么回事……
可能是自己也感觉到鸡肋，佳能也没有过多推广这一功能，后续的1D系列产品根本不提供；
反而是全画幅无反的EOS R，又把这一功能倒出来了。
这三个功能都需要在PC或mac上进行处理，无法在机内完成，所以需要一种保存了完全子像素信息的格式，也就是上方5D4菜单的内容选项。
佳能自己的处理软件，Digital Photo Professional DPP 可以解读这种信息并完成相对应的功能。
此外，DPRsplit后来发现，这个设计可以多贪一档宽容度，
不过这个也是后话了，会在「其他进展」的章节里介绍。
在2020年的R5世代，佳能额外提供了两个功能R5：
- 人像重新照明 Portrait Re-Lighting
- 背景清晰度 Background clarity
作为高级功能 Dual Pixel RAW 似乎限制了高端机型。
| 机型 | 时间 / 功能 |
|---|---|
| EOS 5D IV | 2016-08 |
| Dual Pixel RAW 首次出现 | |
| EOS R | 2018-09 |
| 第二款 Dual Pixel RAW | |
| EOS Ra | 2018-11 |
| R的天文改型 | |
| EOS R5 | 2020-07 |
| Dual Pixel RAW的第四台机型 增加了功能类型 | |
| EOS R5 CR5C | 2022-01 |
| R5的摄像特化改型 |
不过这是我们要在摄像机章节提到的。
到了2024年CP+，佳能展示了利用DPCMOS来重构拍摄体3D的实验性进展。
 |
| 图片来自ITMedia |
诞生的背景
2008年有两个变化，一是大传感器的单反开始拍视频了，比如5D2；
二是M43为代表的无反出现了，比如松下G1。
这两个变化共同提出了对焦的挑战，即主传感器接受光线，而没有诸如反光镜来提供分光束进行对焦。
索尼公司的想法是固定式半透镜，富士胶片则在自己的小型数码机身上实践了称作EXR的构造。
这种内嵌相位点的做法，现在已经是大名鼎鼎。
但这带来一个问题，就是专职化的相位点，不参与成像，对于正经Bayer结构来说，这种摸鱼像素通常成比例出现，无论是32个里头存在一个，或者是16个里头分配一个，它总是在降低整体的画质。
富士反而没怎么挖掘，不过引起了索尼和佳能的注意。
佳能的步子显然很大，全部像素都可以用于对焦，也不影响成像；
而在视频拍摄中也可以实现相位对焦，也省去了新开发对比度对焦的精力 —— 佳能在2012年搞过一次，EOS M 的问题惨不忍睹。
索尼公司在早期，差不多是 NEX-5R / NEX-6 的年代，试验性采用了内嵌相位点的传感器构型，但效果依然不佳；
在此后有了两组技术分别路线，一个是更加密集的相位点嵌入，另一个则是后文提及的2x2规格。
手机市场的波澜
每年诞生的智能手机可能浩如烟海，仅列举一些典型厂商，
其中以三星、Google以及Apple为代表。
三星公司在2016年加入战局，例如 Galaxy S7、Galaxy S7 Edge等机型
这两款使用两种传感器，一种是来自索尼半导体的 IMX260，一种是三星半导体的S5K2L1 ISOCELL；
IMX260 是三星向索尼半导体定制的，所以市面上其他机型上并不能见到。
Google在Pixel2世代开始装配具有Dual Pixel结构的图像传感器，初代使用为索尼半导体的 IMX362，
之后的3、3a以及4，均采用了具备DP功能的传感器模块。
Google还基于这一构造打造了新的功能，会在稍后解释。
Apple 一般对于技术型术语，都喜欢搞自己的一套。
对于内嵌相位对焦点这类技术上它称之为 focus pixel ，对焦像素，这一功能在 iPhone6 时代引入。
TechCrunch指出，在8世代，以及XS世代，这一密度一直在提升。
终于在iPhone11世代，Apple也装配了具有Dual Pixel功能的图像传感器。
“Mivan”老师猜测，Apple限制了在11世代上才可以进行 Deep Fusion 的原因，不仅仅是基于A13芯片的算力决定；
同样基于A13的 iPhone SE (2020)，使用的是没有DP配置的传感器，一样也没有配置Deep Fusion。
| 机型 | 推出时间 主传感器 |
|---|---|
| 三星 Samsung Galaxy | |
| Galaxy S7 | 2016-02 |
| IMX260 ISOCELL S5K2L1 | |
| Galaxy S8 | 2017-04 |
| IMX333dpr ISOCELL S5K2L2 | |
| Galaxy S9 | 2018-02 |
| IMX345 | |
| Galaxy S10 | 2019-02 |
| ? ISOCELL S5K2L4 | |
| Galaxy S20 | 2020-03 |
| IMX555 | |
| Google Pixel | |
| Google Pixel 2 | 2017-10 |
| IMX362 | |
| Google Pixel 3 | 2018-10 |
| IMX363 | |
| Google Pixel 3a | 2019-05 |
| IMX363 | |
| Google Pixel 4 | 2019-10 |
| IMX363 | |
| Google Pixel 4a | 2020-08 |
| IMX363 | |
| Google Pixel 5 | 2020-10 |
| IMX363 | |
| Google Pixel 5a | 2021-08 |
| IMX363 | |
| Google Pixel 6 | 2021-10 |
| ISOCELL GN1 | |
| Google Pixel 6a | 2022-05 |
| IMX363 | |
| iPhone | |
| iPhone11系列 | 2019-09 |
| IMX503 | |
| iPhone 12 | 2020-10 |
| IMX686 | |
| iPhone 12 Pro Max | 2020-10 |
| IMX603 | |
| iPhone 13 Pro/ PM | 2021-09 |
| IMX703 | |
- 表格部分资料，参考了来自维基百科的Exmor汇总、三星cmos汇总
- 最后更新日期为2022-06-12
三星半导体的ISOCELL图像传感器品牌有相当的流行度，其宣称在2016年首次做出Dual Pixel结构的传感器，并应用在当年的S7机型上。
在2021，伴随新款GN2的推出，还升级为 Dual Pixel Pro。
简单来说，将原本常用的左右分像素，变成斜切一刀，使得在横向条纹等场景，也可以适配不同的对焦模式。
索尼半导体这边，首款应该是与三星有技术合作的IMX260
可能是基于一些协定，至少这一年的Google Pixel手机应用的IMX378没有赶上这项技术。
在2017年获得了专利WO2017077899A1，之后的量产贩售产品，带Dual Pixel构造的都在 Exmor RS 目录下。
索尼半导体还安排了介绍页面，中文名称为「全像素自动对焦」；但是也要注意到，Dual Pixel 也是其中的一种实现路径而已。
可能是基于一些协定，至少这一年的Google Pixel手机应用的IMX378没有赶上这项技术。
在2017年获得了专利WO2017077899A1，之后的量产贩售产品，带Dual Pixel构造的都在 Exmor RS 目录下。
索尼半导体还安排了介绍页面，中文名称为「全像素自动对焦」；但是也要注意到，Dual Pixel 也是其中的一种实现路径而已。
在流行的传感器上，基本都是 1/2.55 英寸，12mp规格，单像素尺寸1.40μm；
可以说是不断迭代的一款。
而IMX374这款，三星定制，以1/3.2英寸规格横空出世，主要应用在前置摄像头上；如S10、S20还有Galaxy Fold。
IMX555、IMX557在尺寸上进了一步，有1/1.98"、1/1.76"，保持12MP，应用倒是不多。
IMX398为 OPPO 向索尼半导体定制，出现在OPPO、OnePlus还有Realme等机型上。IMX519规格上似乎为升级款。但是在标注上，这些似乎不被认为是完整的Dual Pixel结构。
值得一提，现在已经事实退出的美图手机 Meitu，因为主打自拍而闻名，在2017年做了比较特别的尝试，在前置相机上使用 Dual Pixel 。
Google Camera
Google Camera 是Google公司的一款Android应用程序，初始在2014年推出，用以配置Nexus5机型。其发展贯穿了其Nexus及Pixel机型，
详情可以参考Google Camera 发展梳理
在2017年，GCam团队提出了一种利用单镜头实现 Portrait mode —— 即深度识别后虚化效果的实现，利用的即为 Dual Pixel 的图像传感器上的冗余信息。
事实上，由于手机镜头本身不大，双像素信息即便放在最大，也不过是毫米级的差别
—— 想象左右像素，分别接获镜头最左端与最右端信息。
Google引入了机器学习来处理这种微乎其微的数据差异，从而构建出图像的深度图（Depth Map）
 |
| Google引用Markus Kohlpaintner的示意图，从构造上没有特别的部分 |
由原本的照片（左），分析出深度图，得到右侧虚化的效果图片。
其他进展 Progress in other areas
DPRSplit
DPRSplit是一款免费软件，不过目前还停留在beta阶段，最新版本为0.8.4 (2020-07)。用途为将佳能的，以 Dual Pixel RAW 方式记录的文件，后缀名CR2，提取出次帧，保存为通用的DNG格式。
由于次帧的曝光相比主帧少1EV，而画面上差异相对有限，可以以此方式来实现（以主帧为基准）向暗部扩大1EV的宽容度。
| 版本 | 功能 |
|---|---|
| 0.8.2 | 优化次帧的EXIF，方便合并 |
| 0.8.4 | 增加EOS R支持 |
| 0.9.9 | 增加EOS R5支持 |
| 0.10.0 | EOS R的APS模式RAW支持 |
https://www.fastrawviewer.com/DPRSplit
关于扩展宽容度这一用法，其实又和Dual ISO这一有点关系。
创造性发明，Dual ISO
佳能相机具有相当的用户基础，而开发环境也相对友好，于是也有了第三方的加强固件的可能。在上一个十年的CHDK之后，这一个十年最流行的应该是 MagicLantern 魔灯，我还为其写过条目。
2013年的时候，作者a1ex在魔灯论坛提出了一个想法：
可以强制传感器不同区域，以不同的ISO进行曝光。
 |
| 蝙蝠侠为我们演示了对角线分区ISO的情况。 |
这样跨越了4档的宽容度，但是考虑到高ISO条件下的宽容度缩减，还能有约近3档的宽容度提升。
副作用也不是没有，例如相比基础的ISO100，这样拍摄的“合成画面”噪点会略多，但可以接受；而因为混合了奇偶行，在纵向上的分辨率会缩减 —— 这对于拍摄动态画面的视频应用来说，不算太大问题。
这一应用被写成了ML的实例模块，并且受到了不少视频拍摄用户的欢迎。
a1ex也将此作为论文发表，并且在传感器天然差距的基础上，表示5D3由此可以提供差不多当时巅峰机型，尼康D800的宽容度水平。
这一“民间高手”的发现撬动了厂商，造成了接下来的研发和市场变化。
Dual Native ISO 与摄像机
这一名称来自于松下公司，可能称作「双原生ISO」。和本文说的Dual Pixel构造相比，它更像前述Dual ISO的想法，
但在实现上又应用了这一理念。
一枚像素下由两组电路 Analog Circuit 执行不同的ISO运算放大。
松下公司将其投放到自己的 Vari-Cam 机型上，作为准专业到专业的应用，将夜间/弱光拍摄提升到新的可用性。
有多台Varicam(及衍生)机型应用了这一功能
- VariCam 35 (2014)
- VariCam LT (2016)
- VariCam Pure (2016)
- AU EVA1 (2017)
虽然消费级到准专业市场上，松下拔得头筹，但是这一技术在行业巨擘ARRI那里倒是有了很长时间的应用，而这一技术也在随后普及到了其他厂牌上出现，
索尼的Venice，以及Blackmagic的 Pocket Cinema Camera 4K/6K均有应用。
 |
| Blackmagic Pocket Cinema Camera一般简称BMPCC 这款是6K机型，就体积而言，已经和Pocket没啥关系了 |
业界通常用一个较为中性的（没被注册商标） Dual Base ISO 称呼。
而采用了这类设计的图像传感器，可能称作 Dual Gain ，也就是ARRI称呼的那样。
松下公司虽然将其作为镇宅之宝，不过也乐于在渐渐普及的市场中推广。
在M43的当家王牌 GH5S 上即配置了该功能，成为许多小工作室的选择；
而2019年伴随自己S系全画幅机型上市，也在面向视频的 S1H机型 上启用，并一举拿下了Netflix的设备认证。
 |
| 松下S1H，作为相机，是首次装配了小风扇。 |
特别神奇的是，适马的FP相机也具备了类似的双原生ISO设计，其称作 Dual Base ISO。
关键在于，它发布时并未宣称，而是在2020-06的2.0固件里解禁。
 |
| Sigma FP本身特别紧凑，但也面向各类应用提供了扩展能力 |
Sigma FP，据推测，可能使用了来自索尼半导体的 IMX410CQK，这就变得很有意思了。
另一方面，2020年，佳能推出了自己 EOS Movie 下的新款，C300 MarkIII。
佳能将其使用的这片S35规格传感器，称作 DGO ，Dual Gain Output 双增益输出，或者双增益成像；
佳能声称，C300 III 可以实现16档动态范围。
- CANON EOS C300 MARK III - Canon UK
- 佳能发布数字电影摄影机新品EOS C300 Mark III 支持4K/120P记录，并搭载新DGO(双增益成像)影像传感器 - 佳能 中国
当然，也与 Dual Pixel CMOS AF兼容。
绕了一圈，似乎又回来了。
这些准专业或消费级机器使用了Dual Native ISO (或许不是这个名字)
机型整理我专门做了一篇双原生ISO应用相机
| 摄像机 | 推出时间 幅面/卡口 |
|---|---|
| VariCam 35 | 2014 |
| S35 PL | |
| VariCam LT | 2016 |
| S35 EF / PL | |
| VariCam Pure | 2016 |
| S35spec PL | |
| AU EVA1 | 2017 |
| S35spec EF | |
| Lumix GH5S | 2018 |
| 4/3 MFT | |
| Lumix S1H | 2019 |
| 135 L | |
| VENICE | 2018 |
| 135spec PL / SONY E | |
| PXW-FX9 | 2019 |
| 135 SONY E | |
| BMPCC 4K | 2018 |
| 4/3 MFT | |
| BMPCC 6K | 2019 |
| S35spec EF | |
| Z CAM E2-F8 | 2019 |
| 135 EF/PL等 | |
| SIGMA FP | 2019 2020(固件) |
| 135 L |
除了标称使用的，有猜测 (来自Andy Trace)，松下S1也事实上配置了 Dual Native ISO，其档位约在ISO数值4000时，出现了噪声降低。
[2020-08-07 更新]
* 解锁了vlog固件的松下 S1（就是系列里最便宜的那台），事实上也表现出双原生ISO的特性，在由3200档位至4000档位时，噪声显著降低。
* 与本文同一天发布的 索尼A7S III，虽然没有提及，但是根据一些测试表明，在ISO由12800提升至16000时，噪点水平显著降低，这是这类 Dual Base ISO 技术的特征；
猜测索尼在S3上实装了该功能，可能等待后续固件的进一步完善。
对于个体拍摄，或小型工作室而言，
在室外场景进行布光往往不太现实，而这一功能使得高感可用、弱光可拍，对于创作自由度帮助很大。
这一方面，倒是可能比行业巨擘ARRI的设备，对用户群的意义更大。
至于关系，原本是单一像素下两组DAC，
但对于现在图像传感器厂商推出的Dual Pixel结构，乃至Quad Pixel结构来说，是更容易的选择。
毕竟，你要的是一个像素下双组DAC，
结果上游供货商直接给你塞了俩完整像素，这不是更大碗么～
Quad Pixel
Quad Pixel，也叫做Quad Bayer，或者 Tetracell ；(Quad，或者Tetra-，都是表示“4”的前缀)
简单来说，DP的两枚子像素，现在变成了2x2的4枚。
首先应用的反而是面向移动设备（智能手机）的图像传感器。
索尼和三星首当其冲。
索尼将这一构造称作 2x2 On-Chip Lens Solution，或称 2x2 OCL。
 |
| 共用透镜的分离像素 |
索尼半导体不少传感器都应用了Quad Bayer，例如IMX294、IMX299、IMX482、IMX586intro、IMX521。
其中，IMX299CJK应用在了松下的GH5S上，倒是很好解释了其上的双原生ISO实现；
而IMX521CQR，则是一块135画幅的15MP传感器，有猜测是基于A7R4同款改型。
索尼的 Quad Bayer 构造，最早应该是见于2018年3月；
三星则更早一些，在2017年10月，宣布了称作 Tetracell 的技术。
 |
| 三星在108MP 的HM1传感器上给出的说明 |
从之后披露的解释来看，三星这一传感器构造，可能先期在工业级图像传感器上使用。
而在消费级上的应用则具备灵活性，例如在弱光条件下，在传感器层面进行像素合并，以4像素组块 (Tetracell)，或者是9像素组块 (Nonacell)。
他们示意图里色区变换，一开始有一些费解，其实在忽略边缘后，中间的4格移位即是传统Bayer架构。
 |
| 索尼半导体2x2ocl说明 |
此外，同样进行图像传感器生产的 OmniVision，在2019年6月，也加入了这一行列。
首发产品为OV48B，不过就没有什么华丽的名称，仅以 4-cell color filter array 称呼。
佳能自己，作为 Dual Pixel 先锋，也在2015年传出了关于Hexa结构 —— 使用4x4的16区块构建像素的设计。
小结
Dual Pixel ，或者说多像素技术（包括演变的Quad Pixel），有这些特征：
| 对焦 | 其他 |
|---|---|
|
|
佳能
可能不太严谨，但是大约在2010～2012，大家开始感受到，佳能的图像传感器，在诸如宽容度指标等方面，被索尼半导体拉开了相当的差距。当时市面上流行的APS-C，佳能的18MP传感器，首发于7D (2009)，以及索尼的IMX071系；还有诸如D7100上的东芝传感器。佳能力有不逮。
在专利方面已经形成压制势态的情况下，佳能的Dual Pixel结构，在当时多少有些孤注一掷的味道；结果算是不错，对焦方面的优点补足了其他表现。反而是未能在无反系统上布局，棋差一招。
另一方面就是关于想象力，5D3 (2016)上姗姗来迟的DPR，RAW文件的调节功能乏善可陈；
反而是第三方的fastrawviewer团队，提出了1Ev提升的应用。
实话实说，1Ev 的扩展多少有些乏力，佳能要是有心，大约+3Ev起是可以做到的；
2020年的C300 III 实现了16档，虽然官方说明里没有提及藉由Dual Pixel结构实现的双输出，但说明能力显然有，但是到了R5上，似乎并不想普及这一可能性，多少有些牙膏厂本色 —— 也不好说，结构有了，处理能力也有显著提升，也许真的就是一版神奇固件的事。
计算摄影
就我个人而言，一直觉得手机上使用DP构造怪怪的。因为小尺寸传感器其实景深足够，真的会由于对焦速度而产生什么质的变化吗？
智能手机上的摄像头因为物理限制，提升画质和可用性的手段，一直是计算摄影；这也使得变化超出了我的预期（本文原发于2016年）。
首先，Google提出了HDR+，这是一种 按一下-拍好几张-合成-获得一张高质照片 的思路。
 |
| Google的HDR+，发展到2018年，一次拍摄10帧都是可能的。 |
对于一些传统上的缺陷，比如随机热噪声，多张叠加会消除随机性，而附带造成降噪效果；
但对于原本存在的不参与成像的固化相位点位置，其本质是一个“洞”且位置固定，多张叠加加剧了这种洞的效应。
相对灵活的Dual Pixel设计，因为也可以参与成像，而消弭了这种缺陷。
有网友就对为什么使用了（升级的）16MP传感器而画面质量下降，提出了自己的看法。
其次，佳能而言，对于 Dual Pixel RAW 的应用，
虽然一脚迈进了计算摄影的门槛，但似乎与算力限制有关，均留给了后制DPP处理。
Google则将自己 Pixel2 上的DP点，结合了机器学习，做到了深度识别。
虽然没有DP构造，也可以通过机器学习来尝试处理，例如 focos 及 iPhone XR/SE上的尝试，但效果不佳。
https://blog.halide.cam/iphone-se-the-one-eyed-king-96713d65a3b1
Quad Pixel
各方面来看，Quad Pixel 在可能性上比 Dual Pixel 都更好，当然，工艺门槛暂且不提。比如，Dual Pixel 单对的相位点，其实相当于「一」字对焦点，而在诸如单反相机宣传上，早已经是「十」字对焦点，或者双「十」字对焦点（也有称「米」字对焦点）称霸了；
QP的 2x2 像素倒是可以实现这类的对焦需求。
索尼、三星等在手机应用的，如1/2.55等尺寸传感器上应用了Quad Pixel结构；索尼半导体在IMX521CQR上实践了135型号 —— 虽然没有看到量产相机。
最为期待的，可能反而是便携机种类。
例如理光GR系列，以现在 GR III 的设计而言，防抖和镜头设计几乎到头了，而伸缩式的镜头设计也似乎很难支持135规格（RX1、徕卡Q均为固定不可伸缩镜头）；
百尺竿头，要再进一步，计算摄影无疑是一个选择，而 Quad Pixel 的结构大概是一拍即合……
只能等待APS-C规格的QP结构图像传感器了。
术语
本文术语翻译可能在不同环境里翻译不同，此处列出：| 名称 | 简体中文 | 繁体中文 |
|---|---|---|
| Dual Pixel | 全像素双核 | 雙像素 |
| Dual Pixel RAW | 全像素双核RAW | 雙像素RAW |
| Dual Native ISO (松下) | 双原生ISOS1H | 雙原生ISOS1Htw |
| Dual Base ISOfp (适马等) デュアルベース ISOFPjp | 双原生感光度FPchn | ? |
之乎
原文名称为Dual Pixel 全像素双核乱弹，发表于 2016-09-01
2020年想着修订一下，重发表于 2020-07-28
评论
发表评论