Quad Pixel 技术畅谈
因为连接不稳定，且章节调整中，阅读体验可能更像未整理的笔记
被称作Quad Pixel排布的图像传感器相关技术，这几年越来越多出现。
不仅是乐于制造噱头的智能手机市场，这类技术也更多浸入到相对大尺寸图像传感器的相机市场。
本文对相关的技术和应用做一个回顾，之后加入一些个人的看法。
最后更新日期
2024-08-07
Quad Pixel，或称呼Quad Bayer、4Cell等，是一个相对共识的名称，在各个厂商，往往都会搞自己的一套命名。
其在2010s世代诞生，有着功能的催促，以及既有技术的借鉴共同推动。
◆Dual Pixel
在2013年，佳能推出EOS 70D，其上配置了Dual Pixel的像素结构。
其实早在2012年的视频特化机型上，佳能就已经配置了这类构成的图像传感器，只是以70D为契机，之后以固件形式开启了支持。
佳能将其称作 Dual Pixel CMOS AF，即该构造的核心要务是想解决AF，即自动对焦相关的问题。
虽然富士胶片在2010即研制了图像传感器内嵌相位点技术，但表现的飞跃，反而发生在Nikon与Aptina合作在1inch传感器的实践。
佳能应该是感觉到了这一技术的前景，同时也意识到当时内嵌相位点的缺陷，即用作相位对焦的像素不参与成像，造成了实际的光线损失。
◆HDR
HDR概念由来已久，在90s作为电脑图像合成技术即进入学术讨论。
但是应用在摄影上……就我个人听说作为一种后制技术，大概在2007～2008达到一个热潮。
当时的摄影器材本身不提供该功能，而是以胶片摄影时期遗留的「包围曝光」技术为半自动实现，在数码暗房（电脑）上对包围的图像进行合成，并重新压印在照片（通常是8bit JPG，少见16bit TIFF）上，作为最终分享。
这种“压印”将高信息量塞进低位数格式中，伴随着信息的损失，这种调制过程专称 色调映射 （或 色调重映射）。
大概是2009年，以索尼为先锋的机型将HDR功能塞进了相机中，从拍摄到合成都在相机中进行处理。
这一契机应该是索尼Cybershot当时图像处理器的性能提升，使得可以处理这些高量信息。
为了表示这种进化，索尼将这一世代加上了X字母，如TX1、WX1及HX1作为一种半世代升级。
智能手机也赶上了这一新潮（可以当作卖点）的技术，
以Google Camera为例，其核心基础就是HDR+，成为许许多多后续技术的基石。
而HDR+又是以高通处理器对ZLS，Zero Lag Shutter 零延迟快门的支持作为地基进行开发。
◆Dual ISO
Dual ISO本来是在佳能的第三方固件，魔灯 Magic Lantern 上实现的功能，
通过牺牲一半的分辨率（奇偶行合并）来获得约3Ev的可用宽容度加成。
这一实践引起了学术上的重视，并且以新的方式来补充扩展了单张HDR的性能。
佳能自己也配置了称作DGO的功能，首先反哺到的是Cinema EOS产品线上。
即像素位置读取两种感光度而实现不同的曝光，将其合成以扩展可用宽容度。
◆Dual Native ISO
借由在每像素位置下布设两道光电二极管而实现的，显著的感光度/噪声整体表现的提升，这一技术更加受到高阶视频机型的欢迎，而作为竞争力的一部分，也在一些消费机型中得以推广。
而在后段的计算处理方面，会以Quad Bayer Coding称呼。
Quad Pixel 结构，用较为便于理解的话，有两种方式解释：
上述两种描述中，前者注重于整体排布，后者则是接近传感器工艺，即相同像素制程下实现。
前面也提到过，这样的结构具备重新还原为RGBG高像素的能力，
但是这种数学上的变换可能被简略而造成了理解的困难。
这种模式的切换，会损失最边缘一圈的像素点；
不过对于现在千万像素规模来说，并不算大的量级，对于视角的影响也是微乎其微。
经常被提及的一点，就是其与富士在2000～2010世代热衷的Super CCD结构上有异曲同工之妙。
这也是我要先完成关于富士胶片自己的传感器尝试的文章的原因
但是从工程实践来说，富士胶片自己也称作的蜂巢式设计，几乎要求要有代工厂为其保留一套近乎特制的产线和设计流程。
新世代的Quad
分作两个部分，即图像传感器生产厂商，以及应用的相机厂商。
可能会有一些重叠，比如“索尼”，分作索尼半导体，以及以相机制造闻名的SONY alpha。
较新的称作2×2 OCL ， OCL代表On-Chip Lens，片上透镜。
三星将这类型称作Tetracell，Tetra-前缀，就是4的古称。
之后三星尝试了9像素一组的排布，称作Nonacell；
我个人认为其可以作为一种关于Quad的衍生尝试，但是数学或者说排布上并不是一种完美的还原方案。
三星半导体在2017年关于Tetracell的描述：
不过技术上有一个衔接的问题，即初代Tetracell也没有实现相位点复用成像，
直到2020年GN1的诞生，将这两项同时实现，也就是说Tetracell的完全体。
豪威 Omnivision 使用4-Cell的名称。
在2021年，他们将参与全范围成像的技术称作QPD。
索尼半导体有一个关于全像素对焦的技术讨论
All-pixel Auto Focus (AF) Technology
从商务角度很好理解，像素直接变成之前产品的四倍，例如12MP变48MP（或47或50MP），16MP产品变64MP，早年像素大战的伎俩依然好用。
高阶一些的相机方面反而放缓许多。
这里要提及Quad Pixel实践的些微差别，大概有两类：
较为人知的两款应用了Quad Pixel的相机，
一款是来自松下的Lumix GH5s，
一款是索尼的A7S3，以及以S3同世代衍生出的FX3、ZV-E1等机型。
他们都在视频应用领域有自己独到的特色。
之前在双原生感光度的文章里提过，
GH5S配置的是，高可信来自索尼半导体 Sony Semicon 的IMX299传感器（或IMX294）
而A7S3的传感器显微图片显示，其应该也是48MP规格。
GH5s和A7S3，都是消费级相机中，注重于视频性能的机型；
在全能型的机型中，因为通常要追求高像素，所以不会将传感器改作Quad方式排布。
较少讨论的是在2022年诞生的，来自OMDS的OM-1，M43可换镜头机型。
从外部参数看，是20MP的堆叠式传感器，高度可信来自于索尼半导体制造，IMX472。
在一些渠道可以知道其实际配置了8千万规模的光电二极管。
从索尼半导体官方PDF描述中得知
许多疑问与迷思， 比如说，4像素片上合并，带来的效果，与4像素独立输出，再经由Resize重置尺寸方式获得图像，有怎样的差异。当然，这其中也涉及Resize的方式，但应该可以获得一个关于Resize的品质云，即大体的品质都在云的范畴内。
但目前来说（指2024-04），还没有在M43或以上的相机产品里见到Quad Bayer的实例，所以也暂时缺乏在既定高规格镜头要素下的比较条件。
在这一点上来说，其可以与不少现行或未来的传感器技术相互叠加，
例如背照式、堆叠式等技术共存。
只有当色彩阵列这一构型不存在时，
还有就是已经对排布进行了重构等状态，才无法实现，如：
利用原来像素间位置重新曝光，将其插入到既有图像中，从而获得更高的分辨率
—— 属于对于镜头子系统光学分辨率的再利用，空间上复用图像传感器。
可以参考之前对于像素位移的讨论文章。
像素位移与Quad Pixel有些地方很像，即4倍率利用像素，但从原理上并不相关。
但不妨设想一下，我们在一个支持的机身上，特定镜头下，可以获得4个结果：
那么得到的结果，1对应12MP，2、3都为47MP，而方案4可以获得188MP。
假定测试用的镜头子系统分辨率是足够像场范围的188MP，那么对比这些结果大概会很有趣。
其实前续已经提及过，即三星半导体的实践。
三星认为是可以，正如他们的命名，也是套用了前缀Nona-而创生的Nonacell。
有一些作为扩展阅读也很有益
DP Review
之乎
2024-04-30
被称作Quad Pixel排布的图像传感器相关技术，这几年越来越多出现。
不仅是乐于制造噱头的智能手机市场，这类技术也更多浸入到相对大尺寸图像传感器的相机市场。
本文对相关的技术和应用做一个回顾，之后加入一些个人的看法。
最后更新日期
2024-08-07
目录
- 诞生
- Quad Pixel 之前的功能
- Quad Pixel 结构与处理
- 厂商实践
- 图像传感器制造商
- 相机应用
- 讨论
- 与其他传感器技术的相性
- 思想实验
- 外延可能性
- 参考与引用
诞生与说明
Quad Pixel，或称呼Quad Bayer、4Cell等，是一个相对共识的名称，在各个厂商，往往都会搞自己的一套命名。
其在2010s世代诞生，有着功能的催促，以及既有技术的借鉴共同推动。
Quad Pixel 之前的功能
相关的功能或工程实践，有这些与Quad Pixel排布相关：- Dual Pixel AF
- HDR或称WDR
- Dual ISO，或者说DGO
- Dual Native ISO 双原生感光度
◆Dual Pixel
在2013年，佳能推出EOS 70D，其上配置了Dual Pixel的像素结构。
其实早在2012年的视频特化机型上，佳能就已经配置了这类构成的图像传感器，只是以70D为契机，之后以固件形式开启了支持。
佳能将其称作 Dual Pixel CMOS AF，即该构造的核心要务是想解决AF，即自动对焦相关的问题。
虽然富士胶片在2010即研制了图像传感器内嵌相位点技术，但表现的飞跃，反而发生在Nikon与Aptina合作在1inch传感器的实践。
佳能应该是感觉到了这一技术的前景，同时也意识到当时内嵌相位点的缺陷，即用作相位对焦的像素不参与成像，造成了实际的光线损失。
◆HDR
HDR概念由来已久，在90s作为电脑图像合成技术即进入学术讨论。
但是应用在摄影上……就我个人听说作为一种后制技术，大概在2007～2008达到一个热潮。
当时的摄影器材本身不提供该功能，而是以胶片摄影时期遗留的「包围曝光」技术为半自动实现，在数码暗房（电脑）上对包围的图像进行合成，并重新压印在照片（通常是8bit JPG，少见16bit TIFF）上，作为最终分享。
这种“压印”将高信息量塞进低位数格式中，伴随着信息的损失，这种调制过程专称 色调映射 （或 色调重映射）。
大概是2009年，以索尼为先锋的机型将HDR功能塞进了相机中，从拍摄到合成都在相机中进行处理。
这一契机应该是索尼Cybershot当时图像处理器的性能提升，使得可以处理这些高量信息。
为了表示这种进化，索尼将这一世代加上了X字母，如TX1、WX1及HX1作为一种半世代升级。
智能手机也赶上了这一新潮（可以当作卖点）的技术，
以Google Camera为例，其核心基础就是HDR+，成为许许多多后续技术的基石。
而HDR+又是以高通处理器对ZLS，Zero Lag Shutter 零延迟快门的支持作为地基进行开发。
◆Dual ISO
Dual ISO本来是在佳能的第三方固件，魔灯 Magic Lantern 上实现的功能，
通过牺牲一半的分辨率（奇偶行合并）来获得约3Ev的可用宽容度加成。
这一实践引起了学术上的重视，并且以新的方式来补充扩展了单张HDR的性能。
佳能自己也配置了称作DGO的功能，首先反哺到的是Cinema EOS产品线上。
即像素位置读取两种感光度而实现不同的曝光，将其合成以扩展可用宽容度。
◆Dual Native ISO
- 可参见应用双原生ISO的相机一文
借由在每像素位置下布设两道光电二极管而实现的，显著的感光度/噪声整体表现的提升，这一技术更加受到高阶视频机型的欢迎，而作为竞争力的一部分，也在一些消费机型中得以推广。
Quad Pixel 结构与处理
在形容排布方面，会特别使用Quad Bayer Structure来指称，而在后段的计算处理方面，会以Quad Bayer Coding称呼。
Quad Pixel 结构，用较为便于理解的话，有两种方式解释：
- 将现有Bayer结构的单色像素单元继续细分，成为2x2的格子。
- 重新排布，形成2x2的同色大单元，整体保持如RGBG的原本规律。
上述两种描述中，前者注重于整体排布，后者则是接近传感器工艺，即相同像素制程下实现。
前面也提到过，这样的结构具备重新还原为RGBG高像素的能力，
但是这种数学上的变换可能被简略而造成了理解的困难。
| Quad Pixel 排布示意 | |||||||
| Rn | Rn | Gn | Gn | Rn | Rn | Gn | Gn |
| Rn | Rn | Gn | Gn | Rn | Rn | Gn | Gn |
| Gn | Gn | Bn | Bn | Gn | Gn | Bn | Bn |
| Gn | Gn | Bn | Ba | Ga | Gn | Bn | Bn |
| Rn | Rn | Gn | Ga | Ra | Rn | Gn | Gn |
| Rn | Rn | Gn | Gb | Rb | Rn | Gn | Gn |
| Gn | Gn | Bn | Bb | Gb | Gn | Bn | Bn |
| Gn | Gn | Bn | Bn | Gn | Gn | Bn | Bn |
这种模式的切换，会损失最边缘一圈的像素点；
不过对于现在千万像素规模来说，并不算大的量级，对于视角的影响也是微乎其微。
经常被提及的一点，就是其与富士在2000～2010世代热衷的Super CCD结构上有异曲同工之妙。
这也是我要先完成关于富士胶片自己的传感器尝试的文章的原因
但是从工程实践来说，富士胶片自己也称作的蜂巢式设计，几乎要求要有代工厂为其保留一套近乎特制的产线和设计流程。
新世代的Quad
厂商实践与应用
分作两个部分，即图像传感器生产厂商，以及应用的相机厂商。
可能会有一些重叠，比如“索尼”，分作索尼半导体，以及以相机制造闻名的SONY alpha。
图像传感器制造商
索尼应该是存在两种技术路线较新的称作2×2 OCL ， OCL代表On-Chip Lens，片上透镜。
三星将这类型称作Tetracell，Tetra-前缀，就是4的古称。
之后三星尝试了9像素一组的排布，称作Nonacell；
我个人认为其可以作为一种关于Quad的衍生尝试，但是数学或者说排布上并不是一种完美的还原方案。
三星半导体在2017年关于Tetracell的描述：
Tetracell improves performance in low-light situations by merging four neighboring pixels to work as one to increase light sensitivity.
In bright environments, Tetracell uses a re-mosaic algorithm to produce full resolution images.
 |
| 三星半导体提供的说明 最右为九合一的Nonacell， 中间为Tetracell |
不过技术上有一个衔接的问题，即初代Tetracell也没有实现相位点复用成像，
直到2020年GN1的诞生，将这两项同时实现，也就是说Tetracell的完全体。
豪威 Omnivision 使用4-Cell的名称。
在2021年，他们将参与全范围成像的技术称作QPD。
| 技术或实践 | 首发款式 规格备注 |
|---|---|
| 索尼半导体 SSS | |
| 20 | |
| 2x2 OCL | 20 |
| 三星 Samsung | |
| Tetracell | 2017-10 |
| ISOCELL Slim 2X7 24MP | |
| Nonacell | 2020-02 |
| ISOCELL Bright HM1 1/1.33" 108MP | |
| Tetracell (复用相位点成像) | 2020-05 |
| ISOCELL GN1 1/ | |
| 豪威 Omnivision | |
| 20 | |
| QPD | 2021-02-16 |
| OV50A 1/1.5" 50MP | |
All-pixel Auto Focus (AF) Technology
相机应用
在相机整机侧的大类里，最先买单的恐怕是智能手机。从商务角度很好理解，像素直接变成之前产品的四倍，例如12MP变48MP（或47或50MP），16MP产品变64MP，早年像素大战的伎俩依然好用。
高阶一些的相机方面反而放缓许多。
这里要提及Quad Pixel实践的些微差别，大概有两类：
- 全功能解锁，高像素与合并像素可选
- 强制四合一
较为人知的两款应用了Quad Pixel的相机，
一款是来自松下的Lumix GH5s，
一款是索尼的A7S3，以及以S3同世代衍生出的FX3、ZV-E1等机型。
他们都在视频应用领域有自己独到的特色。
之前在双原生感光度的文章里提过，
GH5S配置的是，高可信来自索尼半导体 Sony Semicon 的IMX299传感器（或IMX294）
- Techinsights confirms the GH5S uses a Sony sensor - Tech Insights，付费墙
- IMX299CJK in GH5S Back-Illuminated or Front-Illuminated - DPreview讨论
- IMX294CJK - sony-semicon.co.jp
- IMX299CJK - sony-semicon.co.jp
 |
| IMX299非常特立独行地列在4/3 11MP的规格栏目 |
而A7S3的传感器显微图片显示，其应该也是48MP规格。
 |
| A7S3传感器显微图片 |
GH5s和A7S3，都是消费级相机中，注重于视频性能的机型；
在全能型的机型中，因为通常要追求高像素，所以不会将传感器改作Quad方式排布。
较少讨论的是在2022年诞生的，来自OMDS的OM-1，M43可换镜头机型。
从外部参数看，是20MP的堆叠式传感器，高度可信来自于索尼半导体制造，IMX472。
在一些渠道可以知道其实际配置了8千万规模的光电二极管。
从索尼半导体官方PDF描述中得知
Each pixel readout method deployment for the specific modeOM-1虽然配置了Quad Pixel，但更多用于在4合1下的性能表现提升，而不是追求高像素。
⑴Normal
⑵Phase difference
⑶Single pixel
⑷HDR
讨论
许多疑问与迷思， 比如说，4像素片上合并，带来的效果，与4像素独立输出，再经由Resize重置尺寸方式获得图像，有怎样的差异。当然，这其中也涉及Resize的方式，但应该可以获得一个关于Resize的品质云，即大体的品质都在云的范畴内。
但目前来说（指2024-04），还没有在M43或以上的相机产品里见到Quad Bayer的实例，所以也暂时缺乏在既定高规格镜头要素下的比较条件。
与其他传感器技术的相性
与其他传感器技术相比，Quad Pixel核心是重新排布Bayer阵列方式，并且以两种方式进行工作。在这一点上来说，其可以与不少现行或未来的传感器技术相互叠加，
例如背照式、堆叠式等技术共存。
只有当色彩阵列这一构型不存在时，
还有就是已经对排布进行了重构等状态，才无法实现，如：
- Monochrome 黑白类传感器
- X3垂直型色彩传感器
- 富士胶片 X-Trans 布型
思想试验，Pixel Shift
Pixel Shift，像素位移，在当前的形势下，基本就是带有机身防抖的机型，对该功能进行复用。利用原来像素间位置重新曝光，将其插入到既有图像中，从而获得更高的分辨率
—— 属于对于镜头子系统光学分辨率的再利用，空间上复用图像传感器。
可以参考之前对于像素位移的讨论文章。
像素位移与Quad Pixel有些地方很像，即4倍率利用像素，但从原理上并不相关。
但不妨设想一下，我们在一个支持的机身上，特定镜头下，可以获得4个结果：
- 原初-片上合并像素
- 原初-分立像素
- 全像素位移-合并像素
- 全像素位移-分立像素
那么得到的结果，1对应12MP，2、3都为47MP，而方案4可以获得188MP。
假定测试用的镜头子系统分辨率是足够像场范围的188MP，那么对比这些结果大概会很有趣。
外延可能性
是否可以在2×2以外造成更大的规模改进？其实前续已经提及过，即三星半导体的实践。
三星认为是可以，正如他们的命名，也是套用了前缀Nona-而创生的Nonacell。
参考与引用
有一些作为扩展阅读也很有益
DP Review
厂商介绍
- Quad Bayer Coding 索尼半导体 SSS
https://www.sony-semicon.com/en/technology/mobile/quad-bayer-coding.html - Evolution of Pixel Technology in CMOS Image Sensor [2020-01-29] SK Hynix
https://news.skhynix.com/evolution-of-pixel-technology-in-cmos-image-sensor/
之乎
2024-04-30
评论
发表评论