iPhone14 拍摄子系统展望
上一次写手机的拍摄系统，还是在iPhone11世代；
Covid19流行期间似乎时间过特别快，转眼iPhone14也要铺货了。
本来想写的手机是7月冒头的Xiaomi 12s Ultra，因为感觉很有意思，又有很多争论点，
但最后没发出来，不如先聊聊火热的iPhone14系列。
本世代机型，14序号里，在9月的发布会提及了4款：
先抛一个暴论，就是非Pro的两款14多少有一些名不副实，是Apple首次出现处理器「踏步配置」的情况。
如果是以往，可能会以如「iPhone 13s」的名义称呼，表示是小改进的一代 —— 这种情况出现在4-4s、5-5s、6-6s，至于X-Xs算不算都未有定论，但已经是很遥远的习惯了。
iPhone14及14Plus，采用在iPhone13系列上使用的A15 Bionic处理器；
其CPU部分采用大小核设计，具有2个性能核心与4个效能核心；GPU部分则根据不同版本有了区隔，非Pro的13、SE(2022)采用的是4核心，而非Pro的14采用的是和13Pro序列相同的5核心。
13世代的mini取消，改成了Plus大屏版。
如果不是特别在乎紧急卫星通讯等新功能，我倒是觉得，14/14 Plus的潜在用户，可以考虑市面上的13 Pro/13 Pro Max机型。
非Pro的影像系统也是沿用13世代的规格，没有大的变化；
本世代真正的变化，影像系统方面，主要在Pro产品上。
本次相机模组最大的变化，大概就是着眼于主摄的更替。
特别的，大家关注的是像素的革新，
其上使用了48MP的传感器组件。
iPhone的上一次像素更替，还是iPhone 6 -> 6s 世代，由8MP提升到12MP。
48MP，提及了Quad-pixel，也就是索尼半导体的2X2OCL结构，各个传感器厂商称呼大同小异。
而14Pro主摄为左3，1/1.28英寸规格，且具备2x2 OCL。
可以看出，从面积上来说，升级明显。
Apple自己的说法是 65% larger，从面积上进行比较。
但是之前在大疆mini3 Pro的评议里提及，紧凑型传感器到了一定规格，面积带来的收益大差不差，反而是新技术的应用造成的功能差异带来了质的不同。
作为iPhone首次使用2x2结构的图像传感器，发布会时很期待出现8K视频录制，
但最后没有出现。
或者说，实际做了一部分，即在所谓2X镜头上，实现了4K视频，用到的就是中心区域的全像素分辨率实现。
从A系列的处理器来说，苹果应该是有足够的算力来支撑8K的图像编码，
那不做，自然是之外的考量。
反而是在相机厂商方面，会有严格封印的情况，即采用了2x2的传感器结构，但选择去除相应的高分辨率能力，从而实现更多功能性，较为知名的有：
但是苹果并没有提及，
按照企业特性推估，即便是有实现，也不想说。
从目前的双原生实现来看，可以在其他基础上，大概再推高至少2档的ISO表现。
目前的小尺寸机型上，实装了双原生感光度的，好像只有大疆的mini3 Pro无人机。
这一功能对于视频拍摄用途有很大帮助，当然，也会反哺到静态图像的摄影方面。
像GoPro还没有迈出这一步，Android阵营也还没有特别强悍的实现，全景机有已经用上1/2规格2×2的(Theta X、One X3)，但似乎也都没做双原生感光度，或者说双增益的实现。苹果，会是第一个吗？
从另外一个角度想想，
如何验证Apple是否装配了双原生感光度，
其实还有点麻烦。
在相机上的做法是把镜头遮蔽起来，然后手动调节ISO，来看噪声情况。
但是至少，iPhone的原生模组，是不提供ISO的手动调节的。
所以如果你有心，可以去设计一个带有黑影的（观测噪声），整体亮度可控的场景。
但这也是假设，Apple是以相机厂商一般，使用特定档位切换接管……
如果Apple不是这么做的呢？那还真的很难验证。
长远来看，2018年的计算摄影基本上很好地解决了静态照片的弱光下拍摄问题，利用多帧叠加的思路，以及AI来尝试白平衡的路线。
至少要喂饱新的48MP，甚至更高，因为考虑中心区作为独立2x镜头使用。
这也引出了额外的需求，就是2x下的合理性。
当然，无论是等效26mm，还是24mm，两倍都落在差不多50mm的段落，
属于经典的取景框体了，大概喜欢的人会很喜欢。
不过具体的构成没有太多剖析，7片构成，以及固定式的F1.78光圈。
倒是继续沿用了在 iPhone 12 Pro Max 上引入的传感器位移防抖机构，虽然只是两轴防抖，但是包装的很像一回事，至少联合高像素采集的传感器下的电子防抖，效果不差就行了。
引入的防抖模式，大概是受到了GoPro的启发，称作「Action Mode」
说到 Pixel Shift ，倒是引起了一个迷思。
早在2015年，Hydra就实现了iOS上的8MP输出32MP的效果。
之后像2018年，Google Camera也有类似的实现。
那么48MP的主摄下，APP开发者们是冲击192MP的效果，还是选择如Pentax般的实现呢？
拭目以待。
在支持上，A16的处理器似乎还专门推出了一个区域，称作 「Photonic Engine」；
从Apple的描述中，似乎是可以堆叠处理RAW文件，或者说，未「去马赛克化的数据」，的专属操作编解码器区域。
作为软硬一体的厂商，Apple比Google更有执行力。
Google的 HDR+ 基于处理器的ZSL Zero Shutter Lag实现，
所以为了摆脱高通，用了相当的时间，反而Apple在自己A系列处理器的开发上，每年迭代，自己的目标设计更容易贯彻。
在近期的手机上，「闪光灯」的名称显然不符实；实际应用的都是可以常亮的LED，只是出于摄影传统如此命名。
这次的LED似乎是配置了9颗LED，只在发布会上一闪而过。
在参数页，称作「Adaptive True Tone flash」。
True Tone 这个概念，曾经有进行讨论。
新配置的各地译名：
似乎仅仅在发布会上有露脸，但官方站点页面上没有详细的说明。
从演示来看，似乎苹果想营造利用9颗打造不同光效的概念。
但是感觉上，LED总体的面积太小，似乎起不到这一效用。
反而是自适应颜色这点，比之前的4-LED似乎要进一大步，
这一点，也是等待实机测试了。
严格来说，Lidar 光学雷达并不是拍摄系统，但其应用辅助与拍摄系统有关，且在物理安装上也和拍摄模组放在一起。
在13 Pro上引入了称作「Cinematic mode」的模式，主要就是两点，
一个是景深可调，以及AI判断的画面重点。
之前一直都在1080p 30fps的可用属性下，虽然第三方，如focos Live也可以实现，
但这次是实际推进到了4K 30fps的可用性上，属于……喜爱这个功能的朋友应该乐于看到的进步。
以下有来自微机分WekiHome的展示：
闪光灯模组的对比有了显著的差异
但是就一些渠道反映来说，全尺寸ProRAW的整体保存时间偏长，不是一种「Apple式体验」。
从实际对比来说，HEIF与RAW的差距巨大，甚至像两组不同的、跨时代的相机拍摄，而Apple似乎没有进行足够的优化减小这一差距，也可能是背后的多方面原因。
「全面48MP化」的战略也许在13世代就开始进行，分作了数步：
以现有状态，等效13mm、24mm、77mm的物理模组，以及在24、77上扩展的等效48mm、154mm，构成共同的5焦距效果。
但同时，48MP为基础的处理和计算带来的都是数倍于12MP基准的消耗，这就要求算力和其他部分属性的支持。
大概有处理器性能、存储压缩、缓冲区。
简单来说，实施的并不好。
A16遭遇了3nm制程进展的停滞，所以性能相比A15……更像一个临时补救版本，也许是造成ProRAW目前体验的原因。
压缩技术似乎也并不理想，至少占用空间巨大，而且对于用户，也没有其他可选的中间项。
缓冲区来说，其他相机可能已经配置2GB+的专用DRAM；
iPhone目前整体，还在6GB范畴，也落后于Android阵营。
这些方面，都是未来，不仅仅是影像子系统要进步，所需要突破的环节。
整体来看，反而14世代，相比13，最大的硬件提升是主摄的传感器，也是多少令人唏嘘。
各种意义上来说，2023年的15世代（如果是这个命名）值得期待：
之乎
于2022-09-09
Covid19流行期间似乎时间过特别快，转眼iPhone14也要铺货了。
本来想写的手机是7月冒头的Xiaomi 12s Ultra，因为感觉很有意思，又有很多争论点，
但最后没发出来，不如先聊聊火热的iPhone14系列。
目录
- 机型概述
- Pro的变化
- 48MP传感器
- 双原生感光度？
- 等效24mm镜头、IBIS
- 处理器
- 闪光灯
- Lidar
- 发布后更新
- 拆解
- 实拍
- 想法
机型概述
本世代机型，14序号里，在9月的发布会提及了4款：
- iPhone 14
- iPhone 14 Plus
- iPhone 14 Pro
- iPhone 14 Pro Max
先抛一个暴论，就是非Pro的两款14多少有一些名不副实，是Apple首次出现处理器「踏步配置」的情况。
如果是以往，可能会以如「iPhone 13s」的名义称呼，表示是小改进的一代 —— 这种情况出现在4-4s、5-5s、6-6s，至于X-Xs算不算都未有定论，但已经是很遥远的习惯了。
iPhone14及14Plus，采用在iPhone13系列上使用的A15 Bionic处理器；
其CPU部分采用大小核设计，具有2个性能核心与4个效能核心；GPU部分则根据不同版本有了区隔，非Pro的13、SE(2022)采用的是4核心，而非Pro的14采用的是和13Pro序列相同的5核心。
13世代的mini取消，改成了Plus大屏版。
如果不是特别在乎紧急卫星通讯等新功能，我倒是觉得，14/14 Plus的潜在用户，可以考虑市面上的13 Pro/13 Pro Max机型。
非Pro的影像系统也是沿用13世代的规格，没有大的变化；
本世代真正的变化，影像系统方面，主要在Pro产品上。
Pro的变化
本次相机模组最大的变化，大概就是着眼于主摄的更替。
特别的，大家关注的是像素的革新，
其上使用了48MP的传感器组件。
48MP传感器
14 Pro 系的两台机器上，主摄应用了48MP的传感器。iPhone的上一次像素更替，还是iPhone 6 -> 6s 世代，由8MP提升到12MP。
 |
| iPhone官方宣传资料 |
48MP，提及了Quad-pixel，也就是索尼半导体的2X2OCL结构，各个传感器厂商称呼大同小异。
从参数来看，特别是像素尺寸，高度相像于索尼的IMX707，
而IMX707，是之前IMX700的改款。
都是1/1.28英寸规格，这个尺寸恰好在1/1.65到1英寸的中间档位上。
虽然不能说苹果一定用了市售版的IMX707，但是可以作为参考。
借用小米12S Ultra上的比对图片：
13Pro及14系主摄，据信是左1，1/1.65英寸；都是1/1.28英寸规格，这个尺寸恰好在1/1.65到1英寸的中间档位上。
虽然不能说苹果一定用了市售版的IMX707，但是可以作为参考。
借用小米12S Ultra上的比对图片：
而14Pro主摄为左3，1/1.28英寸规格，且具备2x2 OCL。
可以看出，从面积上来说，升级明显。
Apple自己的说法是 65% larger，从面积上进行比较。
但是之前在大疆mini3 Pro的评议里提及，紧凑型传感器到了一定规格，面积带来的收益大差不差，反而是新技术的应用造成的功能差异带来了质的不同。
另一方面，就可以看出1/1.65"规格在iPhone上的代数延续不多，
从iPhone 12 Pro Max的独占，到13系Pro与Pro Max双机，
计两代机型的时间，就成为昨日黄花。
2x2就有很多特性，比如4个一组的像素簇里，就可以有像素来兼任相位对焦点，
也就是宣传中的100% focus pixel，比以往的Dual Pixel更全。
还有像iPhone11上开始布局的2倍焦距步进，也在前一代改成了3倍；
因为主摄的48MP，可以通过取中心的12MP，来替换2倍的焦距。
也就是，一枚原生的24mm（等效），一枚裁切状态的48mm（等效）。
虽然说，数码变焦在21世纪初的数码相机上一度流行，
但「整焦距切换」第二波浪潮，应该是2013年的GR以及其后的Q带动的。
Apple是很严肃地对待2x，给了人像模式等方面的支持，还可以拍摄视频。
比较特别的一点，iPhone14 Pro及ProMax上的48MP，似乎还可以保存为ProRAW；
据说虽然来得晚，反而在这方面领先了Android阵营的实现。
计两代机型的时间，就成为昨日黄花。
2x2就有很多特性，比如4个一组的像素簇里，就可以有像素来兼任相位对焦点，
也就是宣传中的100% focus pixel，比以往的Dual Pixel更全。
还有像iPhone11上开始布局的2倍焦距步进，也在前一代改成了3倍；
因为主摄的48MP，可以通过取中心的12MP，来替换2倍的焦距。
也就是，一枚原生的24mm（等效），一枚裁切状态的48mm（等效）。
虽然说，数码变焦在21世纪初的数码相机上一度流行，
但「整焦距切换」第二波浪潮，应该是2013年的GR以及其后的Q带动的。
 |
| 其中的2x即为主模块数码变焦 |
Apple是很严肃地对待2x，给了人像模式等方面的支持，还可以拍摄视频。
比较特别的一点，iPhone14 Pro及ProMax上的48MP，似乎还可以保存为ProRAW；
据说虽然来得晚，反而在这方面领先了Android阵营的实现。
作为iPhone首次使用2x2结构的图像传感器，发布会时很期待出现8K视频录制，
但最后没有出现。
或者说，实际做了一部分，即在所谓2X镜头上，实现了4K视频，用到的就是中心区域的全像素分辨率实现。
从A系列的处理器来说，苹果应该是有足够的算力来支撑8K的图像编码，
那不做，自然是之外的考量。
双原生感光度？
采用2x2或者3x3结构的传感器，至少在手机上，或者说Android手机上，都很乐意将影片拍摄性能翻倍，例如原本12MP满足的4K，在48MP上实现8K@30fps，虽然可能并不实用，但是在广告宣传上还有让人眼前一亮。反而是在相机厂商方面，会有严格封印的情况，即采用了2x2的传感器结构，但选择去除相应的高分辨率能力，从而实现更多功能性，较为知名的有：
- Lumix GH5S (IMX299)
- SONY A7S3 (IMX510)
但是苹果并没有提及，
按照企业特性推估，即便是有实现，也不想说。
从目前的双原生实现来看，可以在其他基础上，大概再推高至少2档的ISO表现。
目前的小尺寸机型上，实装了双原生感光度的，好像只有大疆的mini3 Pro无人机。
这一功能对于视频拍摄用途有很大帮助，当然，也会反哺到静态图像的摄影方面。
像GoPro还没有迈出这一步，Android阵营也还没有特别强悍的实现，全景机有已经用上1/2规格2×2的(Theta X、One X3)，但似乎也都没做双原生感光度，或者说双增益的实现。苹果，会是第一个吗？
从另外一个角度想想，
如何验证Apple是否装配了双原生感光度，
其实还有点麻烦。
在相机上的做法是把镜头遮蔽起来，然后手动调节ISO，来看噪声情况。
但是至少，iPhone的原生模组，是不提供ISO的手动调节的。
所以如果你有心，可以去设计一个带有黑影的（观测噪声），整体亮度可控的场景。
 |
| Andy Trace的视频 测试S1的双原生ISO启动迹象 |
但这也是假设，Apple是以相机厂商一般，使用特定档位切换接管……
如果Apple不是这么做的呢？那还真的很难验证。
长远来看，2018年的计算摄影基本上很好地解决了静态照片的弱光下拍摄问题，利用多帧叠加的思路，以及AI来尝试白平衡的路线。
 |
| 2018年Gcam的更新，具有标志意义。 左边iPhoneXS，右边Pixel 3开启NS功能 |
但是视频拍摄没有这种取巧的办法，所以一定要等待硬件更新。
再扯远一些，在双原生感光度方面发展的不错的松下，它在ProRes编码方面与Apple的合作可以说是相当良好，很多特性都是第一时间支持。
所以如果说，它们之间联动来做出一些技术火花，也是意料之外情理之中的事。
以上猜测属于不着调的技术展望，只是可能的模样。
再扯远一些，在双原生感光度方面发展的不错的松下，它在ProRes编码方面与Apple的合作可以说是相当良好，很多特性都是第一时间支持。
所以如果说，它们之间联动来做出一些技术火花，也是意料之外情理之中的事。
以上猜测属于不着调的技术展望，只是可能的模样。
等效24mm镜头、IBIS
因为更换了传感器，从解析度的角度来说，更换镜头设计也是无可厚非——至少要喂饱新的48MP，甚至更高，因为考虑中心区作为独立2x镜头使用。
这也引出了额外的需求，就是2x下的合理性。
当然，无论是等效26mm，还是24mm，两倍都落在差不多50mm的段落，
属于经典的取景框体了，大概喜欢的人会很喜欢。
不过具体的构成没有太多剖析，7片构成，以及固定式的F1.78光圈。
倒是继续沿用了在 iPhone 12 Pro Max 上引入的传感器位移防抖机构，虽然只是两轴防抖，但是包装的很像一回事，至少联合高像素采集的传感器下的电子防抖，效果不差就行了。
引入的防抖模式，大概是受到了GoPro的启发，称作「Action Mode」
说到 Pixel Shift ，倒是引起了一个迷思。
早在2015年，Hydra就实现了iOS上的8MP输出32MP的效果。
之后像2018年，Google Camera也有类似的实现。
那么48MP的主摄下，APP开发者们是冲击192MP的效果，还是选择如Pentax般的实现呢？
拭目以待。
处理器
在支持上，A16的处理器似乎还专门推出了一个区域，称作 「Photonic Engine」；
从Apple的描述中，似乎是可以堆叠处理RAW文件，或者说，未「去马赛克化的数据」，的专属操作编解码器区域。
作为软硬一体的厂商，Apple比Google更有执行力。
Google的 HDR+ 基于处理器的ZSL Zero Shutter Lag实现，
所以为了摆脱高通，用了相当的时间，反而Apple在自己A系列处理器的开发上，每年迭代，自己的目标设计更容易贯彻。
闪光灯
在近期的手机上，「闪光灯」的名称显然不符实；实际应用的都是可以常亮的LED，只是出于摄影传统如此命名。
这次的LED似乎是配置了9颗LED，只在发布会上一闪而过。
在参数页，称作「Adaptive True Tone flash」。
True Tone 这个概念，曾经有进行讨论。
新配置的各地译名：
| 地区 | 名称 |
|---|---|
| 台灣 | 適應性原彩閃光燈 |
| 中国大陆 | 自适应原彩闪光灯 |
| 香港 | 適應性原色調閃光燈 |
 |
| 画面变化展示了其上的九宫格排布 |
从演示来看，似乎苹果想营造利用9颗打造不同光效的概念。
但是感觉上，LED总体的面积太小，似乎起不到这一效用。
反而是自适应颜色这点，比之前的4-LED似乎要进一大步，
这一点，也是等待实机测试了。
Lidar
严格来说，Lidar 光学雷达并不是拍摄系统，但其应用辅助与拍摄系统有关，且在物理安装上也和拍摄模组放在一起。
在13 Pro上引入了称作「Cinematic mode」的模式，主要就是两点，
一个是景深可调，以及AI判断的画面重点。
之前一直都在1080p 30fps的可用属性下，虽然第三方，如focos Live也可以实现，
但这次是实际推进到了4K 30fps的可用性上，属于……喜爱这个功能的朋友应该乐于看到的进步。
发布后更新
拆解
不少爱好者或自媒体进行了拆解。以下有来自微机分WekiHome的展示：
 |
| 13Pro与14Pro模组对比 |
 |
| 与今年12SU的模组对比，体积并没有太多优势 |
闪光灯模组的对比有了显著的差异
实拍
从实拍来看，ProRAW的全尺寸48MP惊人，展现了不俗的素质：100% crop vs the shot. This is wild. I never even saw the bird at first. pic.twitter.com/CzfZiCcj3X
— Sebastiaan de With (@sdw) September 17, 2022
We had concerns that the iPhone 14 Pro’s 48 megapixels would come at the expense of ‘depth’; that its sensor wouldn’t render images as nicely or capture enough dynamic range.
— Halide (@halidecamera) September 17, 2022
Here’s @sdw's RAW vs. an edit.
This camera is incredible. pic.twitter.com/hoVhnyXE0m
但是就一些渠道反映来说，全尺寸ProRAW的整体保存时间偏长，不是一种「Apple式体验」。
从实际对比来说，HEIF与RAW的差距巨大，甚至像两组不同的、跨时代的相机拍摄，而Apple似乎没有进行足够的优化减小这一差距，也可能是背后的多方面原因。
想法
复盘的话，苹果应该是有一个长期战略设计，但是实施以年为单位缓慢推进。「全面48MP化」的战略也许在13世代就开始进行，分作了数步：
- 将长焦的2x调整为3x，出让空间。(在13世代完成)
- 主摄48MP化，用数码裁切2x填补空缺。(在14世代完成)
- 全面48MP化，至少实现5镜头效果。(时间不明)
以现有状态，等效13mm、24mm、77mm的物理模组，以及在24、77上扩展的等效48mm、154mm，构成共同的5焦距效果。
但同时，48MP为基础的处理和计算带来的都是数倍于12MP基准的消耗，这就要求算力和其他部分属性的支持。
大概有处理器性能、存储压缩、缓冲区。
简单来说，实施的并不好。
A16遭遇了3nm制程进展的停滞，所以性能相比A15……更像一个临时补救版本，也许是造成ProRAW目前体验的原因。
压缩技术似乎也并不理想，至少占用空间巨大，而且对于用户，也没有其他可选的中间项。
缓冲区来说，其他相机可能已经配置2GB+的专用DRAM；
iPhone目前整体，还在6GB范畴，也落后于Android阵营。
这些方面，都是未来，不仅仅是影像子系统要进步，所需要突破的环节。
整体来看，反而14世代，相比13，最大的硬件提升是主摄的传感器，也是多少令人唏嘘。
各种意义上来说，2023年的15世代（如果是这个命名）值得期待：
- 满血的3nm，和匹配的A系列处理器设计，算力的大幅提升
- 欧盟主导的USB Type-C 接口，在iPhone系列的首次登场
- 可能是2个，或者3个全用的48MP图像传感器
- 经过了一年第三方适配的，围绕48MP的方案
之乎
于2022-09-09
评论
发表评论