应用像素位移的相机

像素位移成像技术 Pixel Shift,恰恰在两个相反且极端的领域出现,显微摄影与天文摄影;
其在光学系统设计制造,以及单片图像传感器本身不变的情况下,尽可能挖掘画质提升空间。

近些年,市面上应用 Pixel Shift 来获得更好画质、更高分辨率的相机越来越多;
本篇管中窥豹,整理个中一二。

Olympus PEN-F,具有带Pixel Shift效能的五轴防抖机构的最小机型。
可以实现以20mp传感器,输出80mp RAW文件的能力

目录

  1. 基础与实现
    • 理论基础
    • 起源实现
    • 相近功能
  2. 消费级实现 [跳转]
    • 仙娜 Sinar
    • 哈苏 Hasselblad
    • 奥林巴斯 Olympus / 奥之心 OMDS
    • 宾得 Pentax
    • 索尼 SONY
    • 松下 Panasonic Lumix
    • 富士胶片 Fujifilm
    • 佳能 Canon
    • 尼康 Nikon
    • 真实世界的评测
  3. 表格 [跳转]
  4. 相机之外 [跳转]
    • 智能手机的故事时间
    • 爱好者的自行开发
  5. 其他的话
    • 厂商的新战场
    • 局限性
  6. 外部链接


基础与起源


理论基础

Pixel Shift,中文一般称作「像素偏移」或「像素位移」。
本质上在于利用既有像素之间,未被完全利用的空间信息提升画质。

简单来说,利用 Pixel Shift 获得更好画质,来源于两个途径:
  • 重新利用像素之间的空间信息
  • Bayer排布的传感器,空间位置的重新利用
把像素视作眼睛,那么图像传感器其实是看不到“像素之间”的信息的;
很自然的想法就是将像素移动到“像素之间”(sub-pixel)来“看”信息。

这样对于一个光学系统来说,不需要增加本身的解析力,仅在传感器段即提升了整体解析。
这称作 Super-resolution imaging (SR),或译作“超解析度成像”。

对于第二种思路,其来源于目前的图像传感器类型,即称作“拜耳滤镜”的结构。
通常是由RGBG构成里一个逻辑像素。

拜耳滤镜阵列示意图。图片来自Cburnett

红色点位不知道蓝色和绿色的信息,换位同理。
以此出发,对色点进行整数位移动,并叠加计算,可以获得更好的色彩,或表达为更好的位深度。
这样做还有一个额外的好处,即避免 Moiré pattern ,摩尔纹。

以上的技术基础,在于
sensor shift 或 pixel shift,即「传感器位移」或「像素位移」。
在不同的厂商可能以不同的名称进行命名。

而数学基础,Deconvolution,解卷积,维基百科专门有一个光学与图像的章节解释。
通常是在两个特殊领域出现,一个是微观的显微镜的图像处理中应用;另外则是宏观的天文领域。
诸如NASA中已经展开应用,在哈勃空间望远镜项目中,就有拿来提升最终成像。
考虑一下,初代的哈勃使用传感器为800x800,甚至远远小于你今天手机摄像头的分辨率。

起源实现

读者提出,Fujifilm Frontier SP2000 的胶片扫描仪,可能是率先在相关摄影设备上配置像素位移的设备,但是年代久远,似乎很难找到相关资料。
这里权且列出,以后待补充。

在1995年,美能达(Minolta)与爱克发(Agfa) 公司联合推出的「RD-175」机型,采用3CCD构造,但每一块均在逻辑位置上错开半个像素,使得最后成像分辨率为传感器像素4倍。
多年前的参与该条目的编辑,也成为今日写作本篇的一个推动因子。

在1080P标准的早期,由于市场上的全高清传感器还不够成熟,也出现了以3CCD技术,单片为960x540分辨率的传感器,组合而成,获得1920x1080图像的实现。

在静态照片获取上,可以通过单传感器的多张位移拍摄来实现更高分辨率。
基于多张拍摄,并通过计算获得图像收益,带有典型的计算摄影 (Computational photography) 特征。

在个人消费者可能难以企及的商用领域,自然出现了相关应用。
根据本文读者的回报,来自瑞士的厂商,仙娜(Sinar)的相关数码后背产品,在大约21世纪初就配置了单传感器位移的功能,称作 multi-shot


Sinarback 44
能找到的比较早的款式(暂时不确定是否首款),是2001年时的 Sinarback 44
其原生配置16MP的传感器,可以在4、16张拍摄模式输出更高分辨率,或称作 Anti-Moir的去摩尔纹模式。

这一技术成为日后,或者说本文的技术主流。

相近实现

Pixel Shift这一路线发展的同时,也有具有类似过程及目的的技术存在,
即图像堆栈 Image stack 。
Adobe自己进行的解释页面

kandao公司的RAW+ (KandaoRawPlus) 为具有代表性的帧平均工具,在同一位置拍摄的多张图像进行叠加处理,获得更多位深,从而在后期中得到可用的宽容度范围。

类似的如 Sigma公司的 帧平均 (SFD Super Fine Detail) 模式,
可以为X3机型提供更好的效果。

他们与像素位移有着不太一样的效用,但是都涉及图片的多拍合成,有着相似的硬件需求,
所以在一些复杂的应用中,可能会与Pixel Shift互相结合以提升最终图片质量。

消费级实现 Camera Models


消费级相机们实现是“很晚”的故事。
各厂牌首台机型如下:
厂商 机型 / 发行年份 /
单张与最终输出分辨率(MP)
哈苏
Hasselblad
H3DII-39MS
2008
39 / 39
奥林巴斯
Olympus
E-M5 MarkII
2015-02
16 / 64
宾得
Pentax
K3 II
2015-04
24 / 24
索尼
SONY
α7R III
2017-10
42 / 42
松下
Panasonic Lumix
G9
2017-11
20 / 80
富士胶片
Fujifilm
GFX100
2019
2020
108 / 400
佳能
Canon
EOS R5
2020-07
2023-03
45 / 400

仙娜 Sinar

有读者指出仙娜可能是早期推进的厂商,我还在找资料中。
这里有一个其自己的介绍页面。
Image quality without compromise


哈苏 Hasselblad

哈苏相机在2008年的H3D II 世代,引入了一项叫做 MultiShot 的功能
该功能实现了去马赛克效果,最终输出仍然是与传感器像素相等的39MP。

这一功能后来延续到H4D-50MS,在50mp传感器基础上,拍摄4张,达到更好的位深度;
这一世代的一个变化在于,稍后的H4D-200MS,其实是基于 H4D-50MS 的一个功能拓展改型,以6张拍摄得到4倍分辨率,即200mp图像。

这两台机型都具有称作 Multi-Shot 的传感器移动技术。
哈苏公司在其后的H5D-200C、H6D-400C均有配备该功能;400c顾名思义,拓展到最高输出400mp的能力。
这些机型末尾均带有 MS,应该代表该技术的 Multi-Shot 之缩写。

哈苏H5D-200c MS


根据哈苏的技术说明, Multi-Shot 具有两种工作模式。
一类是4连拍,一类是6连拍。

左为4连拍模式,RGB点互相换位;
右为6连拍模式,RGB点于间隙捕捉光线。

这两种模式分别对应了上一章节提及的两种提升模式。

在H5D系开始,后续均配置后两种模式
Hasselblad unveils pixel-shifting 200MP H5D-200c MS

在2016年开始制造的无反机型X1D上,未配置传感器防抖机构;
但在2022的更新款,X2D上,配置了传感器防抖设备。


奥林巴斯 Olympus / 奥之心 OMDS

奥林巴斯,2015年 E-M5 Mark II 是该公司最早的像素偏移产品。

这一功能称作「高分辨率拍摄」 (日语:ハイレゾショット 英语:High Res Shot)。
效果为16MP传感器,输出40MP JPG,或者64MP RAW。
在之后的E-M1 M2、PEN-F、E-M1X 以及 E-M5 Mark III 上,由于配置的基底为20MP,机内可输出,或 80MP RAW。

为了加强可用性,奥林巴斯也在2019年推出的 E-M1 X 机型上,将该功能扩展为手持可用。


官网的解释

手持模式下考虑到手抖情况进行补偿,
同时RAW格式文件的分辨率缩减为 50MP (8160 x 6120)。
针对高像素模式的合成,手持式目前还属于奥林巴斯独占。

无论哪一种,奥林巴斯模式,提供的是8张拍摄合成,生成高分辨率的效果。
奥林巴斯,或者说后来接手的奥之心,将其配置在高阶机型上,作为独占。

尚不明白其与哈苏公司技术的联系,
但需要注意的一点是,奥林巴斯公司在医疗与生物方面有不少涉及业务,
显微镜相关技术中,像素偏移及超分辨率是新兴的技术实现,
转移到民用相机上也是相当常见。
奥林巴斯自己的显微镜业务,将该技术称作OSR,并表示,其他同类型产品的衍射极限在约200nm,而自己的产品可以分辨120nm。
相关的OSR介绍页面

在日后的微距拍摄领域,也有诸如景深合成这类明显来自于同公司技术转化的成果。


宾得 Pentax

宾得公司在2015年推出的K3 II,有听起来类似的功能。
中文译名作 「像素偏移分辨率系统」 (日语:超解像技術  英语:Real Resolution 转译:リアル・レゾリューション・システム);
而在发展中后期,如K1机型上,称作「Pixel Shift Resolution」,中文译名不变。

但与奥林巴斯方式有区隔,是在Bayer传感器的微构造基础上,尝试实现诸如 Technicolor ,或者说类似3CCD形式的色彩还原。
得到的,仍然是24MP的图像;即之前解释的位深度增益模式。

也得益于这种模式,在一些评测中,宾得在像素偏移中,具有较好的动体补正效果。
可以这样认为,拍摄的第一帧为物体轮廓关键帧,后续拍摄用于增强;
而如果轮廓差异较大,则舍弃该部分信息,这样最差不过是该区域未获得增益,而不是叠加形成失败图像。

这一技术在宾得后续的,配置SR防抖系统的单反机身上获得较普遍配备。
到 K1 MarkII,这一技术大约在3代机身上延续,已经可以手持使用。

装配77mm F1.8的K-1 II,图片来自Joergens.mi

理光 (Ricoh) 和宾得 (Pentax) 由于合并案的关系,有更深的技术交流,
但在产品上限于种类,一直未在这方面擦出火花。
2019年初上市的第三代 APS-C 固定镜头GR,即 GR III ,装配了SR机构。

GR III (2019) 装配的三轴传感器位移机构
图片来自DC Watch Impress

这一变化,也使得相应功能成为可能。


不过GR系由于定位在街拍机,这方面功能可能相对不那么瞩目。
但功能页面说得倒是明白,由于新款的24MP传感器去除了低通,所以为了抑制摩尔纹出现,采用了「SR」机构的亚像素级移动,堆叠来抵偿摩尔纹;
而且,表明在于快门速度高于1/1000的场合更明显。

严格来说,这不仅是理光厂牌第一次装配 Pixel Shift,
也是像素位移功能第一次在固定镜头便携相机上出现。

在随后2021年登场的GR IIIx,整体来看仅更换了镜头焦距,这一功能也得以保留。


索尼 SONY

在2017年索尼推出了α7 R Mark III(或习惯称作A7R3),配置了这一功能。
「像素转换多重拍摄」 (日语:ピクセルシフトマルチ撮影 英语:Pixel Shift Multi Shooting)。

索尼在A7R3上的模式是,拍摄4张,RAW格式,无法在机内完成处理。
需要用配套的 Imaging Edge 进行后制。
https://dc.watch.impress.co.jp/docs/review/item/1095074.html
索尼的做法,是移动整数个像素,类似宾得。
以A7R3拍摄的这一模式,并不能提升整体像素数。

A7R3的像素转换拍摄。图片来自Rab ᙏ捐献

无法机内合成这一点,和其他几家迥然不同,
一方面可能是算力不足的问题,
另外一方面,索尼机型的初始分辨率也是几款机型中最高的。
(2019年,松下推出的S1系列,像素高于A7R3,依然可以机内完成处理)

在其「α7R IV」机型中,传感器分辨率为61mp;
索尼还加入了 16张合成的机能,这种模式综合了两种优势效果,其Pixel Shift 后的合成分辨率为 240mp 。



2021年1月推出的顶级机型,α1(或写作Alpha 1,A1)配置了50mp的135规格传感器,Pixel Shift支持4张与16张两种方式合成,输出等大50mp,或者200mp(或写作199mp)文件。


松下 Panasonic Lumix

松下公司在2017年的G9上,首次装备该功能。

虽然听起来不像,但实际上G9是高端GH系,GH5的续作产品。
也许是和奥林巴斯的合作关系,G9装配了五轴防抖技术,也顺带具有了以此为基础的 Pixel Shift 功能。
同样是拍摄8张,以20mp传感器为基础,获得80mp图像。

松下G9,图片来自Bautsch
G9的高分辨率模式拍摄,原图请访问;由Membeth贡献


但在下一(半)代的GH5s上,因为主打视频,传感器分辨率回退为10mp,也因为没有内置防抖机构,而取消该功能。
在2022年发布的GH6,在M43阵营首发了25MP规格的传感器,通过像素位移,可以输出100MP的图像。

在2019年,藉由L卡口,迈入了135相机领域。
这一年推出的 S1/S1R/S1H 一门三杰,对应了主流、高像素及视频,配置分工令人想起α7系列。
三款机型均配置了称作「高分辨率模式」的技术(日文「高解像撮影モード」)。

S1H,外形很硬朗,有人说不好看


这一模式,可以通过移动传感器,连续拍摄8张图像,
对于基于24mp的传感器,合成96mp图像(RAW文件,12000x8000);
对于基于47mp的传感器,合成187mp的图像(RAW文件,16736x11168)。

而且,这种模式特别考虑了动体拍摄,分别有子模式1与2,可以由用户根据拍摄内容选择切换。
日文的页面说的更加详细清晰。

顺带一提,个人意见,2019年11月发布的 Leica SL2,我认为就是一台超频版的S1R,同样具有该模式。
2009~2010时代,松下公司在其固定镜头数码机,及同代代表的G2机身上配置过「超解像技術」,内置于LSI。
根据我的理解,这一技术基于图像识别后的具体优化。

富士胶片 Fujifilm

富士长期以来都是镜头防抖策略,在2019年开始转向传感器防抖(X-T4机型),也使得其有了像素位移的可能性。
但这一可能也是姗姗来迟,直到2020年11月底,才宣布为GFX100装配该功能(固件3.0)。

其技术实现,为拍摄16张影像之后进行合成,与索尼的高像素方案类似。

富士胶片因为其传感器输出的100MP水平,也使得其成为了消费级相机里,像素最高的像素位移输出。

厂商稿:
稍后,根据2021年初,由Youtube频道 ZY Productions 的测试, GFX100拍摄了16张进行合成,实际输出 23296x17472 像素,约407MP。

佳能 Canon

佳能在2020年7月推出了EOS R5机型,是无反的R系列上颇具野心的款式,
其上也是首次涉足到了IBIS的传感器位移方式的防抖,其实等同于其硬件上有了Pixel Shift的能力;
但这一功能的解锁反而直到2023年3月才通过固件更新(Version 1.8.1)的方式实装。

相比于匆忙上线就过热的8K拍摄,像素位移的高像素拍摄,倒显得稳妥很多。


这一方式下为9张拍摄,生成约4亿像素照片。
这其实是比较特别的,因为业界普遍来说,都是在4倍像素填充的范畴来做。
不晓得是否其实现过程,应用了其上Dual Pixel结构参与。

此外就是与业界极端的索尼方式相比,其支持机内合成,更偏向Lumix的实现。

尼康 Nikon

尼康在2023年9月公开(10月销售)的机型,「Z f」上首次宣布支持Pixel Shift技术实现的高像素拍摄。


真实世界的评测

总有好事者会进行实拍,来进行技术验证。
这种实证的精神是有益的,免得厂商的无止境大话。

Imaging Resource 最早对E-M5 M2进行了对比,为了说明差异,甚至与645Z安排了一战;
虽然落败,但拍摄效果仍然值得一看。

DC Watch Impress 在2018年2月,由 伊達淳一 先生撰写《三脚がなければ撮れない最新機能やテクニックを紹介!》,探讨了关于使用三脚架摄影,提升拍摄画质的一些技术,并给出样本图。

名称 时间
/涉及机型
Imaging Resource
Exploring the E-M5 II's "High Resolution" mode

[快照]
by Dave Etchells and Dave Pardue
??
E-M5 II
DC Watch Impress
三脚がなければ撮れない
最新機能やテクニックを紹介!

By 伊達淳一
2018-02
宾得K-3 II
索尼A7R3
奥林巴斯E-M1 M2
松下G9 PRO
B&H
Pixel-Shift Shootout:
Olympusvs. Pentax vs. Sony vs. Panasonic

By Cory Rice
2018-04-13
宾得K1
索尼A7R3
奥林巴斯E-M1 M2
松下G9
这些文章以日文或英文形式展现,但用词不深,
借助Google翻译可以窥探全貌,感兴趣的话不妨一读。


拾遗
2013年,佳能有消息,关于其自身的 Pixel Shift 专利
但60Da之后的EOS Ra都有消息了,像素位移机型还没见到。



表格 The Table



具有 Pixel Shift 功能的消费级相机一览:

机型 发行年份
传感器单张/输出分辨率
仙娜 Sinar
待补充 2001?
-
-
哈苏 Hasselblad
H3DII-39MS 2008
39MP
39MP
H3DII-50MS 2009-11
50MP
50MP
H4D-50MS 2010-05
50MP
50MP
H4D-200MS 2011-05
50MP
200MP
H5D-200MS 2014-08
50MP
8272×6200
200MP
H6D-400C MS 2018-10
100MP
11600×8700
400MP
23200×17400
奥林巴斯 Olympus
奥之心 OMDS
E-M5 MarkII 2015-02
16MP
4608×3456
64MP
PEN-F 2016-01
20MP
5184×3888
80MP
10368×7776
E-M1 MarkII 2016-12
20MP
5184×3888
80MP
10368×7776
E-M1 X 2019-01
20MP
5184×3888
80MP
10368×7776
E-M5 Mark III 2019-10
20MP
5184×3888
80MP
10368×7776
E-M1 Mark III 2020-02
20MP
5184×3888
80MP
10368×7776
OM-1 2022-03
20MP
5184×3888
80MP
10368×7776
OM-5 2022-10
20MP
80MP
OM-1 II 2024-02
20MP
5184×3888
80MP
10368×7776
宾得 Pentax
K3 II 2015-04
24MP
24MP
K1 2016-02
36MP
36MP
K70 2016-06
24MP
24MP
KP 2017-01
24MP
24MP
K1 II 2018-02
36MP
36MP
K3 III 2021-03
26MP
26MP
KF 2022-11
24MP
24MP
理光 Ricoh
GR III 2019-02
24MP
24MP
GR IIIx 2021-09
24MP
24MP
索尼 SONY
α7R III 2017-10
42MP
42MP
α7R IV 2019-07
61MP
240MP
α1 2021-01
50MP
50MP/200MP
α7R V 2022-10
61MP
240MP
α7CR2021-01
61MP
240MP
松下 Panasonic Lumix
DC-G9 2017-11
20MP
80MP
DC-S1 2019-02
24MP
96MP
DC-S1R 2019-02
47MP
187MP
DC-S1H 2019-05
24MP
96MP
DC-S5 2020-09
24MP
96MP
DC-GH6 2022-02
25MP
100MP
DC-S5 II/
S5 IIx
2023-03
24MP
96MP
徕卡 Leica
SL2 2019-11
47MP
187MP
SL2-S 2020-12
24MP
96MP
富士 Fujifilm
GFX100 2019-06
102MP
400MP
GFX100 IR 2020-11
2021-01
102MP
400MP
GFX100 S 2021-01
102MP
400MP
GFX 50S II 2021-09
51.4MP
200MP
X-H2X-H2 2022-09
40MP
160MP
X-T5X-T5 2022-11
40MP
160MP
佳能 Canon
EOS R5 2020-07
2023-03
45MP
400MP
尼康 Nikon
Zf 2023-10
24MP
96MP
Z8 2023-05
2024-02
47MP
188MP
  • 表格最后更新日期 2024-02-07
  • 图片具体的长宽尺寸来自于厂商样图,如果没找到……不另行补充了。

[2020-06-08]更新
关于富士
一直有声音,关于富士的645机型,追加Pixel Shift功能,这样可以在50MP/100MP的基础上,输出200MP/400MP。
这一消息,在2020年2月,伦敦的 2020 X Summit 上,得到了来自富士胶片方面的宣告。
Fuji Working on 400MP Pixel-Shift Mode for GFX 100, Teases 50mm f/1.0
Fujifilm says new 400MP 'pixel shift' mode is coming to its GFX 100 camera system

当然,更新这段文字的6月,仍然没有动作,所以还需要进一步观察。

[2020-09-02]更新
添加S5
S5的多拍合成略有变化,前代S1支持最高ISO3200,单张最高1s;
S5依然ISO3200,但单张可以支持最高8s。

[2020-11-25]更新 富士胶片宣布为GFX100添加400MP的输出模式。 命名为「Pixel Shift Multi-Shot」 同期推出了一个专用的处理程序,称作「Pixel Shift Combiner」 https://www.fujifilm.com/news/n201125_01.html

[2022-09]更新
富士将Pixel Shift带入了APS-C的X系统,新40MP的XH2上首次装配。
模式也有所不同,采用20张拍摄合成。

总结以上关于厂商的产品实践,我个人的印象:
厂商印象
仙娜
Sinar
产品价格和定位离开大众市场,自然技术多少也远离大众视野。
本文目前都还没有办法给出一个明确的产品和技术路线,但我想,应该是非常强的。
未完待续
哈苏
Hasselblad
在目前可以查证的产品目录里,哈苏的产品相当具有先锋性。

这与时代也有关系,在2011的时间里,获取诸如4倍像素绝对是杀手级的产品功能。

但在这一功能成为普及化后,哈苏可能没有办法提升、细化这种体验。
奥林巴斯
Olympus
在真正的消费级里,奥林巴斯是很多技术的先锋,可惜在2021年这一业务进行了剥离,未来我们还能多大程度见证惊喜,要打一个问号。

从单纯的4倍,到手持,OM在这一技术的实用性上的贡献是无可争辩的。
宾得/理光
Pentax/Ricoh
两个厂牌,目前一个团体。
在像素位移上一直保留了高像素的处理,而提出更好的色彩还原。

特别是反哺到小型化的GR系上,让人惊艳。这一功能甚至于有一些无感,也和其他厂牌的技术路线不同。
富士胶片
Fujifilm
富士胶片的防抖技术路线关系,之前一直都是镜头端,但在旗舰的GFX上迈入了这一领域。

这一产品线甚至也是日系与哈苏等进行对抗的一个风向标,期待做得更好。(更便宜)
索尼
Sony
索尼在10年前有很多开创性的东西,
随后的技能树几乎都只是在图像传感器上,相机设计的部分很少出新,很多功能都步奥林巴斯后尘;这可能也不是坏事,商业上。

索尼只在旗舰类型上提供这一功能,将像素推高,也是有标榜自己GM镜头的意味,于是曲高和寡……用户体验上也不是那么理想。
松下
Panasonic
松下在M43时代因为防抖技术路线的转变步入,G9作为第一台来得稍微有点晚,但是在S系上火力全开。

在功能的可用性上保持了相当的水平,也许是和奥林巴斯风格有一定关系,谁知道呢?
徕卡
Leica
徕卡和松下有技术上的互通,我猜测L联盟加强了这种合作。

SL2和SL2-S都有相当的特色,并不是以往称作纯奢侈品的作品,也许以后的L机都会有这种功能的实现。



相机之外 Beyond Camera


智能手机的故事时间

2010年,爱国者 aigo 的 Cloud CAM 配合iPhone,实现拍摄分辨率提升。

2014年,Oppo的 Find 7手机,可以用12mp传感器,生成50mp文件。

2015年,通用的 Hydra 应用出现,登陆iOS平台。
可以在8mp的后置摄像头上,生成4倍的32mp图像。
https://creaceed.com/ihydra

2018年,Pixel 3 世代,GCam推出了,为了补充无望远摄像头的缺憾,使用超分辨率方式获得图像,再进行裁切。
这一功能已经在之前《Google Camera发展梳理》中进行介绍。

Google Research 在2019 SIGGRAPH 上发表了相关论文
Handheld Multi-frame Super-resolution
详情可见专属站点

2019年,苹果公司为iPhone11世代,推出了名叫 Deep Fusion 的一套东西。
综合了超分辨率和堆栈,最后效果是利用12mp的传感器,得到24mp的输出;
这一点与相机行业,习惯上输出4倍分辨率不太一样。



爱好者的自行开发

道理说明白,很容易就是“就差xxx”的状态了,爱好者们自己进行了开发。

PetaPixel 在2015年即有投稿,表示找到了一种利用手抖来增强画质的方法。
显然和当时推出的机型有一定影响

A Practical Guide to Creating Superresolution Photos with Photoshop
2015-02-21
Ian Norman
https://petapixel.com/2015/02/21/a-practical-guide-to-creating-superresolution-photos-with-photoshop/

即便到了2018年,这样的方法仍然启迪新的加入者。
Here's how to create a super resolution photo with any camera
2018-04-25
https://www.dpreview.com/articles/0727694641/here-s-how-to-pixel-shift-with-any-camera

新浪微博也有讨论,包括橡皮锤子神马的。
https://weibo.com/6244111547/G7QR1t8f5


除去前赴后继的自己开发,还有用自己开发工具来提升索尼体验的。
毕竟索尼既不能机内……配套工具也不那么理想。
SonyPixeltoDNG 多拍合成
https://www.fastrawviewer.com/SonyPixelShift2DNG
后来改名叫做 PixelShift2DNG,本次为Beta状态,到2019年末可以使用。
2019-12-28更新,作者升级到1.0版本,并表示会保持免费。


更多的动向,还在发展中。

其他的话


厂商的新战场

Pixel Shift 可以说是多厂商奋力的新功能点。
从一开始影棚静态专属,到真实世界不断增加可用性,
如拍摄动体、手持可用。

比如奥林巴斯,将这一功能实现为手持可用,虽低于脚架条件的分辨率,但以此得到助益还是颇激励人心的(毕竟白捡);
在动体拍摄方面,如松下也专门提供了两种模式,以供选用;
索尼公司的产品虽然操作友好度不足,但傻乎乎的16张模式,也是相当震撼。
简单来说,很难想象未来的5年会有如何的发展。

另外一方面,
不同的群体有不一样的想法。
一部分用户自然对于这种(几乎)不花钱能提升画质的方法有需求,特别是拍摄对象在商业静物、棚拍等场合;
相机厂商受限于新功能作为卖点、噱头,需要进行开发,跟上竞争对手。

一度传言,富士胶片 (Fujifilm) 的中画幅机型,GFX100s要配置该功能。
从技术上说,具备五轴防抖、有一定的运算能力,一版固件可能就会有;
但GFX100s本身一万美元附近的售价已经极具竞争力,是否会通过固件更新方式提供?未来机型如何布置?

同样作为商业考量,索尼公司仅在高像素的α7R系上部署,
即便顶配α9,也没听说过配置该功能。
而作为挑战者的松下公司,就很乐意全线配置。

这种商业上的考量,也体现在略显繁杂的命名上:

英文/日文名称 简中/繁中名称
哈苏 Hasselblad
Multi-Shot
-
-
奥林巴斯 Olympus
High Res Shot
ハイレゾショット
高分辨率拍摄 / 高精细摄影
高解像度拍攝模式
宾得 Pentax
Real Resolution
/ Pixel Shift Resolution
超解像技術
像素偏移分辨率系统
-
索尼 SONY
Pixel Shift Multi Shooting
ピクセルシフトマルチ撮影
像素转换多重拍摄
像素偏移多重拍攝
松下 Panasonic Lumix
'High Res' mode
高解像撮影モード
高分辨率模式
-
富士胶片 Fujifilm
Pixel Shift Multi-Shot
ピクセルシフトマルチショット
?
?
佳能 Canon
IBIS High Resolution Shot ?
?
尼康 Nikon
Pixel Shift Shooting

像素变化拍摄
?


但是在中国大陆的社群,用户们可能习惯接受,一开始颇戏谑的称呼「摇摇乐」。

此外,虽然这一功能更适合影棚内的静物拍摄,但是却出现了优化缺失。
拍摄多张时,通常为了快速完成,而使用了电子快门,却在触发机制上对闪光灯不友好。
这可能是双方面的锅,闪光灯的工作方式来说,回电速度赶不上快门;讲道理,作为后来者的功能,应该迁就现况,而不是自顾自设计“理想”功能。

手机厂商可能复杂一些,
智能手机可能有着远超于目前相机们的处理能力,
另一方面,每年迭代的处理能力,如何卖出去……也就是说要引导用户把算力消费掉,这样更新机型才有动力,于是计算摄影的所有都可以打包成为卖点,超分辨率并不例外。

而同样作为类似手机厂商的一个分支,全景相机,
使用的传感器通常在1/2.3附近(理光的THETA Z1破天荒达到了一英寸),这其中的潜力需要挖掘。
但为全景相机配置传感器浮动机构,这其中带来的变动合适吗?

局限性

其实前面也已经提到了,Pixel Shift带来分辨率提升的同时,自然也有使用的局限性。
以下几项:
  • 难以拍摄动体
  • 难以手持使用
  • 不适合闪光摄影
  • 一定的人造光条件下严苛
  • 处理等待时间 - 不适合连续抓拍
第一点的动体拍摄,其实各个厂商多方发力,算是在目前有了还不错的平衡性;
基本上除了索尼和哈苏,其他厂商在画面中略微移动的物品,如树叶等,可以排除处理,至少保证物件清晰。

第二点,似乎天生就是缺憾,因为防抖组件被征用,以进行像素级的移动;而要在防抖的条件下进行多拍,本身就是强人所难。
没想到,奥林巴斯和宾得(理光)居然实现了。
但这一状况下的处理等待时间,也成倍延长,实际应用体验并不算好。

DP Review的K1 II拍摄样张,可以看到出现两个问题。
1. 闪烁色斑 2. 动体鬼影

因为是密集状态下拍摄,所以各厂不约而同选择了电子快门进行曝光,这样机震小,且作动时间短。但是电子快门往往属于非全局类型,这就会带来在现在人造光条件下的问题 —— 以PWM方式调光的LED,会出现肉眼难以识别的频闪和色偏,这在照相机的截取画面里十分明显。

而棚拍用到的闪光摄影来说,闪光灯的回电虽然速度尚可,但目前还没有与 Pixel Shift 模式匹配的回电机制。

在这一方面,奥林巴斯提供了每帧中间等待时间的选项,例如2秒,用于等待闪光灯回电进行拍摄。
也因为涉及计算摄影,目前相机的处理能力而言,实在疲于应付;特别是前述的手持方式,大量算力用于对齐操作,等待十几秒也是常事。
一个较为折中的思路,是将获得的所有源文件一股脑打包,后续交给强大的电脑来处理。


外部链接


外部链接
理论基础
Super-resolution - 英文维基百科
美能达 RD-175 - 中文维基百科
计算摄影 - 英文维基百科
图像堆栈 Image stack - Adobe
RAW Plus -Kandao
SIGMA SFD
Technicolor
实现
哈苏
H3D II (2008)
MultiShot
Hasselblad unveils pixel-shifting 200MP H5D-200c MS

奥林巴斯
OLYMPUS OM-D E-M5 Mark II(実写編)

宾得
Pentax K-1 II's hand-held 'Dynamic' Pixel Shift mode 
is not quite what you think it is

理光
GR III 特長 [高画質]  [快照]
GR III Features [High Image Quality]  [快照]

索尼
ソニー、4,240万画素×秒間10コマ連写の「α7R III」
α9の操作性を継承 連写合成の「ピクセルシフトマルチ撮影」も

High resolution Sony a7R IV pixel shift images added to studio scene, sample gallery updated
像素转换多重拍摄 A7RM3 (简体中文)
像素转换多重拍摄 A7RM4 (简体中文)
像素转换多重拍摄 A1/ILCE-1 (简体中文)
在 Imageing Edge 的app中使用 Pixel Shift Multi Shooting (英文)

松下
关于Pixel Shift的日文说明
关于Pixel Shift的中文说明
真实世界对比
E-M5 II 战D800与645Z - Imaging Resource [快照]
4家混战 - BH
三脚がなければ撮れない
最新機能やテクニックを紹介!

Panasonic G9 Pixel Shift vs. Nikon D850 DPReview
- Real-World test:
Long exposures with Panasonic G9
DPReview
智能手机
2010,爱国者日本分部
2014,oppo find 7
2015,Hydra
2018~2019,Gcam
爱好者
2015 Ian Norman
2018 DP Review
2018 橡皮锤子
2018 PixelShift2DNG




之乎
于2019-11-08 发布

这原本是一篇躺在笔记里的文章,用于自己的备忘。
但是听闻受尊敬的器材站 Imaging Resource 要关闭了,感觉需要赶紧做点什么,不妨发出来;
顺便也加入了2019年的一些更新。

本文使用的图片,有厂商样图、厂商页面截图,此外相当多来自于用户共享的自由图片。
本文头图由我拍摄,也随本篇发表,而以CC BY-SA 4.0协议献出,如有需要使用,以「之乎」标注署名即可。

评论

此博客中的热门博文

《太鼓之達人 合奏咚咚咚!》PS4版曲目列表

God of War Ragnarök 战神 诸神黄昏 NG+新装备数值

God of War Ragnarök 战神 诸神黄昏 盔甲性能及介绍