应用像素位移的相机
像素位移成像技术 Pixel Shift,恰恰在两个相反且极端的领域出现,显微摄影与天文摄影;
其在光学系统设计制造,以及单片图像传感器本身不变的情况下,尽可能挖掘画质提升空间。
近些年,市面上应用 Pixel Shift 来获得更好画质、更高分辨率的相机越来越多;
本篇管中窥豹,整理个中一二。
本质上在于利用既有像素之间,未被完全利用的空间信息提升画质。
简单来说,利用 Pixel Shift 获得更好画质,来源于两个途径:
很自然的想法就是将像素移动到“像素之间”(sub-pixel)来“看”信息。
这样对于一个光学系统来说,不需要增加本身的解析力,仅在传感器段即提升了整体解析。
这称作 Super-resolution imaging (SR),或译作“超解析度成像”。
对于第二种思路,其来源于目前的图像传感器类型,即称作“拜耳滤镜”的结构。
通常是由RGBG构成里一个逻辑像素。
红色点位不知道蓝色和绿色的信息,换位同理。
以此出发,对色点进行整数位移动,并叠加计算,可以获得更好的色彩,或表达为更好的位深度。
这样做还有一个额外的好处,即避免 Moiré pattern ,摩尔纹。
以上的技术基础,在于
sensor shift 或 pixel shift,即「传感器位移」或「像素位移」。
在不同的厂商可能以不同的名称进行命名。
而数学基础,Deconvolution,解卷积,维基百科专门有一个光学与图像的章节解释。
通常是在两个特殊领域出现,一个是微观的显微镜的图像处理中应用;另外则是宏观的天文领域。
诸如NASA中已经展开应用,在哈勃空间望远镜项目中,就有拿来提升最终成像。
考虑一下,初代的哈勃使用传感器为800x800,甚至远远小于你今天手机摄像头的分辨率。
这里权且列出,以后待补充。
在1995年,美能达(Minolta)与爱克发(Agfa) 公司联合推出的「RD-175」机型,采用3CCD构造,但每一块均在逻辑位置上错开半个像素,使得最后成像分辨率为传感器像素4倍。
多年前的参与该条目的编辑,也成为今日写作本篇的一个推动因子。
在1080P标准的早期,由于市场上的全高清传感器还不够成熟,也出现了以3CCD技术,单片为960x540分辨率的传感器,组合而成,获得1920x1080图像的实现。
在静态照片获取上,可以通过单传感器的多张位移拍摄来实现更高分辨率。
基于多张拍摄,并通过计算获得图像收益,带有典型的计算摄影 (Computational photography) 特征。
在个人消费者可能难以企及的商用领域,自然出现了相关应用。
根据本文读者的回报,来自瑞士的厂商,仙娜(Sinar)的相关数码后背产品,在大约21世纪初就配置了单传感器位移的功能,称作 multi-shot。
能找到的比较早的款式(暂时不确定是否首款),是2001年时的 Sinarback 44。
其原生配置16MP的传感器,可以在4、16张拍摄模式输出更高分辨率,或称作 Anti-Moir的去摩尔纹模式。
这一技术成为日后,或者说本文的技术主流。
即图像堆栈 Image stack 。
Adobe自己进行的解释页面
kandao公司的RAW+ (KandaoRawPlus) 为具有代表性的帧平均工具,在同一位置拍摄的多张图像进行叠加处理,获得更多位深,从而在后期中得到可用的宽容度范围。
类似的如 Sigma公司的 帧平均 (SFD Super Fine Detail) 模式,
可以为X3机型提供更好的效果。
他们与像素位移有着不太一样的效用,但是都涉及图片的多拍合成,有着相似的硬件需求,
所以在一些复杂的应用中,可能会与Pixel Shift互相结合以提升最终图片质量。
消费级相机们实现是“很晚”的故事。
各厂牌首台机型如下:
这里有一个其自己的介绍页面。
Image quality without compromise
该功能实现了去马赛克效果,最终输出仍然是与传感器像素相等的39MP。
这一功能后来延续到H4D-50MS,在50mp传感器基础上,拍摄4张,达到更好的位深度;
这一世代的一个变化在于,稍后的H4D-200MS,其实是基于 H4D-50MS 的一个功能拓展改型,以6张拍摄得到4倍分辨率,即200mp图像。
这两台机型都具有称作 Multi-Shot 的传感器移动技术。
哈苏公司在其后的H5D-200C、H6D-400C均有配备该功能;400c顾名思义,拓展到最高输出400mp的能力。
这些机型末尾均带有 MS,应该代表该技术的 Multi-Shot 之缩写。
根据哈苏的技术说明, Multi-Shot 具有两种工作模式。
一类是4连拍,一类是6连拍。
这两种模式分别对应了上一章节提及的两种提升模式。
在H5D系开始,后续均配置后两种模式
Hasselblad unveils pixel-shifting 200MP H5D-200c MS
在2016年开始制造的无反机型X1D上,未配置传感器防抖机构;
但在2022的更新款,X2D上,配置了传感器防抖设备。
这一功能称作「高分辨率拍摄」 (日语:ハイレゾショット 英语:High Res Shot)。
效果为16MP传感器,输出40MP JPG,或者64MP RAW。
在之后的E-M1 M2、PEN-F、E-M1X 以及 E-M5 Mark III 上,由于配置的基底为20MP,机内可输出,或 80MP RAW。
为了加强可用性,奥林巴斯也在2019年推出的 E-M1 X 机型上,将该功能扩展为手持可用。
手持模式下考虑到手抖情况进行补偿,
同时RAW格式文件的分辨率缩减为 50MP (8160 x 6120)。
针对高像素模式的合成,手持式目前还属于奥林巴斯独占。
无论哪一种,奥林巴斯模式,提供的是8张拍摄合成,生成高分辨率的效果。
奥林巴斯,或者说后来接手的奥之心,将其配置在高阶机型上,作为独占。
尚不明白其与哈苏公司技术的联系,
但需要注意的一点是,奥林巴斯公司在医疗与生物方面有不少涉及业务,
显微镜相关技术中,像素偏移及超分辨率是新兴的技术实现,
转移到民用相机上也是相当常见。
奥林巴斯自己的显微镜业务,将该技术称作OSR,并表示,其他同类型产品的衍射极限在约200nm,而自己的产品可以分辨120nm。
相关的OSR介绍页面
在日后的微距拍摄领域,也有诸如景深合成这类明显来自于同公司技术转化的成果。
中文译名作 「像素偏移分辨率系统」 (日语:超解像技術 英语:Real Resolution 转译:リアル・レゾリューション・システム);
而在发展中后期,如K1机型上,称作「Pixel Shift Resolution」,中文译名不变。
但与奥林巴斯方式有区隔,是在Bayer传感器的微构造基础上,尝试实现诸如 Technicolor ,或者说类似3CCD形式的色彩还原。
得到的,仍然是24MP的图像;即之前解释的位深度增益模式。
也得益于这种模式,在一些评测中,宾得在像素偏移中,具有较好的动体补正效果。
可以这样认为,拍摄的第一帧为物体轮廓关键帧,后续拍摄用于增强;
而如果轮廓差异较大,则舍弃该部分信息,这样最差不过是该区域未获得增益,而不是叠加形成失败图像。
这一技术在宾得后续的,配置SR防抖系统的单反机身上获得较普遍配备。
到 K1 MarkII,这一技术大约在3代机身上延续,已经可以手持使用。
理光 (Ricoh) 和宾得 (Pentax) 由于合并案的关系,有更深的技术交流,
但在产品上限于种类,一直未在这方面擦出火花。
2019年初上市的第三代 APS-C 固定镜头GR,即 GR III ,装配了SR机构。
这一变化,也使得相应功能成为可能。
不过GR系由于定位在街拍机,这方面功能可能相对不那么瞩目。
但功能页面说得倒是明白,由于新款的24MP传感器去除了低通,所以为了抑制摩尔纹出现,采用了「SR」机构的亚像素级移动,堆叠来抵偿摩尔纹;
而且,表明在于快门速度高于1/1000的场合更明显。
严格来说,这不仅是理光厂牌第一次装配 Pixel Shift,
也是像素位移功能第一次在固定镜头便携相机上出现。
在随后2021年登场的GR IIIx,整体来看仅更换了镜头焦距,这一功能也得以保留。
「像素转换多重拍摄」 (日语:ピクセルシフトマルチ撮影 英语:Pixel Shift Multi Shooting)。
索尼在A7R3上的模式是,拍摄4张,RAW格式,无法在机内完成处理。
需要用配套的 Imaging Edge 进行后制。
https://dc.watch.impress.co.jp/docs/review/item/1095074.html
索尼的做法,是移动整数个像素,类似宾得。
以A7R3拍摄的这一模式,并不能提升整体像素数。
无法机内合成这一点,和其他几家迥然不同,
一方面可能是算力不足的问题,
另外一方面,索尼机型的初始分辨率也是几款机型中最高的。
(2019年,松下推出的S1系列,像素高于A7R3,依然可以机内完成处理)
在其「α7R IV」机型中,传感器分辨率为61mp;
索尼还加入了 16张合成的机能,这种模式综合了两种优势效果,其Pixel Shift 后的合成分辨率为 240mp 。
2021年1月推出的顶级机型,α1(或写作Alpha 1,A1)配置了50mp的135规格传感器,Pixel Shift支持4张与16张两种方式合成,输出等大50mp,或者200mp(或写作199mp)文件。
虽然听起来不像,但实际上G9是高端GH系,GH5的续作产品。
也许是和奥林巴斯的合作关系,G9装配了五轴防抖技术,也顺带具有了以此为基础的 Pixel Shift 功能。
同样是拍摄8张,以20mp传感器为基础,获得80mp图像。
但在下一(半)代的GH5s上,因为主打视频,传感器分辨率回退为10mp,也因为没有内置防抖机构,而取消该功能。
在2022年发布的GH6,在M43阵营首发了25MP规格的传感器,通过像素位移,可以输出100MP的图像。
在2019年,藉由L卡口,迈入了135相机领域。
这一年推出的 S1/S1R/S1H 一门三杰,对应了主流、高像素及视频,配置分工令人想起α7系列。
三款机型均配置了称作「高分辨率模式」的技术(日文「高解像撮影モード」)。
这一模式,可以通过移动传感器,连续拍摄8张图像,
对于基于24mp的传感器,合成96mp图像(RAW文件,12000x8000);
对于基于47mp的传感器,合成187mp的图像(RAW文件,16736x11168)。
而且,这种模式特别考虑了动体拍摄,分别有子模式1与2,可以由用户根据拍摄内容选择切换。
日文的页面说的更加详细清晰。
顺带一提,个人意见,2019年11月发布的 Leica SL2,我认为就是一台超频版的S1R,同样具有该模式。
2009~2010时代,松下公司在其固定镜头数码机,及同代代表的G2机身上配置过「超解像技術」,内置于LSI。
根据我的理解,这一技术基于图像识别后的具体优化。
但这一可能也是姗姗来迟,直到2020年11月底,才宣布为GFX100装配该功能(固件3.0)。
其技术实现,为拍摄16张影像之后进行合成,与索尼的高像素方案类似。
富士胶片因为其传感器输出的100MP水平,也使得其成为了消费级相机里,像素最高的像素位移输出。
厂商稿:
稍后,根据2021年初,由Youtube频道 ZY Productions 的测试, GFX100拍摄了16张进行合成,实际输出 23296x17472 像素,约407MP。
其上也是首次涉足到了IBIS的传感器位移方式的防抖,其实等同于其硬件上有了Pixel Shift的能力;
但这一功能的解锁反而直到2023年3月才通过固件更新(Version 1.8.1)的方式实装。
相比于匆忙上线就过热的8K拍摄,像素位移的高像素拍摄,倒显得稳妥很多。
这一方式下为9张拍摄,生成约4亿像素照片。
这其实是比较特别的,因为业界普遍来说,都是在4倍像素填充的范畴来做。
不晓得是否其实现过程,应用了其上Dual Pixel结构参与。
此外就是与业界极端的索尼方式相比,其支持机内合成,更偏向Lumix的实现。
这种实证的精神是有益的,免得厂商的无止境大话。
Imaging Resource 最早对E-M5 M2进行了对比,为了说明差异,甚至与645Z安排了一战;
虽然落败,但拍摄效果仍然值得一看。
DC Watch Impress 在2018年2月,由 伊達淳一 先生撰写《三脚がなければ撮れない最新機能やテクニックを紹介!》,探讨了关于使用三脚架摄影,提升拍摄画质的一些技术,并给出样本图。
这些文章以日文或英文形式展现,但用词不深,
借助Google翻译可以窥探全貌,感兴趣的话不妨一读。
拾遗
2013年,佳能有消息,关于其自身的 Pixel Shift 专利,
但60Da之后的EOS Ra都有消息了,像素位移机型还没见到。
具有 Pixel Shift 功能的消费级相机一览:
[2020-06-08]更新
关于富士
一直有声音,关于富士的645机型,追加Pixel Shift功能,这样可以在50MP/100MP的基础上,输出200MP/400MP。
这一消息,在2020年2月,伦敦的 2020 X Summit 上,得到了来自富士胶片方面的宣告。
Fuji Working on 400MP Pixel-Shift Mode for GFX 100, Teases 50mm f/1.0
Fujifilm says new 400MP 'pixel shift' mode is coming to its GFX 100 camera system
当然,更新这段文字的6月,仍然没有动作,所以还需要进一步观察。
[2020-09-02]更新
添加S5
S5的多拍合成略有变化,前代S1支持最高ISO3200,单张最高1s;
S5依然ISO3200,但单张可以支持最高8s。
[2020-11-25]更新
富士胶片宣布为GFX100添加400MP的输出模式。
命名为「Pixel Shift Multi-Shot」
同期推出了一个专用的处理程序,称作「Pixel Shift Combiner」
https://www.fujifilm.com/news/n201125_01.html
[2022-09]更新
富士将Pixel Shift带入了APS-C的X系统,新40MP的XH2上首次装配。
模式也有所不同,采用20张拍摄合成。
总结以上关于厂商的产品实践,我个人的印象:
2014年,Oppo的 Find 7手机,可以用12mp传感器,生成50mp文件。
2015年,通用的 Hydra 应用出现,登陆iOS平台。
可以在8mp的后置摄像头上,生成4倍的32mp图像。
https://creaceed.com/ihydra
2018年,Pixel 3 世代,GCam推出了,为了补充无望远摄像头的缺憾,使用超分辨率方式获得图像,再进行裁切。
这一功能已经在之前《Google Camera发展梳理》中进行介绍。
Google Research 在2019 SIGGRAPH 上发表了相关论文
Handheld Multi-frame Super-resolution
详情可见专属站点
2019年,苹果公司为iPhone11世代,推出了名叫 Deep Fusion 的一套东西。
综合了超分辨率和堆栈,最后效果是利用12mp的传感器,得到24mp的输出;
这一点与相机行业,习惯上输出4倍分辨率不太一样。
PetaPixel 在2015年即有投稿,表示找到了一种利用手抖来增强画质的方法。
显然和当时推出的机型有一定影响
A Practical Guide to Creating Superresolution Photos with Photoshop
2015-02-21
Ian Norman
https://petapixel.com/2015/02/21/a-practical-guide-to-creating-superresolution-photos-with-photoshop/
即便到了2018年,这样的方法仍然启迪新的加入者。
Here's how to create a super resolution photo with any camera
2018-04-25
https://www.dpreview.com/articles/0727694641/here-s-how-to-pixel-shift-with-any-camera
新浪微博也有讨论,包括橡皮锤子神马的。
https://weibo.com/6244111547/G7QR1t8f5
除去前赴后继的自己开发,还有用自己开发工具来提升索尼体验的。
毕竟索尼既不能机内……配套工具也不那么理想。
SonyPixeltoDNG 多拍合成
https://www.fastrawviewer.com/SonyPixelShift2DNG
后来改名叫做 PixelShift2DNG,本次为Beta状态,到2019年末可以使用。
2019-12-28更新,作者升级到1.0版本,并表示会保持免费。
更多的动向,还在发展中。
从一开始影棚静态专属,到真实世界不断增加可用性,
如拍摄动体、手持可用。
比如奥林巴斯,将这一功能实现为手持可用,虽低于脚架条件的分辨率,但以此得到助益还是颇激励人心的(毕竟白捡);
在动体拍摄方面,如松下也专门提供了两种模式,以供选用;
索尼公司的产品虽然操作友好度不足,但傻乎乎的16张模式,也是相当震撼。
简单来说,很难想象未来的5年会有如何的发展。
另外一方面,
不同的群体有不一样的想法。
一部分用户自然对于这种(几乎)不花钱能提升画质的方法有需求,特别是拍摄对象在商业静物、棚拍等场合;
相机厂商受限于新功能作为卖点、噱头,需要进行开发,跟上竞争对手。
一度传言,富士胶片 (Fujifilm) 的中画幅机型,GFX100s要配置该功能。
从技术上说,具备五轴防抖、有一定的运算能力,一版固件可能就会有;
但GFX100s本身一万美元附近的售价已经极具竞争力,是否会通过固件更新方式提供?未来机型如何布置?
同样作为商业考量,索尼公司仅在高像素的α7R系上部署,
即便顶配α9,也没听说过配置该功能。
而作为挑战者的松下公司,就很乐意全线配置。
这种商业上的考量,也体现在略显繁杂的命名上:
但是在中国大陆的社群,用户们可能习惯接受,一开始颇戏谑的称呼「摇摇乐」。
此外,虽然这一功能更适合影棚内的静物拍摄,但是却出现了优化缺失。
拍摄多张时,通常为了快速完成,而使用了电子快门,却在触发机制上对闪光灯不友好。
这可能是双方面的锅,闪光灯的工作方式来说,回电速度赶不上快门;讲道理,作为后来者的功能,应该迁就现况,而不是自顾自设计“理想”功能。
手机厂商可能复杂一些,
智能手机可能有着远超于目前相机们的处理能力,
另一方面,每年迭代的处理能力,如何卖出去……也就是说要引导用户把算力消费掉,这样更新机型才有动力,于是计算摄影的所有都可以打包成为卖点,超分辨率并不例外。
而同样作为类似手机厂商的一个分支,全景相机,
使用的传感器通常在1/2.3附近(理光的THETA Z1破天荒达到了一英寸),这其中的潜力需要挖掘。
但为全景相机配置传感器浮动机构,这其中带来的变动合适吗?
以下几项:
基本上除了索尼和哈苏,其他厂商在画面中略微移动的物品,如树叶等,可以排除处理,至少保证物件清晰。
第二点,似乎天生就是缺憾,因为防抖组件被征用,以进行像素级的移动;而要在防抖的条件下进行多拍,本身就是强人所难。
没想到,奥林巴斯和宾得(理光)居然实现了。
但这一状况下的处理等待时间,也成倍延长,实际应用体验并不算好。
因为是密集状态下拍摄,所以各厂不约而同选择了电子快门进行曝光,这样机震小,且作动时间短。但是电子快门往往属于非全局类型,这就会带来在现在人造光条件下的问题 —— 以PWM方式调光的LED,会出现肉眼难以识别的频闪和色偏,这在照相机的截取画面里十分明显。
而棚拍用到的闪光摄影来说,闪光灯的回电虽然速度尚可,但目前还没有与 Pixel Shift 模式匹配的回电机制。
在这一方面,奥林巴斯提供了每帧中间等待时间的选项,例如2秒,用于等待闪光灯回电进行拍摄。
也因为涉及计算摄影,目前相机的处理能力而言,实在疲于应付;特别是前述的手持方式,大量算力用于对齐操作,等待十几秒也是常事。
一个较为折中的思路,是将获得的所有源文件一股脑打包,后续交给强大的电脑来处理。
之乎
于2019-11-08 发布
这原本是一篇躺在笔记里的文章,用于自己的备忘。
但是听闻受尊敬的器材站 Imaging Resource 要关闭了,感觉需要赶紧做点什么,不妨发出来;
顺便也加入了2019年的一些更新。
本文使用的图片,有厂商样图、厂商页面截图,此外相当多来自于用户共享的自由图片。
本文头图由我拍摄,也随本篇发表,而以CC BY-SA 4.0协议献出,如有需要使用,以「之乎」标注署名即可。
其在光学系统设计制造,以及单片图像传感器本身不变的情况下,尽可能挖掘画质提升空间。
近些年,市面上应用 Pixel Shift 来获得更好画质、更高分辨率的相机越来越多;
本篇管中窥豹,整理个中一二。
Olympus PEN-F,具有带Pixel Shift效能的五轴防抖机构的最小机型。 可以实现以20mp传感器,输出80mp RAW文件的能力 |
目录
- 基础与实现
- 理论基础
- 起源实现
- 相近功能
- 消费级实现 [跳转]
- 仙娜 Sinar
- 哈苏 Hasselblad
- 奥林巴斯 Olympus / 奥之心 OMDS
- 宾得 Pentax
- 索尼 SONY
- 松下 Panasonic Lumix
- 富士胶片 Fujifilm
- 佳能 Canon
- 尼康 Nikon
- 真实世界的评测
- 表格 [跳转]
- 相机之外 [跳转]
- 智能手机的故事时间
- 爱好者的自行开发
- 其他的话
- 厂商的新战场
- 局限性
- 外部链接
基础与起源
理论基础
Pixel Shift,中文一般称作「像素偏移」或「像素位移」。本质上在于利用既有像素之间,未被完全利用的空间信息提升画质。
简单来说,利用 Pixel Shift 获得更好画质,来源于两个途径:
- 重新利用像素之间的空间信息
- Bayer排布的传感器,空间位置的重新利用
很自然的想法就是将像素移动到“像素之间”(sub-pixel)来“看”信息。
这样对于一个光学系统来说,不需要增加本身的解析力,仅在传感器段即提升了整体解析。
这称作 Super-resolution imaging (SR),或译作“超解析度成像”。
对于第二种思路,其来源于目前的图像传感器类型,即称作“拜耳滤镜”的结构。
通常是由RGBG构成里一个逻辑像素。
拜耳滤镜阵列示意图。图片来自Cburnett |
红色点位不知道蓝色和绿色的信息,换位同理。
以此出发,对色点进行整数位移动,并叠加计算,可以获得更好的色彩,或表达为更好的位深度。
这样做还有一个额外的好处,即避免 Moiré pattern ,摩尔纹。
以上的技术基础,在于
sensor shift 或 pixel shift,即「传感器位移」或「像素位移」。
在不同的厂商可能以不同的名称进行命名。
而数学基础,Deconvolution,解卷积,维基百科专门有一个光学与图像的章节解释。
通常是在两个特殊领域出现,一个是微观的显微镜的图像处理中应用;另外则是宏观的天文领域。
诸如NASA中已经展开应用,在哈勃空间望远镜项目中,就有拿来提升最终成像。
考虑一下,初代的哈勃使用传感器为800x800,甚至远远小于你今天手机摄像头的分辨率。
起源实现
读者提出,Fujifilm Frontier SP2000 的胶片扫描仪,可能是率先在相关摄影设备上配置像素位移的设备,但是年代久远,似乎很难找到相关资料。这里权且列出,以后待补充。
在1995年,美能达(Minolta)与爱克发(Agfa) 公司联合推出的「RD-175」机型,采用3CCD构造,但每一块均在逻辑位置上错开半个像素,使得最后成像分辨率为传感器像素4倍。
多年前的参与该条目的编辑,也成为今日写作本篇的一个推动因子。
在1080P标准的早期,由于市场上的全高清传感器还不够成熟,也出现了以3CCD技术,单片为960x540分辨率的传感器,组合而成,获得1920x1080图像的实现。
在静态照片获取上,可以通过单传感器的多张位移拍摄来实现更高分辨率。
基于多张拍摄,并通过计算获得图像收益,带有典型的计算摄影 (Computational photography) 特征。
在个人消费者可能难以企及的商用领域,自然出现了相关应用。
根据本文读者的回报,来自瑞士的厂商,仙娜(Sinar)的相关数码后背产品,在大约21世纪初就配置了单传感器位移的功能,称作 multi-shot。
Sinarback 44 |
其原生配置16MP的传感器,可以在4、16张拍摄模式输出更高分辨率,或称作 Anti-Moir的去摩尔纹模式。
这一技术成为日后,或者说本文的技术主流。
相近实现
Pixel Shift这一路线发展的同时,也有具有类似过程及目的的技术存在,即图像堆栈 Image stack 。
Adobe自己进行的解释页面
kandao公司的RAW+ (KandaoRawPlus) 为具有代表性的帧平均工具,在同一位置拍摄的多张图像进行叠加处理,获得更多位深,从而在后期中得到可用的宽容度范围。
类似的如 Sigma公司的 帧平均 (SFD Super Fine Detail) 模式,
可以为X3机型提供更好的效果。
- https://www.sigma-global.com/en/cameras/sd-series/features/sfd/
- https://www.sigma-global.com/en/magazine/m_series/cameras/sd-series/sfd/
他们与像素位移有着不太一样的效用,但是都涉及图片的多拍合成,有着相似的硬件需求,
所以在一些复杂的应用中,可能会与Pixel Shift互相结合以提升最终图片质量。
消费级实现 Camera Models
消费级相机们实现是“很晚”的故事。
各厂牌首台机型如下:
厂商 |
机型 / 发行年份 / 单张与最终输出分辨率(MP) |
---|---|
哈苏 Hasselblad |
H3DII-39MS |
2008 | |
39 / 39 | |
奥林巴斯 Olympus |
E-M5 MarkII |
2015-02 | |
16 / 64 | |
宾得 Pentax |
K3 II |
2015-04 | |
24 / 24 | |
索尼 SONY |
α7R III |
2017-10 | |
42 / 42 | |
松下 Panasonic Lumix |
G9 |
2017-11 | |
20 / 80 | |
富士胶片 Fujifilm |
GFX100 |
2019 2020 | |
108 / 400 | |
佳能 Canon |
EOS R5 |
2020-07 2023-03 | |
45 / 400 |
仙娜 Sinar
有读者指出仙娜可能是早期推进的厂商,我还在找资料中。这里有一个其自己的介绍页面。
Image quality without compromise
哈苏 Hasselblad
哈苏相机在2008年的H3D II 世代,引入了一项叫做 MultiShot 的功能;该功能实现了去马赛克效果,最终输出仍然是与传感器像素相等的39MP。
这一功能后来延续到H4D-50MS,在50mp传感器基础上,拍摄4张,达到更好的位深度;
这一世代的一个变化在于,稍后的H4D-200MS,其实是基于 H4D-50MS 的一个功能拓展改型,以6张拍摄得到4倍分辨率,即200mp图像。
这两台机型都具有称作 Multi-Shot 的传感器移动技术。
哈苏公司在其后的H5D-200C、H6D-400C均有配备该功能;400c顾名思义,拓展到最高输出400mp的能力。
这些机型末尾均带有 MS,应该代表该技术的 Multi-Shot 之缩写。
哈苏H5D-200c MS |
根据哈苏的技术说明, Multi-Shot 具有两种工作模式。
一类是4连拍,一类是6连拍。
左为4连拍模式,RGB点互相换位; 右为6连拍模式,RGB点于间隙捕捉光线。 |
这两种模式分别对应了上一章节提及的两种提升模式。
在H5D系开始,后续均配置后两种模式
Hasselblad unveils pixel-shifting 200MP H5D-200c MS
在2016年开始制造的无反机型X1D上,未配置传感器防抖机构;
但在2022的更新款,X2D上,配置了传感器防抖设备。
奥林巴斯 Olympus / 奥之心 OMDS
奥林巴斯,2015年 E-M5 Mark II 是该公司最早的像素偏移产品。这一功能称作「高分辨率拍摄」 (日语:ハイレゾショット 英语:High Res Shot)。
效果为16MP传感器,输出40MP JPG,或者64MP RAW。
在之后的E-M1 M2、PEN-F、E-M1X 以及 E-M5 Mark III 上,由于配置的基底为20MP,机内可输出,或 80MP RAW。
为了加强可用性,奥林巴斯也在2019年推出的 E-M1 X 机型上,将该功能扩展为手持可用。
官网的解释 |
手持模式下考虑到手抖情况进行补偿,
同时RAW格式文件的分辨率缩减为 50MP (8160 x 6120)。
针对高像素模式的合成,手持式目前还属于奥林巴斯独占。
无论哪一种,奥林巴斯模式,提供的是8张拍摄合成,生成高分辨率的效果。
奥林巴斯,或者说后来接手的奥之心,将其配置在高阶机型上,作为独占。
尚不明白其与哈苏公司技术的联系,
但需要注意的一点是,奥林巴斯公司在医疗与生物方面有不少涉及业务,
显微镜相关技术中,像素偏移及超分辨率是新兴的技术实现,
转移到民用相机上也是相当常见。
奥林巴斯自己的显微镜业务,将该技术称作OSR,并表示,其他同类型产品的衍射极限在约200nm,而自己的产品可以分辨120nm。
相关的OSR介绍页面
在日后的微距拍摄领域,也有诸如景深合成这类明显来自于同公司技术转化的成果。
宾得 Pentax
宾得公司在2015年推出的K3 II,有听起来类似的功能。中文译名作 「像素偏移分辨率系统」 (日语:超解像技術 英语:Real Resolution 转译:リアル・レゾリューション・システム);
而在发展中后期,如K1机型上,称作「Pixel Shift Resolution」,中文译名不变。
但与奥林巴斯方式有区隔,是在Bayer传感器的微构造基础上,尝试实现诸如 Technicolor ,或者说类似3CCD形式的色彩还原。
得到的,仍然是24MP的图像;即之前解释的位深度增益模式。
也得益于这种模式,在一些评测中,宾得在像素偏移中,具有较好的动体补正效果。
可以这样认为,拍摄的第一帧为物体轮廓关键帧,后续拍摄用于增强;
而如果轮廓差异较大,则舍弃该部分信息,这样最差不过是该区域未获得增益,而不是叠加形成失败图像。
这一技术在宾得后续的,配置SR防抖系统的单反机身上获得较普遍配备。
到 K1 MarkII,这一技术大约在3代机身上延续,已经可以手持使用。
装配77mm F1.8的K-1 II,图片来自Joergens.mi |
理光 (Ricoh) 和宾得 (Pentax) 由于合并案的关系,有更深的技术交流,
但在产品上限于种类,一直未在这方面擦出火花。
2019年初上市的第三代 APS-C 固定镜头GR,即 GR III ,装配了SR机构。
GR III (2019) 装配的三轴传感器位移机构 图片来自DC Watch Impress |
这一变化,也使得相应功能成为可能。
不过GR系由于定位在街拍机,这方面功能可能相对不那么瞩目。
但功能页面说得倒是明白,由于新款的24MP传感器去除了低通,所以为了抑制摩尔纹出现,采用了「SR」机构的亚像素级移动,堆叠来抵偿摩尔纹;
而且,表明在于快门速度高于1/1000的场合更明显。
严格来说,这不仅是理光厂牌第一次装配 Pixel Shift,
也是像素位移功能第一次在固定镜头便携相机上出现。
在随后2021年登场的GR IIIx,整体来看仅更换了镜头焦距,这一功能也得以保留。
索尼 SONY
在2017年索尼推出了α7 R Mark III(或习惯称作A7R3),配置了这一功能。「像素转换多重拍摄」 (日语:ピクセルシフトマルチ撮影 英语:Pixel Shift Multi Shooting)。
索尼在A7R3上的模式是,拍摄4张,RAW格式,无法在机内完成处理。
需要用配套的 Imaging Edge 进行后制。
https://dc.watch.impress.co.jp/docs/review/item/1095074.html
索尼的做法,是移动整数个像素,类似宾得。
以A7R3拍摄的这一模式,并不能提升整体像素数。
A7R3的像素转换拍摄。图片来自Rab ᙏ捐献 |
无法机内合成这一点,和其他几家迥然不同,
一方面可能是算力不足的问题,
另外一方面,索尼机型的初始分辨率也是几款机型中最高的。
(2019年,松下推出的S1系列,像素高于A7R3,依然可以机内完成处理)
在其「α7R IV」机型中,传感器分辨率为61mp;
索尼还加入了 16张合成的机能,这种模式综合了两种优势效果,其Pixel Shift 后的合成分辨率为 240mp 。
2021年1月推出的顶级机型,α1(或写作Alpha 1,A1)配置了50mp的135规格传感器,Pixel Shift支持4张与16张两种方式合成,输出等大50mp,或者200mp(或写作199mp)文件。
- High resolution Sony a7R IV pixel shift images added to studio scene DP Review
- 索尼关于α7R III该功能的说明页
- 索尼关于α7R IV该功能的说明页
- 索尼关于α1该功能的说明页
松下 Panasonic Lumix
松下公司在2017年的G9上,首次装备该功能。虽然听起来不像,但实际上G9是高端GH系,GH5的续作产品。
也许是和奥林巴斯的合作关系,G9装配了五轴防抖技术,也顺带具有了以此为基础的 Pixel Shift 功能。
同样是拍摄8张,以20mp传感器为基础,获得80mp图像。
松下G9,图片来自Bautsch |
G9的高分辨率模式拍摄,原图请访问;由Membeth贡献 |
但在下一(半)代的GH5s上,因为主打视频,传感器分辨率回退为10mp,也因为没有内置防抖机构,而取消该功能。
在2022年发布的GH6,在M43阵营首发了25MP规格的传感器,通过像素位移,可以输出100MP的图像。
在2019年,藉由L卡口,迈入了135相机领域。
这一年推出的 S1/S1R/S1H 一门三杰,对应了主流、高像素及视频,配置分工令人想起α7系列。
三款机型均配置了称作「高分辨率模式」的技术(日文「高解像撮影モード」)。
S1H,外形很硬朗,有人说不好看 |
这一模式,可以通过移动传感器,连续拍摄8张图像,
对于基于24mp的传感器,合成96mp图像(RAW文件,12000x8000);
对于基于47mp的传感器,合成187mp的图像(RAW文件,16736x11168)。
而且,这种模式特别考虑了动体拍摄,分别有子模式1与2,可以由用户根据拍摄内容选择切换。
日文的页面说的更加详细清晰。
顺带一提,个人意见,2019年11月发布的 Leica SL2,我认为就是一台超频版的S1R,同样具有该模式。
2009~2010时代,松下公司在其固定镜头数码机,及同代代表的G2机身上配置过「超解像技術」,内置于LSI。
根据我的理解,这一技术基于图像识别后的具体优化。
- パナソニック、“超解像技術”搭載の小型モデル「DMC-FX66」[2010-01-26]
- デジタルカメラ LUMIX DMC-G2を発売
- パナソニック「超解像技術」の秘密に迫る [2010-03-24]
- タッチパネル対応のミラーレス機、パナソニック「LUMIX DMC-G2」[2010-05-20]
富士胶片 Fujifilm
富士长期以来都是镜头防抖策略,在2019年开始转向传感器防抖(X-T4机型),也使得其有了像素位移的可能性。但这一可能也是姗姗来迟,直到2020年11月底,才宣布为GFX100装配该功能(固件3.0)。
其技术实现,为拍摄16张影像之后进行合成,与索尼的高像素方案类似。
富士胶片因为其传感器输出的100MP水平,也使得其成为了消费级相机里,像素最高的像素位移输出。
厂商稿:
- Fujifilm develops the new “Pixel Shift Multi-Shot” function to capture and generate the world’s highest resolution of 400MP images with accurate color reproduction(英文) [2020-11-25]
- 世界最高 約4億画素の画像を忠実な色再現で撮影・生成できる新機能「ピクセルシフトマルチショット」を開発(日文)[2020-11-25]
稍后,根据2021年初,由Youtube频道 ZY Productions 的测试, GFX100拍摄了16张进行合成,实际输出 23296x17472 像素,约407MP。
佳能 Canon
佳能在2020年7月推出了EOS R5机型,是无反的R系列上颇具野心的款式,其上也是首次涉足到了IBIS的传感器位移方式的防抖,其实等同于其硬件上有了Pixel Shift的能力;
但这一功能的解锁反而直到2023年3月才通过固件更新(Version 1.8.1)的方式实装。
相比于匆忙上线就过热的8K拍摄,像素位移的高像素拍摄,倒显得稳妥很多。
ファームウェアアップデート完了!
— とるなら (@FukuiAsobiWeb) March 30, 2023
他社と比べるとシンプルな機能っぽい。
LUMIXと同様にボディ内合成で4億画素画像を出力できるものの、JPEG Lのみ。 https://t.co/yM0F8r1QOl pic.twitter.com/YzSJScVmCl
这一方式下为9张拍摄,生成约4亿像素照片。
这其实是比较特别的,因为业界普遍来说,都是在4倍像素填充的范畴来做。
不晓得是否其实现过程,应用了其上Dual Pixel结构参与。
此外就是与业界极端的索尼方式相比,其支持机内合成,更偏向Lumix的实现。
尼康 Nikon
尼康在2023年9月公开(10月销售)的机型,「Z f」上首次宣布支持Pixel Shift技术实现的高像素拍摄。真实世界的评测
总有好事者会进行实拍,来进行技术验证。这种实证的精神是有益的,免得厂商的无止境大话。
Imaging Resource 最早对E-M5 M2进行了对比,为了说明差异,甚至与645Z安排了一战;
虽然落败,但拍摄效果仍然值得一看。
DC Watch Impress 在2018年2月,由 伊達淳一 先生撰写《三脚がなければ撮れない最新機能やテクニックを紹介!》,探讨了关于使用三脚架摄影,提升拍摄画质的一些技术,并给出样本图。
名称 | 时间 /涉及机型 |
---|---|
Imaging Resource Exploring the E-M5 II's "High Resolution" mode [快照] by Dave Etchells and Dave Pardue |
?? |
E-M5 II | |
DC Watch Impress 三脚がなければ撮れない 最新機能やテクニックを紹介! By 伊達淳一 |
2018-02 |
宾得K-3 II 索尼A7R3 奥林巴斯E-M1 M2 松下G9 PRO |
|
B&H Pixel-Shift Shootout: Olympusvs. Pentax vs. Sony vs. Panasonic By Cory Rice |
2018-04-13 |
宾得K1 索尼A7R3 奥林巴斯E-M1 M2 松下G9 |
借助Google翻译可以窥探全貌,感兴趣的话不妨一读。
拾遗
2013年,佳能有消息,关于其自身的 Pixel Shift 专利,
但60Da之后的EOS Ra都有消息了,像素位移机型还没见到。
表格 The Table
具有 Pixel Shift 功能的消费级相机一览:
机型 | 发行年份 传感器单张/输出分辨率 |
---|---|
仙娜 Sinar
|
|
待补充 | 2001? |
- | |
- | |
哈苏 Hasselblad
|
|
H3DII-39MS | 2008 |
39MP | |
39MP | |
H3DII-50MS | 2009-11 |
50MP | |
50MP | |
H4D-50MS | 2010-05 |
50MP | |
50MP | |
H4D-200MS | 2011-05 |
50MP | |
200MP | |
H5D-200MS | 2014-08 |
50MP 8272×6200 | |
200MP | |
H6D-400C MS | 2018-10 |
100MP 11600×8700 |
|
400MP 23200×17400 | |
奥林巴斯 Olympus
奥之心 OMDS | |
E-M5 MarkII | 2015-02 |
16MP 4608×3456 | |
64MP | |
PEN-F | 2016-01 |
20MP 5184×3888 |
|
80MP 10368×7776 | |
E-M1 MarkII | 2016-12 |
20MP 5184×3888 | |
80MP 10368×7776 | |
E-M1 X | 2019-01 |
20MP 5184×3888 |
|
80MP 10368×7776 | |
E-M5 Mark III | 2019-10 |
20MP 5184×3888 | |
80MP 10368×7776 | |
E-M1 Mark III | 2020-02 |
20MP 5184×3888 |
|
80MP 10368×7776 | |
OM-1 | 2022-03 |
20MP 5184×3888 | |
80MP 10368×7776 | |
OM-5 | 2022-10 |
20MP | |
80MP | |
OM-1 II | 2024-02 |
20MP 5184×3888 | |
80MP 10368×7776 | |
宾得 Pentax
|
|
K3 II | 2015-04 |
24MP | |
24MP | |
K1 | 2016-02 |
36MP | |
36MP | |
K70 | 2016-06 |
24MP | |
24MP | |
KP | 2017-01 |
24MP | |
24MP | |
K1 II | 2018-02 |
36MP | |
36MP | |
K3 III | 2021-03 |
26MP | |
26MP | |
KF | 2022-11 |
24MP | |
24MP | |
理光 Ricoh | |
GR III | 2019-02 |
24MP | |
24MP | |
GR IIIx | 2021-09 |
24MP | |
24MP | |
索尼 SONY | |
α7R III | 2017-10 |
42MP | |
42MP | |
α7R IV | 2019-07 |
61MP | |
240MP | |
α1 | 2021-01 |
50MP | |
50MP/200MP | |
α7R V | 2022-10 |
61MP | |
240MP | |
α7CR | 2021-01 |
61MP | |
240MP | |
松下 Panasonic Lumix
| |
DC-G9 | 2017-11 |
20MP | |
80MP | |
DC-S1 | 2019-02 |
24MP | |
96MP | |
DC-S1R | 2019-02 |
47MP | |
187MP | |
DC-S1H | 2019-05 |
24MP | |
96MP | |
DC-S5 | 2020-09 |
24MP | |
96MP | |
DC-GH6 | 2022-02 |
25MP | |
100MP | |
DC-S5 II/ S5 IIx |
2023-03 |
24MP | |
96MP | |
徕卡 Leica
| |
SL2 | 2019-11 |
47MP | |
187MP | |
SL2-S | 2020-12 |
24MP | |
96MP | |
富士 Fujifilm
| |
GFX100 | 2019-06 |
102MP | |
400MP | |
GFX100 IR | 2020-11 2021-01 |
102MP | |
400MP | |
GFX100 S | 2021-01 |
102MP | |
400MP | |
GFX 50S II | 2021-09 |
51.4MP | |
200MP | |
X-H2X-H2 | 2022-09 |
40MP | |
160MP | |
X-T5X-T5 | 2022-11 |
40MP | |
160MP | |
佳能 Canon | |
EOS R5 | 2020-07 2023-03 |
45MP | |
400MP | |
尼康 Nikon | |
Zf | 2023-10 |
24MP | |
96MP | |
Z8 | 2023-05 2024-02 |
47MP | |
188MP |
- 表格最后更新日期 2024-02-07
- 图片具体的长宽尺寸来自于厂商样图,如果没找到……不另行补充了。
[2020-06-08]更新
关于富士
一直有声音,关于富士的645机型,追加Pixel Shift功能,这样可以在50MP/100MP的基础上,输出200MP/400MP。
这一消息,在2020年2月,伦敦的 2020 X Summit 上,得到了来自富士胶片方面的宣告。
Fuji Working on 400MP Pixel-Shift Mode for GFX 100, Teases 50mm f/1.0
Fujifilm says new 400MP 'pixel shift' mode is coming to its GFX 100 camera system
当然,更新这段文字的6月,仍然没有动作,所以还需要进一步观察。
[2020-09-02]更新
添加S5
S5的多拍合成略有变化,前代S1支持最高ISO3200,单张最高1s;
S5依然ISO3200,但单张可以支持最高8s。
[2022-09]更新
富士将Pixel Shift带入了APS-C的X系统,新40MP的XH2上首次装配。
模式也有所不同,采用20张拍摄合成。
总结以上关于厂商的产品实践,我个人的印象:
厂商 | 印象 |
---|---|
仙娜 Sinar | 产品价格和定位离开大众市场,自然技术多少也远离大众视野。 本文目前都还没有办法给出一个明确的产品和技术路线,但我想,应该是非常强的。 未完待续 |
哈苏 Hasselblad | 在目前可以查证的产品目录里,哈苏的产品相当具有先锋性。 这与时代也有关系,在2011的时间里,获取诸如4倍像素绝对是杀手级的产品功能。 但在这一功能成为普及化后,哈苏可能没有办法提升、细化这种体验。 |
奥林巴斯 Olympus | 在真正的消费级里,奥林巴斯是很多技术的先锋,可惜在2021年这一业务进行了剥离,未来我们还能多大程度见证惊喜,要打一个问号。 从单纯的4倍,到手持,OM在这一技术的实用性上的贡献是无可争辩的。 |
宾得/理光 Pentax/Ricoh | 两个厂牌,目前一个团体。 在像素位移上一直保留了高像素的处理,而提出更好的色彩还原。 特别是反哺到小型化的GR系上,让人惊艳。这一功能甚至于有一些无感,也和其他厂牌的技术路线不同。 |
富士胶片 Fujifilm | 富士胶片的防抖技术路线关系,之前一直都是镜头端,但在旗舰的GFX上迈入了这一领域。 这一产品线甚至也是日系与哈苏等进行对抗的一个风向标,期待做得更好。(更便宜) |
索尼 Sony | 索尼在10年前有很多开创性的东西, 随后的技能树几乎都只是在图像传感器上,相机设计的部分很少出新,很多功能都步奥林巴斯后尘;这可能也不是坏事,商业上。 索尼只在旗舰类型上提供这一功能,将像素推高,也是有标榜自己GM镜头的意味,于是曲高和寡……用户体验上也不是那么理想。 |
松下 Panasonic | 松下在M43时代因为防抖技术路线的转变步入,G9作为第一台来得稍微有点晚,但是在S系上火力全开。 在功能的可用性上保持了相当的水平,也许是和奥林巴斯风格有一定关系,谁知道呢? |
徕卡 Leica | 徕卡和松下有技术上的互通,我猜测L联盟加强了这种合作。 SL2和SL2-S都有相当的特色,并不是以往称作纯奢侈品的作品,也许以后的L机都会有这种功能的实现。 |
相机之外 Beyond Camera
智能手机的故事时间
2010年,爱国者 aigo 的 Cloud CAM 配合iPhone,实现拍摄分辨率提升。2014年,Oppo的 Find 7手机,可以用12mp传感器,生成50mp文件。
2015年,通用的 Hydra 应用出现,登陆iOS平台。
可以在8mp的后置摄像头上,生成4倍的32mp图像。
https://creaceed.com/ihydra
2018年,Pixel 3 世代,GCam推出了,为了补充无望远摄像头的缺憾,使用超分辨率方式获得图像,再进行裁切。
这一功能已经在之前《Google Camera发展梳理》中进行介绍。
Google Research 在2019 SIGGRAPH 上发表了相关论文
Handheld Multi-frame Super-resolution
详情可见专属站点
2019年,苹果公司为iPhone11世代,推出了名叫 Deep Fusion 的一套东西。
综合了超分辨率和堆栈,最后效果是利用12mp的传感器,得到24mp的输出;
这一点与相机行业,习惯上输出4倍分辨率不太一样。
爱好者的自行开发
道理说明白,很容易就是“就差xxx”的状态了,爱好者们自己进行了开发。PetaPixel 在2015年即有投稿,表示找到了一种利用手抖来增强画质的方法。
显然和当时推出的机型有一定影响
A Practical Guide to Creating Superresolution Photos with Photoshop
2015-02-21
Ian Norman
https://petapixel.com/2015/02/21/a-practical-guide-to-creating-superresolution-photos-with-photoshop/
即便到了2018年,这样的方法仍然启迪新的加入者。
Here's how to create a super resolution photo with any camera
2018-04-25
https://www.dpreview.com/articles/0727694641/here-s-how-to-pixel-shift-with-any-camera
新浪微博也有讨论,包括橡皮锤子神马的。
https://weibo.com/6244111547/G7QR1t8f5
除去前赴后继的自己开发,还有用自己开发工具来提升索尼体验的。
毕竟索尼既不能机内……配套工具也不那么理想。
SonyPixeltoDNG 多拍合成
https://www.fastrawviewer.com/SonyPixelShift2DNG
后来改名叫做 PixelShift2DNG,本次为Beta状态,到2019年末可以使用。
2019-12-28更新,作者升级到1.0版本,并表示会保持免费。
更多的动向,还在发展中。
其他的话
厂商的新战场
Pixel Shift 可以说是多厂商奋力的新功能点。从一开始影棚静态专属,到真实世界不断增加可用性,
如拍摄动体、手持可用。
比如奥林巴斯,将这一功能实现为手持可用,虽低于脚架条件的分辨率,但以此得到助益还是颇激励人心的(毕竟白捡);
在动体拍摄方面,如松下也专门提供了两种模式,以供选用;
索尼公司的产品虽然操作友好度不足,但傻乎乎的16张模式,也是相当震撼。
简单来说,很难想象未来的5年会有如何的发展。
另外一方面,
不同的群体有不一样的想法。
一部分用户自然对于这种(几乎)不花钱能提升画质的方法有需求,特别是拍摄对象在商业静物、棚拍等场合;
相机厂商受限于新功能作为卖点、噱头,需要进行开发,跟上竞争对手。
一度传言,富士胶片 (Fujifilm) 的中画幅机型,GFX100s要配置该功能。
从技术上说,具备五轴防抖、有一定的运算能力,一版固件可能就会有;
但GFX100s本身一万美元附近的售价已经极具竞争力,是否会通过固件更新方式提供?未来机型如何布置?
同样作为商业考量,索尼公司仅在高像素的α7R系上部署,
即便顶配α9,也没听说过配置该功能。
而作为挑战者的松下公司,就很乐意全线配置。
这种商业上的考量,也体现在略显繁杂的命名上:
英文/日文名称 | 简中/繁中名称 |
---|---|
哈苏 Hasselblad | |
Multi-Shot - |
- |
奥林巴斯 Olympus | |
High Res Shot ハイレゾショット |
高分辨率拍摄 / 高精细摄影 高解像度拍攝模式 |
宾得 Pentax | |
Real Resolution / Pixel Shift Resolution 超解像技術 |
像素偏移分辨率系统 - |
索尼 SONY | |
Pixel Shift Multi Shooting ピクセルシフトマルチ撮影 |
像素转换多重拍摄 像素偏移多重拍攝 |
松下 Panasonic Lumix | |
'High Res' mode 高解像撮影モード |
高分辨率模式 - |
富士胶片 Fujifilm | |
Pixel Shift Multi-Shot ピクセルシフトマルチショット |
? ? |
佳能 Canon | |
IBIS High Resolution Shot | ? ? |
尼康 Nikon | |
Pixel Shift Shooting |
像素变化拍摄 ? |
但是在中国大陆的社群,用户们可能习惯接受,一开始颇戏谑的称呼「摇摇乐」。
此外,虽然这一功能更适合影棚内的静物拍摄,但是却出现了优化缺失。
拍摄多张时,通常为了快速完成,而使用了电子快门,却在触发机制上对闪光灯不友好。
这可能是双方面的锅,闪光灯的工作方式来说,回电速度赶不上快门;讲道理,作为后来者的功能,应该迁就现况,而不是自顾自设计“理想”功能。
手机厂商可能复杂一些,
智能手机可能有着远超于目前相机们的处理能力,
另一方面,每年迭代的处理能力,如何卖出去……也就是说要引导用户把算力消费掉,这样更新机型才有动力,于是计算摄影的所有都可以打包成为卖点,超分辨率并不例外。
而同样作为类似手机厂商的一个分支,全景相机,
使用的传感器通常在1/2.3附近(理光的THETA Z1破天荒达到了一英寸),这其中的潜力需要挖掘。
但为全景相机配置传感器浮动机构,这其中带来的变动合适吗?
局限性
其实前面也已经提到了,Pixel Shift带来分辨率提升的同时,自然也有使用的局限性。以下几项:
- 难以拍摄动体
- 难以手持使用
- 不适合闪光摄影
- 一定的人造光条件下严苛
- 处理等待时间 - 不适合连续抓拍
基本上除了索尼和哈苏,其他厂商在画面中略微移动的物品,如树叶等,可以排除处理,至少保证物件清晰。
第二点,似乎天生就是缺憾,因为防抖组件被征用,以进行像素级的移动;而要在防抖的条件下进行多拍,本身就是强人所难。
没想到,奥林巴斯和宾得(理光)居然实现了。
但这一状况下的处理等待时间,也成倍延长,实际应用体验并不算好。
DP Review的K1 II拍摄样张,可以看到出现两个问题。 1. 闪烁色斑 2. 动体鬼影 |
因为是密集状态下拍摄,所以各厂不约而同选择了电子快门进行曝光,这样机震小,且作动时间短。但是电子快门往往属于非全局类型,这就会带来在现在人造光条件下的问题 —— 以PWM方式调光的LED,会出现肉眼难以识别的频闪和色偏,这在照相机的截取画面里十分明显。
而棚拍用到的闪光摄影来说,闪光灯的回电虽然速度尚可,但目前还没有与 Pixel Shift 模式匹配的回电机制。
在这一方面,奥林巴斯提供了每帧中间等待时间的选项,例如2秒,用于等待闪光灯回电进行拍摄。
也因为涉及计算摄影,目前相机的处理能力而言,实在疲于应付;特别是前述的手持方式,大量算力用于对齐操作,等待十几秒也是常事。
一个较为折中的思路,是将获得的所有源文件一股脑打包,后续交给强大的电脑来处理。
外部链接
之乎
于2019-11-08 发布
这原本是一篇躺在笔记里的文章,用于自己的备忘。
但是听闻受尊敬的器材站 Imaging Resource 要关闭了,感觉需要赶紧做点什么,不妨发出来;
顺便也加入了2019年的一些更新。
本文使用的图片,有厂商样图、厂商页面截图,此外相当多来自于用户共享的自由图片。
本文头图由我拍摄,也随本篇发表,而以CC BY-SA 4.0协议献出,如有需要使用,以「之乎」标注署名即可。
评论
发表评论