2019年的双目全景相机点将

告别2016年的VR热,这两年的双目全景相机热度渐低,
但也出现了一些有意思的变化,掰扯一下。
本篇不作为消费指导。

全景机前期拍摄相对简单,后期投影讲想象力

目录

  1. 新的技术
    • 投影方法的变革
    • 通用化标准
  2. 本篇的主角们
    • 理光THETA
    • GoPro
    • Insta360
    • Kandao
  3. 其他
  4. 参考与引用


新的技术


2013年开创了双目全景相机这个品类,
相比多目方案,设计简洁紧凑使得消费级实现大有可为;
在大约2016~2017达到可能的顶峰,这与当时的VR热潮有密切关系;
随后沉淀与进化,一些品牌退出了该品类。

三星 Samsung 是一个很好的例子,它旗下的Gear VR设备,
抱Oculus组的大腿,在移动VR这块有着还不错的前景。
2016年顺势推出了Gear360;在2017年更新了一版,之后就无消息。

在传感器的设计制造之外,其他方面的技术探索,也在内化方面提升双目全景相机表现。

投影方法的变革

投影法 Projection 是一种将立体表面,重现在二维平面上的方法,也是相关学科名称。
在全景图的例子中,使用的方法刚好与长期研究的地图投影 Map Projection —— 也就是将球体表面展现在二维平面上的投影法一致。

在讨论效率问题时,也经常以世界地图作为范例图进行演示。
还有一种方式,即在球面上留下等大的微分圆,然后以投影后,其变形情况对利用率进行说明,这种方式被称作 Tissot's indicatrix 。

Equirectangular Projection (缩写为ERP) 可能有数种中文译名,如 等距圆柱投影、等距柱状投影;更加通俗的名字还包括 “通用全景图”“标准全景图”“那种2:1的图”等。
也可以从另一方面看出其在全景图领域的地位。

以Tissot's indicatrix法检验ERP

包括2013年款的理光THETA在内,这是很多消费级全景机的不二选择。
但随着各方面技术的发展,与对性能的挖掘要求,这类投影法也开始被诟病效率。

以上图为例,可以很明显看到,在赤道上还规矩的圆,随着“纬度”提升,拉伸越发明显。
这就造成只有相对少的像素来描述“低纬度”画面,而极地画面又以浪费式的应用描述。
格陵兰在这种投影里,不可思议得大,也是这种不利因素的体现。

在实际拍摄中,全景图或视频的“中低纬度”,往往才是重点区,这就造成了不协调。


立方体投影 Cube Mapping 于1986年论文《Environment Mapping and Other Applications of World Projections》登场,并快速成为计算机图形学的热门方式。

简单来说,观测者头戴一个半透明的立方体头盔,
把6个面上映的景,保存下来,就是立方体投影。

早年来说,投影计算简单,算力开销小,使得其非常流行。

Cube Mapping的例子,图片来自Arieee
我们这整个世代的3D电子游戏,就是在这种基础上进行研制的。
可以说电子游戏,或者计算机图形学里这种直线式的投影法是很成熟的。

在同一个面上的不同区域的点也有不同效率,但好于ERP。
有的全景视频会使用该方式,6个 1:1 的画面,可以整合为一个 3:2 大图像。


被称作 金字塔投影编码 Pyramid Encoding 的方法,由 Facebook 在2016年1月提出。

用户视觉方向即为高金字塔的底部,其余部分为金字塔侧面。
在《Next-generation video encoding techniques for 360 video and VR》中阐述了这种方案。
该投影和视频编码结合,针对流媒体应用;
由于用户并不关心完全的360x180方向的内容,同一时间只观看单一方向,以此出发对重点部分进行优化,降低带宽消耗。
实际使用中需要侦测用户的观看方向,并且在GOP切换时进行预测加载。
现在的视频来说,一般1秒30帧,每15帧为一个GOP包,这样进行切换即符合编码,也不会有不可用的延迟。

Facebook声称,相比于等角投影,Cube Mapping 可以实现25%的体积缩减,而金字塔式则节约了80%。

缺点在于,基于流媒体,也限于流媒体。
它对于全景相机拍摄和本地存储,帮助有限。

EAC,是 Equi-Angular Cubemap 的缩写,或译作 等角立方体投影。
这一方式由 Google 在2017年3月公开,
Bringing pixels front and center in VR video》详述了其实现。

该方法基于立方体投影,并进行了针对性强化改进。
在等角基础上,对不同区块的像素占比,进行了干预,使之尽可能一致,达到在全图效果上的效率一致。

等距柱状投影(左) / 立方体投影(中) / EAC投影(右) 的效率对比
橙色为欠缺像素描述,蓝色为过剩,黄绿为中间状态

Google展现了一段真实世界拍摄的全景内容,以720p的两种投影法(等距柱状投影、EAC)截取局部,可以看到 EAC 有较好的显示效果。


通用化标准

Open Spherical Camera,OSC,或译 开放全景相机标准
这是Google在2015年推出的通用规格,意在让各家全景厂,可以有一个尽量统一的控制和传输标准。
https://developers.google.com/streetview/open-spherical-camera/?hl=zh-tw

如理光THETA S、三星Gear360为代表的相机,即支持OSC协议。
你可以在如 Google StreetView 等使用OSC协议的app里,控制这类全景相机。


元数据 EXIF XMP
EXIF 是由日本机构CIPA创建的数字图像参数标准,而 XMP 则是美国Adobe公司设立的影像参数标准。
它们代表了照片或图片的拍摄信息,这类信息也被称作 Metadata 译 元数据后设资料 ;一些情况下,混为一谈的人们都把这类数据叫做 exif 。

机器,或者说程序,如何识别一张图,是360x180的全景图?
除了像Google公司的诸如 Google Photos产品在训练AI对图片进行学习之外,
最简单的方式就是根据文件头部的额外信息,来标注『这是一张全景图』。

仔细一盘,要交代的还不少,除了「这是一张全景图」,还有:
「我使用的投影法」「我拍摄时的重力方向」「镜头朝向/法向起始位置」等等。

在全景图正式标准化的早期,这些字段可能写在保留字段里,如MakeNote;
而随着整体环境发展,这些内容逐渐标准化统一。

如果你有具体的开发需求,可以在这里查询到(以全景图为出发)相关规则:
全景视频的元数据展开,可能与全景图片不太一样。如果需要入门,大约也可以找找。

一个题外话,EXIF标准,作为岛国日本组织的施行标准,有一定的特质……
直到2016年7月的2.31版,才终于发现,除了拍摄时间信息,也应该加上该地时区才有意义。
在2014年,adobe社区上出现了一个有意思的问答


本篇的主角们



在2017到2019这段,这些双目全景机型值得一提:

名称推出时间
图片分辨率
视频规格
THETA V2017-09
5376×2688
4K 30fps 56Mbps
THETA Z12019-02
6720×3360
4K 30fps 56Mbps
THETA SC22019-12
5376×2688
4K 30fps 54Mbps
GoPro Fusion2017-04
5760×2880
5.2K 30fps
H.265 78Mbps
GoPro MAX2019-10
5760×2880
5.6K 30fps
H.265 78Mbps
Insta360 OneIO2017-08
6912×3456
4K 30fps ?Mbps
2048×512 120fps
Insta360 One XIOX2018-10
6080×3040
6K 30fps 120Mbps
3008×1504 100fps
Insta360 EVOIE2019-03
6080×3040
6K 30fps 100Mbps
3008×1504 100fps
Kandao QoocamKQ2018-05
4320×2160
4K 60fps
1920×960 120fps
Kandao Qoocam 8KKQ82019-11
7680×3840
8K 30fps 200Mbps
4K 120fps
  • 视频规格取最高分辨率,及最高帧率(若提供);
  • 码率若未说明,为H.264编码;
  • 根据习惯,30fps为29.97fps简称;
  • 根据习惯,每k,为960px ;
    但是很奇怪,Insta360 One X 拍摄6K宽度,但是自称5.7K

理光THETA

理光算是老前辈了。

硬件上在初代,即利用棱镜为基础构成的结构,将光路折叠,而让双目式全景相机的紧凑设计成为可能。
这种日文中作「屈曲光学系」,或「屈曲式光学ズームを」,英文称 Folded Optics,在相机上应用,可以追溯到2002年的美能达 DiMAGE X ;将其吸收应用到全景相机上,则是理光开发者的奇思妙想。

THETA V光路的剖面。图片之乎摄

从2013年初代的THETA开始,这种结构一直延续下来;
也顺带启发了其他全景相机设计。



在2019年推出的 THETA Z1 上,理光将屈曲光学系进一步发展,
光路上使用了三套光学反射结构,
在传感器扩大、镜头重新设计的前提下,仍然保持了紧凑体积。

Z1的镜头模组总成,图片来自Watch Impress
官方公布的3组反射棱镜光路示意


2017年的V,除了明显参数上,对4K宽度全景视频的支持外,
不太明显地,对相机整体构成进行了修改。

本体成为一个以 Android 系统驱动的,具备扩展性的机体;
处理器选用了来自高通公司的骁龙625,这款处理器性能中规中矩,但是功耗、发热控制都属于同期佼佼者,也造就了同一时期,使用这款芯片的中档智能手机的中流形象 —— 由于发热低,温度无明显升高,所以在诸如游戏场景中可以有稳定的帧率。

开放式的架构,也开始吸引部分开发者,为理光机体进行插件 Plugin 开发,并且共享到理光自己的插件商店

插件商店,既有官方开发版,也有第三方开发者的作品
虽然理光迈步很小,像视频规格,及防抖功能受到后来者的挑战;
但以Z1和插件为代表的革新,也在另外的层面推动创新。


除了价格令人咂舌的Z1,经济机型方面,也就是目前进行接替的主流型号,也有了动作;
自V开始,没有对应的平价4K型号,低位只有2016年的SC继续售卖。

之前出现 R03030 的注册消息,对应的经济型的THETA SC2 在12月登场,
在参数上是V的精简,但也为消费市场,继续尝试耕耘
https://www.thetalab.ricoh/article/3557/

具备了三个特定模式
人像、车窗、夜景
针对性地对全景场景中特定物体的曝光做了优化:
人脸、大光比条件下的窗户,以及城市夜景中,通常会曝光过度的广告牌。


虽然说相当有意思,
但是作为理光用户,还是希望可以多多加强一下视频功能。
比如60fps?

GoPro

GoPro很晚才加入双目。

被视作巅峰时期的 Hero4 时代,GoPro的想法,
是通过被戏称作“六狗”的Omni方案来实现。
这一方案甚至最早也不是官方出品,而是民间的自发应用。

一下子能卖出好多Hero4,大概很满足吧。

2015年收购Kolor,现在怎么看都是一笔合算的买卖。
Kolor在全景开发上有丰富经验,知名的图像拼合软件 Autopano Giga 即出自 Kolor 之手。

从2019年的视点来看,Fusion 开发,可能也离不开 Kolor 团队的助力。

第一台双目全景机,Fusion好事多磨;
CES 2016 即公开,声音有了,迟迟未见。
等真的上市了,先是$699的价格吓人
紧接着人们发现,Fusion 需要插入两张TF卡,记录的时候是把两个镜头的数据分别写在两张卡上。
这就一点也不酷了,根本不像一台2017年的全景相机。

这种悲观的情绪延续到了2018年,
有人喊出 GoPro Kills Kolor 。

以2019年的视点回望,大概心平气和(如果你没有首发购入Fusion)。
Fusion的推出,处在了 Hero6 ~ Hero7 的世代,7代机上的 HyperSmooth 很可能就是来自于 Fusion 的试水与完善;
相对于单纯的全景视频,GoPro也提出了比较精准化的建议,也就是 OverCapture ,从全景画面里切出用于描述好玩部分的画面,既利于分享(形式上),也有助传播(内容上)。

当然,伴随着悄无声息的降价到$299促销,人们也发现,
无人机吊挂Fusion的视频,受惠于电子防抖,看不出(无人机的)机震;
5.2K规格的航拍全景视频门槛,一下子下降了。


2019年,
新款的 GoPro MAX ,随着 GoPro Hero 8一起发布。
上一次玩“一起发布”,还是GoPro Hero 5时候的Karma。

Fusion(左)与Max(右)

GoPro FusionGoPro Max
226g154g
74×75×40 mm64×69×25mm
$699 (2017)$499 (2019)

对于Fusion和Max,可能会同时有两种看法:
没什么变化 vs. 有很大改变

一方面,在照片分辨率,视频分辨率方面几乎与上一代 Fusion 一致(5.2K提升到5.6K,相对有限),码率也是同样基于H.265的 77Mbps。
注意,在2019年初,Fusion的一版Beta固件,也提升了分辨率到5.6k宽度
但另一方面,体积和重量的减轻不容小觑,在许多运动场景里,这几乎就是能用于不能用的唯一判决;
而诸如自拍提示屏幕的增加,对全景老手没有帮助,但降低了新人的应用门槛。
“缺失”的诸如单卡存储,机内合成,也终于在Max找回,成为完全体。

GoProMax上的非对称鱼眼镜头,这是加装了水下拍摄组件。
图片来自DC Watch Impress


此外,还有关于参数上不可见的升级。
有消息指出内部芯片依然为自研GP1,但不确定是否与初代 Hero6 款有更改;
我一开始认为可能是同款踏步型号,但郭育青老师指出,迭代的新芯片可能仍然冠以同一名字……特别是考虑到,GoPro不需要如苹果或高通般标榜升级。
但即便如此,我们大约也可以认为算力的增幅在约20%以内。

虽然本体参数一致,但是内里有不同。
首先是和 Hero8 同代的 HyperSmooth。
防抖效果到底如何,其实Youtube上已经有很多真实世界评测。

做得最直白的,大概是Abe Kislevitz的:

此外,GoPro网站披露,Max为了更好的画质,在采集到原始数据后,以Google提出的EAC投影进行了储存;这一举动可能是消费级全景相机里的先行者。

This is GoPro MAX: Tech, Specs + More
https://gopro.com/en/us/news/max-tech-specs-stitching-resolution

为了吸引非全景的用户,前代的OverCapture也集成到了机内,Hero Mode,或者SuperView即提供了这种用途,拍摄比单Hero机型更广的画面,无异也是特有卖点。
虽然提供了更接近传统Hero机型的功能,但相比上代Fusion,取消了RAW拍摄……
从主打视频方面来说倒是无可厚非,就是对于想兼顾的朋友,稍微有些麻烦。
GoPro的对比表

相比起理光,GoPro显然在视频可能性上走得更远,甚至无形中确立了一种标杆。

2020-05更新
很神秘,GoPro一开始60fps可能调试问题,没有铺开;
在5月终于给出了3K宽度的60fps,这对于GoPro着重的运动画面很有帮助。

Insta360

我对 Insta360 这个厂家的印象,最深的一点就是,
他们每代的设计都很不一样,没有延续性。

相比较来说,理光THETA的产品,甫一登场,就有很高的成熟度;
仅在传感器尺寸变化,而连带更动镜头设计的时候才修改外形,但差距不大,外形设计高度统一。

初代2015年,大铁壳的4K机型;
到后来针对iOS、Android设备附件定位的 Nano和Air ;
双目设计来到2017年,终于算是严肃化,Insta360 One 可谓是I社重新出发的一作。

其视频参数方面,也领先当时还在 S、SC 的理光,后者则在One发布后稍迟,推出了4K规格,且架构大换血的V。
特别是针对消费级人群,把原先爱好者应用GoPro、RX100M4等机型上的高帧率功能做的“子弹时间”加入到APP应用中,将之傻瓜化,也带动了附件销售。

I社的针对性附件开发,可圈可点。
图片来自Insta360官网

可能是名字仿照微软的Xbox One,紧接着在2018年到来的机型,命名为 One X。
造型再一次不一样的One X,开始主打运动视频市场,隐约有扒拉 GoPro Fusion 的趋势;
值得一提的是加强的视频防抖功能 (FlowState),让其颇为受欢迎,进一步开发的诸如炮弹一样的附件、无人机外挂件,也帮助进行病毒式传播。

除了基础功能,I社后来也在APP端下功夫,如针对骑行市场,利用智能手机配合加入的速度、GPS等显示,颇受骑士一族欢迎。

2019年的Evo,更多带有试水意味,和前一年邻厂的概念颇有相似之处;
Go则是错位侵入GoPro市场的意思。
虽然说整体上没有一贯的设计思路,但多尝试的可能性,也许是互联网时代的特征。


Kandao

看到科技(Kandao)是第一家,将计算摄影概念扩展到全景相机领域的厂商。

2018年发布的 RAW+ (RAW Plus),主要就是针对 1/2.3 基础的双目全景机拍摄画质不佳的情况推出,利用 图像堆叠 Image Stack 来提升可用性。
关于图像堆叠,在Adobe的解释
这个应用程序免费发布,也允许用在任何相机拍摄的图片上。

2018年推出的 QooCam,准确来说是一台 3目 机型,
但其中一枚用于3D拍摄(或辅助深度信息),没有参与全景本身。
这种 全景+3D 的噱头叠加式设计,可能一定程度上影响了其他企业……比如我们2019年看到的Insta360 Evo。

他们之前更多地,是把重点押在 黑曜石 Obsidian 系列上,多目、深度图、视频等标签。
这种在视频方面的经验,或多或少影响了新品。

2019年,11月发布的 QooCam 8K ,直接把产品参数诉求写在型号上。
「Beyongd the Max」口号,更是把目标指向了一个月前的GoPro产品。

理光已经迈入了1英寸的领域,那么在1/2.3和1之间的区间,Kandao选择了1/1.7英寸。
这一规格相比1/2.3,成本(占整机比例)不会太高,又有很多新的技术工艺支持;
物理上直接线性1.35倍的加成,带来的收益简单明了。

索尼半导体的图像传感器列表,1/1.7英寸性能不弱

QooCam 8K机型的一些参数很是激进,
光是想想 8K 30fps 视频的写入,就是相当的挑战,目前的外部存储卡可能较难保持这种运作,看到则配置了 emmc 5.1 的内置闪存;
而8K视频的发热显然也是一个问题,作为参考,2019年的松下S1H机型,在135无反中第一个配置风扇来保持连续拍摄中散热……这还是 6K 24fps 400Mbps All-I 的条件;对于8K 10bit显然更难。
他们Youtube频道的Demo片段,也往往时间不长。

不过该机型要到12月17日才能发货,也许明年才能有比较完整的用户评测。
期待到时候更新。

甚至4K的比例都没画对 —— 4K的线性比例,刚好是8K的一半位置



其他


其他全景机们

全景机市场涌现了一些厂商,有一些是大鳄级的厂牌侵入该领域,一些则是崛起的新秀。
三星
三星联合Google做过全景的项目,也是以多目为主。
其自己因为有联合 Oculus 的优势,所以既然手机做了一个高档纸盒版 Gear VR 眼镜,做一款自己的双目也很正常。

2016年,三星推出了 Gear 360,一上来就是4K高规格,H.265的压缩十分超前,也造成了体验不良;
高码率视频通过WiFi传输到手机,再由手机转码,耗费的时间超过了视频本身时长。
听起来就不像为移动场景打造。

在2017年,外形更新后的 Gear 360 重新登场;之前不可一世只能连接Samsung手机的设定也有松动,iOS设备也可以一同应用。
无奈认知度差,反响平平。

倒是二手市场价格喜人。

尼康的Keymission也是一时兴起,不过在推了一套3台,其中一台是全景相机的初代后,也是没了声音,应当是遭遇了腰斩。

未来发展

全景相机,特别是双目全景相机,用的传感器往往特别小;
这方面其实和智能手机的境地类似。

智能手机走上了图像传感器高速迭代,以及依赖于多拍和算力支撑的计算摄影 Computational Photography 路线,来提供便携基础下,尽可能的画质提升。
这是相当值得双目全景相机借鉴的。

仅就索尼半导体目录而言,就有相当多值得考量的方案

名称像素尺寸技术工艺
IMX20420M1/1.7 "
4:3
堆叠式背照
IMX38320M1"
3:2
堆叠式背照
IMX28320M1"
3:2
背照
IMX18320M1"
3:2
背照
IMX533CQK-D9M1"
1:1
Starvis
DOL HDR
以Kandao为代表的公司也引入了诸如机内 Image Stack,提升图片质量;
未来也许可以参考GCam的实现,进一步推广类似HDR+,或Pixel Shift类功能,进一步提升便携式全景机的画质。


用户 分享

用户的理解则是分化状态
一部分顶尖玩家积极开发全景的可能性
而大部分玩家不能理解全景,也为拍摄时看不到构图而苦恼。

以自拍杆使用来说,
图片来自澎湃新闻
其实这样的安装虽然直觉,但实际拍摄会将自拍杆收入。
全景的拍摄,其实不需要弯折,保持与杆的一致方向即可……只要不是在太边缘位置,画质不会有显著差别。

说到自拍杆,
用户的开发先于厂家,淘宝上3元自拍杆最好使。
为了不同拍摄目的,很多原本不是为全景开发的附件都有应用可能。

甚至10根包邮……



全景内容分享不易,平台支持缺缺。
特别是,Youtube、Facebook、Google Photos的支持,和中国大陆的用户也没什么关系。
新浪微博的4000宽度全景图,也是“能看个影”。

重投影、压印 Reframe



参考与引用


外部链接
投影法
Equirectangular Projection介绍 - 维基百科(英文)
Cube Mapping - 1986年论文
Facebook提出的金字塔方案
Google的EAC方案
通用标准
OSC
Photo Sphere中继资料
Exif
Sphere XMP
How do we know what is a 360 Photo? - Metadata - Facebook
RICOH THETA
高通与理光
理光THETA插件商店
SC2世代新功能
GoPro
Fusion上市
Fusion售价 - TheVerge
GoPro杀死Kolor - ivrpa
GoPro Fusion是一种不一样的运动相机 - DP Review
GoPro相机比较
This is Max - GoPro官方对Max的技术解释
最可接受的全景相机 - TheVerge
Insta360
One,巧妙袖珍的360机型 - TheVerge
Kandao
3D/全景相机 QooCam - VeerVR
其他
图像堆叠的解释 - Adobe




之乎
于2019-12-16

全景旅行者的朋友们、沪上不太知名美食摄影师金大頭,对完成本文有极大帮助。

评论

此博客中的热门博文

God of War Ragnarök 战神 诸神黄昏 NG+新装备数值

《太鼓之達人 合奏咚咚咚!》PS4版曲目列表

Nier:Automata 尼尔机械纪元 武器升级素材、性能及故事