LiDAR 与摄影测量
由于社交网络上看到了信息，对一些相关的知识和厂商进行了一下梳理。
日本小哥iwama在Twitter分享了其使用iPhone上的 LiDAR 模组拍摄住过的旅店房间的视频，引起了热议。
小哥之前也整理过相当多iOS上，调用 LiDAR 进行建模的app应用，并且有一个初步的横向比较。
小哥使用的设备是 iPhone12 Pro，以及常用的app为 Metascan。
由于爆火后，还受邀参加了与 Leica BLK 产品的对比体验，总之是很奇妙的经历。
可参考的外部源
但其精进显然花费了众多时间，知道某一刻，结合了现代摄影术，于是一个分支，称作 摄影测量 Photogrammetry 的分支学科诞生了。
人们说 camera don't lie ，虽然不明白为啥不是单数形式，但记录真实倒很符合摄影的实际情势，很自然地，作为现场绘制的有效替代手段开始登场，并发展壮大成为分支。
从早期的湿版乃至胶片摄影的模拟时代，到近30年来的数字摄影应用，摄影测量本身也出现了翻天覆地的变化。
有一篇在密歇根大学的文章，作者罗迪，大家可以一窥摄影测量与古建的关系：
文中提及的Autodesk，在工业界也是相当有名的公司，其AutoCAD产品得到广泛应用；
之前的如 123D 产品亦有提供免费的摄影测量建模（在2016年停止更新）；
而文中提到的ReCap Photo，先在2017年推出的ReCap 360出现，之后转移到ReCap Pro中，算是产品功能上的延续替代。
名称显然赶不上更多的变化，比如不可见光等延伸段，以及雷达本身指代的就是相当频段的电磁波。
有相当漫长的工程技术发展历史，直到差不多2020世代，我们都发现，一个较低规格的 LiDAR 可以塞在一部智能手机上，并且不会比电池还重……虽然并不便宜。
其与摄影的结合，使得可能性一下多了起来，
由于单纯的光学摄影，无论是不是数码的，基本上都不带有距离信息。
在80s的自动对焦浪潮式，有不少日本或是其他地方的厂商们研究过这些问题，并且有了一些有意思的工程实现，但显然，精度上，不如现在塞入一颗Lidar省事（成本另外说）。
上文提及的摄影测量，在学术上也被反哺，在大约2010世代，热衷的还是密集计算生成高质量模型，而伴随LiDAR的引入，这种扫描的精度，比单纯给予视觉图像的分析，更加轻快。
列举一些我知道的应用，但是难免有遗漏。
未来可能进行补充。
它们首先有自产的扫描类设备，其上应用了照相机、光学雷达等组件；
但同时，也运营平台，供这些扫描下的3D模型展示，以更好的到达最终用户端。
因为运营平台，所以除了自己设备生成，也以开放的姿态接纳来自其他设备的生成文件。
我知道Matterport，还是在2019年，当时该公司开放了一项功能，可以将全景相机拍摄的照片，上传到他们的云端，然后生成建筑模型，
在其上进行展示（应该是WebGL），并且可以选择 Doll House 的视角来进行探索。
这在当时相当新奇，可比在 Google StreetView 上组织 Virtual Tour 带劲。
当然，现在看很明确，就是不使用 LiDAR 参与的，上一阶段的摄影测量与建模活动；只是因为涉及了运算，所以提供了一个云平台，拍摄者自己不需要组织密集算力进行模型生成。
他们的自产设备，称作 Matterport Pro ，目前最新的是2代，称作 Matterport Pro2。
外观上相当有辨识度……
一个近似长方体，在竖直一侧腰部以上位置，凹陷进去，刚好三个面，各配置有摄影及扫描用模组。
拍摄的时候进行一圈旋转工作，机器基本上自己自动完成任务，而对于类似房间这样的空间，你合理布置扫描点，就可以半自动（你得扛机器去扫描点）完成前期扫描。
生成的元数据上传云端，其会运算进行建模，并且给予展示。
对于重头戏的房地产经纪人来说，算是相当方便的一项业务；
展示上因为有模型可以参考，作为实地看房前的打底，或者看房后的回忆，都有着不错的效果。
中国大陆有新兴的中介机构，也是打出了VR看房的名头，他们合作的一家公司，自产设备就高度相像 Matterport Pro，不知道是有技术合作还是什么关系。
此外，Matterport 在很多地方也有分公司，在中国大陆的经销商似乎在南京，在B站也有运营视频频道，但是收视惨淡。
由于抓住了颇有利润空间的房地产市场，所以看起来该公司的发展颇为良性，
姿态上也乐于开放分享，一股子有钱一起赚的氛围。
有感兴趣的开发者不妨去他们网站看看。
而是在同一集团下，负责地理信息业务的公司，Leica Geosystems。
在光学上，可能独有一套，并且有集团内部的技术共享，但是在运营上不是一回事。
Leica地理，其使用光学雷达的扫描类设备多样，其中以BLK名称开头的，是小型化商用类型的产品。
2018年公开的BLK360是其代表产品，外观上就像一个黑钟罩，只在两侧开有条缝，供相机与LiDAR进行扫描，工作的时候，底盘转动，缝也顺次对准各区块进行分时扫描。
2019年发布的 BLK2GO，则是面向了另外的痛点，可以实现手持式的动态扫描测量，可以在水平内的大约270度内进行扫描。
举一个不恰当的比喻，你拿着BLK2GO，就成为了一辆人体的Google街景车。
Leica 地理还有一些高端产品，比如扫描用的基站产品 Leica ScanStation ，或者以RTC开头的产品线，我了解不多。
（特别是相比其在其他技术，诸如折叠屏、快充等方面的部署）
在2020年的 iPad Pro 产品上，虽然大体与2018款没啥差别，但首次为iOS设备配置LiDAR还是顺利平稳实现。
之后是该年的iPhone12代系产品上，只在高端的Pro及Pro Max上配置；
次年13代系上，也是仅Pro及Pro Max机型占有。
Android设备方面，因为没有一个强有力的统一平台，所以很长时间都是各大厂商自行其是；
而小厂要么做一些中规中矩的设计，或者做了先进设计，却没有实际影响力。
早期的应用上，会称作一些ToF传感器，而目的也是以加强摄影体验为主，而不是以此开放新的API与可能性。
不考虑冒犯问题的话，目前这些集成在智能设备上的LiDAR都可以算作“玩具级”，生效的范围大概是3～5米的范畴，或者严格条件下更小。
但对于日常的多数需求，比如住宅房屋，配合走动扫描，已经相当实用了；
如果是用于配合摄影效果的提升，例如之前介绍的 focos app ，可以获得相比双摄的显著精度提升；而在景深类视频的应用，如 focos live，以及在13代的iPhone上带有的电影模式，都有助益。
之乎
于2022-04-30
目录
- 缘起
- 历史发展
- 一些应用
- Matterport
- Leica
- 智能手机及平板
- CapturingReality
缘起
日本小哥iwama在Twitter分享了其使用iPhone上的 LiDAR 模组拍摄住过的旅店房间的视频，引起了热议。
我也因此开始关注。宿泊先のホテルに来たらiPhone LiDARをするのが礼儀(Metascan編)
— iwama@iPhone LiDAR (@iwamah1) March 15, 2022
ノーカットノー倍速の2分以内で3Dモデルが作れる pic.twitter.com/0O1EGF9Ti4
小哥之前也整理过相当多iOS上，调用 LiDAR 进行建模的app应用，并且有一个初步的横向比较。
iPhone3Dスキャンスターターセットを更新したぞ！
— iwama@iPhone LiDAR (@iwamah1) April 29, 2022
iPhoneで始める3Dスキャン生活(3Dスキャン初心者向け解説)https://t.co/11mh8vi7dX
iPhoneでお手軽フォトグラメトリを体験しよう！(小物をスキャンしたい人はこちら)https://t.co/awJu67qKga
3Dスキャンアプリのまとめ↓ pic.twitter.com/sYSaiBN5Ad
小哥使用的设备是 iPhone12 Pro，以及常用的app为 Metascan。
由于爆火后，还受邀参加了与 Leica BLK 产品的对比体验，总之是很奇妙的经历。
历史发展
可参考的外部源
- 中文维基百科上的摄影测量法条目
- 英文维基百科上的Photogrammetry条目
- 中文维基百科上的光学雷达条目
- 英文维基百科上的LiDAR条目
摄影测量，测绘学
测绘学是一门颇有历史的学科，从土地的丈量这种实际需求而来，几乎和几何学差不多时期生成。但其精进显然花费了众多时间，知道某一刻，结合了现代摄影术，于是一个分支，称作 摄影测量 Photogrammetry 的分支学科诞生了。
人们说 camera don't lie ，虽然不明白为啥不是单数形式，但记录真实倒很符合摄影的实际情势，很自然地，作为现场绘制的有效替代手段开始登场，并发展壮大成为分支。
从早期的湿版乃至胶片摄影的模拟时代，到近30年来的数字摄影应用，摄影测量本身也出现了翻天覆地的变化。
有一篇在密歇根大学的文章，作者罗迪，大家可以一窥摄影测量与古建的关系：
- 摄影测量建模：中国建筑研究的一种数字化方法
https://quod.lib.umich.edu/a/ars/13441566.0050.006?view=text;rgn=main
 |
| 上文中列举的摄影车辆建模的效果。 可以看到如顶端的藻井的实际形状有被识别到。 |
文中提及的Autodesk，在工业界也是相当有名的公司，其AutoCAD产品得到广泛应用；
之前的如 123D 产品亦有提供免费的摄影测量建模（在2016年停止更新）；
而文中提到的ReCap Photo，先在2017年推出的ReCap 360出现，之后转移到ReCap Pro中，算是产品功能上的延续替代。
光学雷达
由激光 Laser 和 雷达 Radar 的合成词而生成的 LiDAR，称作光学雷达。名称显然赶不上更多的变化，比如不可见光等延伸段，以及雷达本身指代的就是相当频段的电磁波。
有相当漫长的工程技术发展历史，直到差不多2020世代，我们都发现，一个较低规格的 LiDAR 可以塞在一部智能手机上，并且不会比电池还重……虽然并不便宜。
其与摄影的结合，使得可能性一下多了起来，
由于单纯的光学摄影，无论是不是数码的，基本上都不带有距离信息。
在80s的自动对焦浪潮式，有不少日本或是其他地方的厂商们研究过这些问题，并且有了一些有意思的工程实现，但显然，精度上，不如现在塞入一颗Lidar省事（成本另外说）。
上文提及的摄影测量，在学术上也被反哺，在大约2010世代，热衷的还是密集计算生成高质量模型，而伴随LiDAR的引入，这种扫描的精度，比单纯给予视觉图像的分析，更加轻快。
人工智能介入
在这篇文章筹备时，Nvidia 发布的 Instant Nerf 人工智能成为话题，其不需要Lidar设备，依然是传统的摄影测量，但采用了人工智能辅助生成模型。一些应用
列举一些我知道的应用，但是难免有遗漏。
未来可能进行补充。
Matterport
Matterport是一家3D技术应用公司，主要面向的市场，还是以房地产为主，涉及一些虚拟旅途等实现。它们首先有自产的扫描类设备，其上应用了照相机、光学雷达等组件；
但同时，也运营平台，供这些扫描下的3D模型展示，以更好的到达最终用户端。
因为运营平台，所以除了自己设备生成，也以开放的姿态接纳来自其他设备的生成文件。
我知道Matterport，还是在2019年，当时该公司开放了一项功能，可以将全景相机拍摄的照片，上传到他们的云端，然后生成建筑模型，
在其上进行展示（应该是WebGL），并且可以选择 Doll House 的视角来进行探索。
这在当时相当新奇，可比在 Google StreetView 上组织 Virtual Tour 带劲。
当然，现在看很明确，就是不使用 LiDAR 参与的，上一阶段的摄影测量与建模活动；只是因为涉及了运算，所以提供了一个云平台，拍摄者自己不需要组织密集算力进行模型生成。
他们的自产设备，称作 Matterport Pro ，目前最新的是2代，称作 Matterport Pro2。
外观上相当有辨识度……
一个近似长方体，在竖直一侧腰部以上位置，凹陷进去，刚好三个面，各配置有摄影及扫描用模组。
拍摄的时候进行一圈旋转工作，机器基本上自己自动完成任务，而对于类似房间这样的空间，你合理布置扫描点，就可以半自动（你得扛机器去扫描点）完成前期扫描。
生成的元数据上传云端，其会运算进行建模，并且给予展示。
对于重头戏的房地产经纪人来说，算是相当方便的一项业务；
展示上因为有模型可以参考，作为实地看房前的打底，或者看房后的回忆，都有着不错的效果。
中国大陆有新兴的中介机构，也是打出了VR看房的名头，他们合作的一家公司，自产设备就高度相像 Matterport Pro，不知道是有技术合作还是什么关系。
此外，Matterport 在很多地方也有分公司，在中国大陆的经销商似乎在南京，在B站也有运营视频频道，但是收视惨淡。
 |
| 从播放量来说，落地是难点 |
由于抓住了颇有利润空间的房地产市场，所以看起来该公司的发展颇为良性，
姿态上也乐于开放分享，一股子有钱一起赚的氛围。
有感兴趣的开发者不妨去他们网站看看。
- https://matterport.com/platform/developers
Leica
这里说的Leica，并不是负责摄影器材的那家，而是在同一集团下，负责地理信息业务的公司，Leica Geosystems。
在光学上，可能独有一套，并且有集团内部的技术共享，但是在运营上不是一回事。
Leica地理，其使用光学雷达的扫描类设备多样，其中以BLK名称开头的，是小型化商用类型的产品。
2018年公开的BLK360是其代表产品，外观上就像一个黑钟罩，只在两侧开有条缝，供相机与LiDAR进行扫描，工作的时候，底盘转动，缝也顺次对准各区块进行分时扫描。
2019年发布的 BLK2GO，则是面向了另外的痛点，可以实现手持式的动态扫描测量，可以在水平内的大约270度内进行扫描。
举一个不恰当的比喻，你拿着BLK2GO，就成为了一辆人体的Google街景车。
- BLK360
https://leica-geosystems.com/products/laser-scanners/scanners/blk360 - BLK2GO
https://shop.leica-geosystems.com/leica-blk/blog/introducing-blk2go-first-its-kind-handheld-imaging-laser-scanner
Leica 地理还有一些高端产品，比如扫描用的基站产品 Leica ScanStation ，或者以RTC开头的产品线，我了解不多。
智能手机及平板
Apple公司可能不是最早的，但是在 LiDAR 装配民用智能设备上，还是比较快迈出步伐的；（特别是相比其在其他技术，诸如折叠屏、快充等方面的部署）
在2020年的 iPad Pro 产品上，虽然大体与2018款没啥差别，但首次为iOS设备配置LiDAR还是顺利平稳实现。
之后是该年的iPhone12代系产品上，只在高端的Pro及Pro Max上配置；
次年13代系上，也是仅Pro及Pro Max机型占有。
| 名称 | 发布时间 |
|---|---|
| iPad Pro 2020 4th generation | 2020-03 |
| iPad Pro 2021 5th generation | 2021-04 |
| iPhone 12 Pro iPhone 12 Pro Max | 2020-10 |
| iPhone 13 Pro iPhone 13 Pro Max | 2021-09 |
 |
| iPhone上，LiDAR被安排在摄影镜头传感器的总成区块里。 图片来自人工知能 |
Android设备方面，因为没有一个强有力的统一平台，所以很长时间都是各大厂商自行其是；
而小厂要么做一些中规中矩的设计，或者做了先进设计，却没有实际影响力。
早期的应用上，会称作一些ToF传感器，而目的也是以加强摄影体验为主，而不是以此开放新的API与可能性。
- What is 3D Scanner on Galaxy Note10+, S20+ and S20 Ultra?
https://www.samsung.com/global/galaxy/what-is/3d-scanner/
不考虑冒犯问题的话，目前这些集成在智能设备上的LiDAR都可以算作“玩具级”，生效的范围大概是3～5米的范畴，或者严格条件下更小。
但对于日常的多数需求，比如住宅房屋，配合走动扫描，已经相当实用了；
如果是用于配合摄影效果的提升，例如之前介绍的 focos app ，可以获得相比双摄的显著精度提升；而在景深类视频的应用，如 focos live，以及在13代的iPhone上带有的电影模式，都有助益。
CapturingReality
老牌的摄影测量工具，在2022年被EPIC收购，大概是有意在未来，于其引擎中得到实践。- https://www.capturingreality.com/realitycapture
カメラの生える木。
— 龍 lilea / Ryo Fujiwara (@lileaLab) August 20, 2022
Bi RodにRX0を3台付けてのフォトグラメトリ。
ドローン使えない場所で有効そう。
しかし路地とか撮るには3台は物足りず。
10台とかつけたくなるな…#Photogrammetry #RealityCapture pic.twitter.com/p5aBHYorjh
之乎
于2022-04-30
评论
发表评论