面对手机厂家计算摄影的“算法黑箱”|新旗舰发布后仍会不停有相机ota( 三 ) 面对手机厂家计算摄影的“算

HawkWang：Quad-Bayer的高像素模式不一定能稳赢低像素模式下的“摇摇乐”效果，高像素模式大都是低像素模式插值是由传感器像素排列的本身设计决定的。传感器与内存占用
爱搞机靓仔：18年三星GalaxyS9就有12合1堆栈，直到现在依然是10几合1 ，是已经没有必要再往上堆？还是出现了瓶颈？（CMOS速度？内存大小？芯片算力？算法模型？）
HawkWang：在IMX345/S5K2L3（2018年的三星GalaxyS9）之后，传感器的迭代方向就不同了，没有再继续推加DRAM的高速堆栈传感器。这种高帧率价格昂贵，用于移动设备性价比太低。
爱搞机靓仔：很多旗舰一开相机，就会先吃掉1-2GB内存，对于常见的12MP主摄，夜景算法（最吃内存的是它吗？）过程中，为生成一张照片，一般会占用多少内存？
HawkWang：夜景算法是内存占用较高的算法，但不绝对。厂家对算法的内存都有很严格的红线要求，不能明显影响用户使用，而且此处计算方法也不太多，拍完照内存都会释放掉，不会长期占用。很难为这个问题给出一个确定的答案。
爱搞机靓仔：拍照处理太吃内存导致杀后台的情况，已经从iPhone延伸到安卓平台。近几年有改善的可能性或方向吗？
HawkWang：手机内存目前已经非常大，同时算法一般也会有比较严格的内存限制，算法本身一般占用的内存空间并不大。算法方向

文章图片
爱搞机靓仔：现在手机拍照的瓶颈在哪里？几年前芯片算力还很弱，从搭载的ISP就能预测上限。那现在移动芯片ISP和NPU算力，还是跑拍照算法的瓶颈吗（所以要外挂自研ISP？）。瓶颈是ISP/NPU性能和功耗？还是算法价格、研发周期问题？
HawkWang：拍照类算法，算力瓶颈要弱一些，更多的是在产品定位上，性能功耗和效果的平衡。而在视频类算法，算力依旧是绝对的瓶颈。
对手机拍照后续的而言，瓶颈反而在应用方向本身，其是否会有新的高价值的应用场景。
爱搞机靓仔：从Google跳槽到Adobe的MarcLevoy表示“堆叠照片的计算摄影方法已经臻于成熟，是时候寻找新的挑战了” 。多帧合成或计算摄影，现在算是下半场吗？业界有公认的新突破点和方向吗？
HawkWang：
我觉得还有太多潜力和可能性吧，谈不上下半场，甚至不是下半场的开始。现在顶多算是上半场开始的结束。
业界公认的新突破点和方向，这个不好说。但我比较看好结合了三维信息的各种成像技术。以前咱们只是把多种图像帧融合起来，再加上去噪/HDR等等，得到好的画质。这都算是计算机视觉中的low-levelimageprocessing这个赛道。
后来加入了语义信息，比如人像、天空的分割信息，可以针对图像上的不同区域做不同的处理。但还很少有把三维信息，比如目标的远近融合到成像和图像处理过程中的。但实际上在游戏领域，我们知道为了渲染出一幅漂亮的图，通常需要知道每个像素点的颜色、亮度、深度、法向量、材质等等信息。
如果我们能把这些计算机图形学中强调的深度、法向量、材质等信息融合到图像画质增强的过程中，想必能够得到更好的图像吧。
【面对手机厂家计算摄影的“算法黑箱”|新旗舰发布后仍会不停有相机ota】我对此拭目以待，也相信之后会参与其中