天极大咖秀

登录 | 申请注册

赫卡忒的眼眸:微光手机“夜视仪”是怎样炼成的?

脑极体 2022-05-09 阅读: 5,195 次

古希腊神话中,有一位黑夜女神赫卡忒。她徘徊于夜幕之中,月色之下,是旅人与艺术家的守护者,甚至曾经帮助过宙斯等主神,备受万神的尊敬。

而赫卡忒也是一位乐意接受凡人祈祷的女神,夜色到来时,人们会来到山顶进行祭祀,期望地看到赫卡忒的真容。

如何让我们的视线洞穿黑夜,是艺术史上永恒的主题。在摄影时代到来后,如何捕捉和表现夜色更是一个最复杂的命题。从前,摄影师需要用复杂的设备搭配昂贵的夜视摄像头,才能完成。而在一次次手机影像突破,以及计算摄影的兴起下,一双能够看清黑夜女神赫卡忒的眼眸,已经来到普通人手中。

不久之前发布的vivo X80系列中,搭载了一项名为微光手机“夜视仪”的功能。在vivo发布的一系列唐宫主题视频中,我们可以看到极夜实拍中大唐才子佳人的身影清晰可见。画面干净且纯粹。在这一刻,手机简直可以被当作“夜视仪”来使用。

想要呈现这一幕其实并不容易,在夜拍环境下,算法、摄像头、芯片都有能力的局限性。只有将每个领域的创新融合在一起,将能力协同到极致,才能带来手机化身夜视仪的这个时刻。

一抹美丽夜色的背后,是一场计算摄影的锤炼,是一句用户至上的承诺。

计算摄影的暗夜突围

2010年,斯坦福大学举办了一场技术沙龙,主题是讨论能不能在摄影时,让摄影设备像计算机一样去编程所拍到的影像。从而让摄影不再是摄影师和精修师的天下,而是对所有普通人开放。

至此,计算摄影这一概念开始在业界流行开来。但从实验室走向产业界,这段旅程足足跨越了十年。计算摄影的核心思路在于,手机摄影并不仅仅是一台手机+一个摄像头。而是希望在拍摄时就调动手机的计算能力、算法能力、硬件协同能力,从而达成单独依靠影像器件难以完成的拍摄任务。

谷歌最开始在Pixel系列中启动了计算摄影效果,通过将多张照片合二为一展现出超过单次拍摄的效果。随后,苹果等主流厂商也开始跟进。计算摄影逐渐成为了最具潜力的手机影像发展方向。

然而经过几年的发展,计算摄影的瓶颈也开始体现。由于计算模式相近,相关能力提升带来的用户可感知度太小。往往只能用数据和复杂的对比才能体现出计算摄影模块的存在。而对于用户来说,需要的是真正能够解决重大问题。可知、可感、可信的计算摄影能力。

向着暗夜突围,很可能是计算摄影接下来的重要方向。

暗拍与夜色中的复杂光源处理,需要一系列复杂算法的辅助,这就给了计算摄影足够的发挥空间。

vivo X80系列微光手机“夜视仪”的暗拍效果,运用了光学传感器、芯片算力、AI夜视算法的融合。最终才达到了暗夜下的极致拍摄。这场夜色中的影像盛宴,也为计算摄影方向带来了一场突破。

这是一次观众能够清晰看到,感知到,体会到的计算摄影变迁。

“算”尽极夜,凝练赫卡忒之眸

希望在夜晚拍到令人满意的照片,应该是每一位用户的期待。但为什么计算摄影发展了这么久,却要等待vivo X80系列来完成这次突破?

这是因为夜色下的世界,并不是简单的打光问题。光线驳杂、色彩失真,难以对焦,需要连续曝光、黑暗中背光面难以呈现等等困难都困扰着夜拍效果。即使造价昂贵的全画幅单反也效果不佳,更遑论在手机端完成夜视仪级别的夜拍效果。

为了解决这些问题,需要的就不是一项能力,而是各项能力的协同、融合,互为支撑。在vivo X80系列中,我们可以看到镜头、计算、算法、芯片的相互支持,在全链路技术提升下,最终打造了赫卡忒之眸。vivo X80系列不仅搭载了强大的微光手机“夜视仪”功能,还将实时黑光夜视功能拓展至超广角、前置镜头。

让我们一层层来透视,这双能够凝望黑夜女神的眼睛是如何炼成的。

一、自研芯片之眸

能够实时完成夜景算法调配,给用户无缝体验的夜景拍摄体验,最终离不开计算能力以及芯片。vivo X80系列搭载了自研的V1+芯片,能够支持实时黑光夜视功能,让用户在极夜环境下可以看到更加清晰明亮的实时预览。

主芯片负责常规拍摄工作,在诸如夜景视频拍摄等高强度计算摄影的应用场景下,自研芯片V1+会负责提亮降噪及实时预览,具有非常高的合理性。这种分配协作能够有效降低能耗,提升计算效率,但实践起来却非常复杂。

为了完成这项技术跨越,V1+芯片首先需要跨越硬件兼容性上的天堑,让两枚芯片真正做到“双芯一用”。今年,vivo自研芯片在旗舰SoC平台的兼容性上又迈出了关键一步,在原本骁龙平台之外成功兼容了天玑9000平台,成为行业内唯一一家实现了自研影像芯片兼容多旗舰平台的终端厂商,这也为“夜视仪”功能得以实现提供了前提基础。

接下来,V1+芯片需要将消耗最大,最吃性能的算法,硬件化封装到自身平台当中。硬件级的算法封装可以保证运算有的放矢,将自身性能发挥到极致。经过对用户需求与使用场景的仔细衡量,V1+最终将3D实时立体夜景降噪、MEMC插帧和AI超分三个目前移动影像中最复杂的算法进行了封装。实现了与主SoC合作极大激活硬件效率,数据吞吐速度可高效维持在约8GB/s,并且能效提高约300%,功耗降低了约72%。

这样,“夜视仪”实时预览这种非常吃性能,吃计算能力的功能,就可以由V1+针对性支持,实现了清晰干净的硬件级夜景降噪,不会让用户“对夜盲拍”。而为了进一步提升微光手机“夜视仪”的使用体验,vivo还针对这一功能对V1+进行了精细化调优,依靠V1+强大的极夜视频降噪算法、速度快、功耗低的极速内存管理系统,以及摄像头模组、主芯片、vivo自研算法提升等各方面的配合,最终实现在小于1lux环境下的极夜视频功能。

并且在自研影像芯片的帮助下,vivo X80系列可以黑光夜视功能拓展到了超广角镜头以及前置镜头,确保了“夜视”能力没有死角。

二、SoC协同之眸

自研芯片V1+的加入,让vivo X80系列获得了“一体双芯”的格局,这也让主芯片SoC与自研影像芯片之间的协同互动有了更多可能。为了完成微光手机“夜视仪”的效果,vivo与芯片厂商进行了超越行业常规的紧密协作与联合创新。以MediaTek的天玑9000为例,这枚芯片本身具有强大的基础性能与AI专项处理能力。结合这些特点,vivo与MediaTek进行了深度合作,最终让V1+芯片与天玑9000达成了紧密的影像协同。

一次极致的夜拍背后,是vivo与MTK技术的紧密配合,双方技术的嵌合式合作,才最终将天玑9000的能力进行了最大化释放,保证了极夜环境下的“透视级”效果。

在微光手机“夜视仪”背后,vivo与MTK进行了从底层硬件到软件的多层面联合打磨。一次夜拍背后,影像由旗舰级超大底主摄进入ISP;紧接着天玑9000的天玑 5G 开放架构驱动对影像的处理,在确保降低频宽功耗与画面延迟的情况下提供高效率的 AI 画质计算;接下来是算法层,vivo独特的独特AI 降噪算法开始工作,完成夜晚场景的处理;而支撑这大量AI计算的,是天玑 9000的第五代 APU 590,能够实现AI 边缘部署神经架构搜索技术,NeuroPilot 模型深度硬件融合,A8W8混合A16W8高清解析算子,最终让复杂的高清视频算法实时处理变得可行,同时尽量降低能耗。

这种你中有我,我中有你的紧密配合,让两枚芯片各司其职,减少性能与功耗浪费的同时确保了全链路的夜视效果,释放了技术上的协同优势。同时也打破了行业成规,为终端厂商与芯片厂商的合作塑造了新的范式。

三、影像算法之眸

在算法方面,vivo X80系列升级了更加先进的夜景算法,搭载了蔡司超级夜景功能。基于vivo自研算法RAWHDR3.0,可以提升色彩表现的准确性,配合蔡司T*镀膜技术方案以及抗眩光算法,可以实现更加纯净的夜景效果。

近年来,“vivo色彩”渐渐成为了移动影像领域标志性的色彩风格,vivo影像能力对色彩的理解与调试逐渐成为了业界的标杆之一。历经3年10款机型的打磨,vivo的记忆色体系形成了“鲜活”“明快”“有质感”的风格。另外,通过与蔡司的深度合作,蔡司自然色彩2.0以精细准确的调校,还原人眼所见的自然原生色彩,让色准更准确、观感更自然。在vivo X80系列中,你既可以体验极具风格化的拍摄效果,也可以拍出人眼所见的真实色彩,vivo将选择权交还给了用户。

在算法层面,vivo推出了越来越多具有鲜明特色与技术前沿性的应用成果。比如超级夜景RAWHDR3.0算法,可以将超级夜景算法从YUV域挪到RAW域,以获得更好的亮度和影调表现,从而让夜景处理流程更合理,对夜色下的色彩调整更加细致。

再比如vivo的SuperRAW融合了自研的RAWHDR多帧算法,不论大光比逆光场景还是夜景环境,均能动态抓取最多10帧图像在RAW域进行超高位融合和降噪处理,输出14bit位深的超强RAW文件,显著提升信噪比和动态范围,充分发挥手机影像的潜能。

到了这代产品,可以看到vivo与蔡司的合作愈发炉火纯青,双方的技术兼容度达到了空前的水平,这让vivo X80系列的光学能力全面超越了全球标准。

四、光学硬件之眸

影像器件是计算摄影与真实之间的窗户,是实现“夜视仪”功能的基础。vivo与蔡司有深度合作关系,使得vivo X80全系全镜头都达到了蔡司T*镀膜标准,以保证在白平衡、色准、抗眩光和解析力等指标上达到vivo的影像标准。

在传感器上,vivo X80 Pro搭载了独家定制的GNV超大底传感器,X80则首发索尼IMX866 RGBW大底传感器。在传感器型号的背后,隐藏着许许多多不为人知的创新技术。例如GNV,通过定制滤光片,vivo再一次突破GN1的极限,并采用了1G +6P的高规格镜片组合,以及顶格的镀膜工艺。可以说vivo X80系列搭载的镜头模组,颗颗都是定制款,反映了vivo在硬件上的精益求精,不惜工本,已经成为了vivo的标志之一。

为了用户的一次惊喜,赫卡忒之眸历经了层层雕琢。为了算尽极夜,vivo已经准备了太久太久。

千座山峦,一抹夜色

微光“夜视仪”的背后,真正可以体现出什么是手机影像的全链路创新。

接下来,无论是计算摄影的产业空间发展,还是手机突破红海竞争,走向多元未来,都与厂商的全链路创新能力紧密相关。

回到vivo X80系列的夜视仪功能,可以看到这项垂直突破的背后,是器件、软件、硬件的协同,是自研技术、自研芯片、产业合作等多重能力的整合。

“集结重兵力,解决真痛点”正在变成手机创新的新锚点。而这个思路背后是为了打破产业瓶颈,厂商需要以消费者需求为准绳,尽一切可能性完成创新积累,最终呈现出厚积薄发的效果。

从使用全行业最高成本的玻璃镜片,到与蔡司持续合作光学器件、光学算法创新,再到长周期、大成本研发的自研芯片,都可以看到vivo这种长期主义的战略指引。

微光“夜视仪”看到的不仅是夜色,还有一段旅程。

旅程中,vivo的做法是逐步增强不可复制能力,最终将其融合在一起。达成N个1相加大于N的效果。登上千座山峰,只为了一抹不容替代的夜色。

vivo的创新观念中,只要能够让消费者感知,做正确的事情,无论爬多少座山都是合理的。赫卡忒的眼眸,或许就是这样炼成的。

脑极体
从技术协同到产业革命,从智能密钥到已知尽头

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)