老麦接到一个任务,要跟大家科普一下,手机芯片究竟如何决定智能手机的性能和体验?我研习了一堆资料之后发现,如果我直接科普这些技术名词,解析调制解调器、GPU、AI、ISP、CPU 的原理和作用,估计大家早就看不下去了。突然想起了我的老本行就是医学,对人体构造更加了解,那我就用人体结构类比的方式,来给大家讲讲芯片和智能手机之间的关系。
芯片就是大脑 + 神经可能在大部分人的认知当中,芯片一般代表的是 CPU。因为传统的 PC 时代,电脑机箱有足够大的空间,每个模块都是独立分开的,CPU、显卡、网卡各自安好。但到了智能手机时代,一切功能都要被压缩到方寸之间,芯片也就发生了巨大变化,从单一处理器变成了片上系统 SoC(System on Chip)。
以骁龙 8 为例,旗舰移动 SoC 上除了有用于通用计算的 CPU,负责通用编程的 GPU 以外,也包含一些专用编程单元,比如 DSP、AI 引擎等等,还包括了更多信号处理单元,比如 ISP 图像信号处理器负责影像处理,VPU 视频处理单元、DPU 显示处理单元、APU 音频处理单元。不仅如此,SoC 模块还在不断扩展延伸,容纳网络通信、充电管理等更多功能的运算和管理。这种高度集成化,也带来了更快的数据流动和协调管理。如果将手机比喻成一个人的话,那芯片就是大脑和神经系统,负责收集和协调各个感应器的信息,整合运算,分析和响应。一个人是否聪明干练,也越来越依靠整个 SoC 的能力提升。否则,就算用上再多的摄像头和更大尺寸的传感器,都没有实际意义。智能手机也早就过了堆外围硬件的时代,而是更侧重芯片整合和算法优化。这里不得不承认,在安卓手机阵营中,高通一直主导了高端 SoC 的发展,接下来,我们继续用拟人类比的方式,看看骁龙 8 会带来哪些惊喜。
给你一双更强的眼睛有句老话说得好,眼睛是心灵的窗户,心灵够不够强大,首先看眼睛够不够明朗。所以,今天的旗舰手机都在拼影像能力,因为它除了拍照记录,摄像头也是重要的信息入口,扫码扫描,甚至参与生物信息的识别,间接决定你的使用体验。
为了方便大家理解,我们继续以人眼的原理,来科普一下手机成像的过程。外部镜头等于眼睛的角膜,CMOS 等于视网膜,ISP 图像信号处理器就是大脑里负责视觉信息处理的大脑皮层,AI 算法芯片就是处理细节的中区皮层。他们之间的复杂协作,完成了我们看到的照片和视频,那如何提升「眼睛」的底层能力呢?需要从以下几个方面入手。
增加视神经,让看到的信息更多骁龙 8 将 ISP 的数据捕获能力,从 14-bit 提升到 18-bit,可以理解为视网膜增强。目前每秒成像 32 亿像素,实时处理 90 亿像素,单个摄像头捕捉 1.08 亿像素的画面。这堆参数是啥概念呢?回到你的拍照体验上,就是拍照速度更快,捕捉运动物体更清晰,按下一次快门,就可以得到 30 张图片信息,为后期影像处理,留下足够的空间。
有了更多的信息量,就需要更多的算力,骁龙 8 系移动平台从之前的双 ISP,提升到骁龙 8 支持的三 ISP 。有了 18-Bit 三 ISP 协同并发的能力基础,搭载骁龙 8 的手机就可以做出多主摄的融合摄影,也就是说你拍照的时候,不是只根据用户需求去切换主摄或广角镜头,而是自动调用不同镜头的优势,同时拍摄,同时优化,来提升照片的清晰度,画面细节,修复潜在的畸变、噪点等各种瑕疵。比如上图采用荣耀手机拍摄的超广角照片,尽管室内光线非常不理想,照片也很清晰细腻。
提升算力,让分析合成更快此外三 ISP 的实现,还可以支持超级多帧引擎,令手机拍摄合成照片的数量,从 6 张提升到 30 张,相当于一个场景画面里,原来给你看 6 遍,现在看 30 遍,那你脑子里的信息,肯定更加丰富和准确。特别是人脸细节方面,可以更好的识别和优化,提升人像的自然美感。这不同于简单的美颜,而是深度的学习和理解。
这张照片是五倍变焦之后,抓拍的猫咪特写,并且是室内光线也不充足,背景混乱的情况下,相机 AI 不仅能识别出猫咪,并进行针对性的优化,更加清楚地展现了毛发细节,最大程度的保证了成片效果。
算力是智商,算法就是情商智商主要反映人的观察能力和计算能力,就好比 ISP 的算力。情商主要反映理解、运用、控制和调节的能力,这就恰似 AI 芯片的理解与运用。
这个能力的应用也非常普遍,最直接的就是背景虚化的效果,因为手机的空间极其有限,因此无法做到传统相机的光学虚化,但我们又希望手机摄影能获得更好的空间层次,这时就能凸显集成在手机 SoC 上专用的 AI 硬件单元的强大作用。特别是视频拍摄时,更加考验实时的运算能力。骁龙 8 的第 7 代高通 AI 引擎,由 Hexagon 处理器、张量加速器、DSP、自有内存构成,相当于另外一个辅助大脑,为用户带来更加智慧的影像拍摄体验。为此,我也专门带着荣耀 Magic 4 去拍摄了夜景,AI 引擎的能力呈现在复杂夜景、暗光、远距离拍摄等各种情况下,最终实现的是用户能随手出片,保证清晰质量的同时,色彩准确率大幅提升。
不仅更聪明,还要更忠诚通过以上解析,大家能可以感受到骁龙 8 的智商和情商水平,但作为一个为我们服务的智能手机,每天陪伴我们超过 8 小时,掌握着我们大量重要的个人隐私数据,安全变成了新课题。
内部芯片层的数据加密大家一直以为手机安全只在于软件系统,但骁龙 8 已将安全特性引入芯片硬件系统。比如在 Android 操作系统之下引入了深度保护层 – 高通 Hypervisor,它的任务就是将各个应用和服务的数据进行隔离保护,避免 A 应用的数据被 B 应用恶意调取。类似硬件的沙盒机制。
今年骁龙在 Hypervisor 之下,又增加了一层信任管理引擎(Trust Management Engine)。这是一个能够确保在骁龙平台内妥善隔离最敏感数据和应用的硬件信任根(Root-of-Trust)。最新发布的荣耀 Magic4 系列就是深度利用了骁龙的安全特性,成为首个支持双 TEE 系统的智能手机,在芯片层和系统层,对个人生物和交易信息,实现绝对的本地存储,进行交叉认证和保护。
外部传感器的安全创新有了底层安全还不够,日常还有很多泄漏信息的场景,比如通话漏音。
手机听筒是扬声器,开放的声波就用可能被窃听和记录,在荣耀 Magic 4 上,通过对扬声器的调整,让双单元协同发声,荣耀和高通联合调试,通过低时延实现双单元协同发声,实现了隐私通话功能。以上这两项能力,对于商务精英人士都非常重要,也是智能手机未来必须具备的能力。
重新认知芯片价值从原来的性能跑分,到今天的 SoC 片上系统,虽然大部分用户购买手机的时候,已经不怎么关注参数了,因为基础算力都是足够的,但芯片正在变得更加重要,当你真正长期使用下来,会发现体验上的差别,而随着智能手机的渗透延展,任何一个体验细节,都可能带来巨大反差,如果说手机是人类肢体的延伸,那芯片就决定着你的扩展能力有多强。高通从手机通信标准起步,从手机通信芯片切入,在智能手机时代成为旗舰手机芯片的不二选择。同时,它正在底层驱动着我们数字生活的改变,而这些改变不止于智能手机,还包括你的智能汽车,你进入虚拟世界的入口,甚至于未来的整个人工智能时代。