实力不靠吹 骁龙8为AI做的这些幕后实事鲜为人知

亮相时间：2021-12-22 17:57:46来源：逗游作者：逗游网

阿里三国三国人物经典

• 游戏类别：人物扮演
• 游戏大小：74.40M
• 游戏语言：简体中文
• 游戏版次：v1.1

访问查看 游戏专题

“摄影完善、语音助手以外，移动电话AI还有什么?”

本年全新一代骁龙8移动渠道亮相时，高通再次翻译翻译了，什么叫脑洞大开——

让移动电话学会“听诊”，经由确认出使用者或许存在的回顾剧组日常测评疾病，比如抑郁症、哮喘;

让移动电话做到“防偷窥”，经由确认陌生使用者的视线，做到自动锁屏;

让移动电话游戏搞定超分辨率，将以往PC端才有能力管理的画质，搬到移动电话上感受……

更重大的是，这些AI特性，骁龙8有能力**另外管理**!

高通声称，骁龙8搭载的第7代AI引擎，表现相比上一代最高提升了**4倍**。

这意味着我们玩移动电话的时候，另外“多开”几个AI使用也没难题。更重大的是，它不只仅是简易的AI表现提升，更能给使用者带来流畅的使用感受感。

在设备制程升级如此艰难的今日，高通是如何在第7代AI引擎的表现和使用上“翻”出这么多新花样的?

我们翻了翻高通发表的一些探究论文和技术文档，从中找到了一些“蛛丝马迹”：

在高通亮相的AIMET开源工具文档里，就有谈及有关“如何压缩AI超分辨率模型”的信息;

在与“防偷窥”有关的一篇技术博客中，说明了如何在隐私保护的前提下使用目标测试技术……

而这些文档、技术博客背后的顶会论文，全都来自一家机构——高通AI探究院。

可以说，高通把不少探究院发表的夏季关注PlayStationAI论文，“藏”在了第7代AI引擎里。

顶会论文“藏身”移动电话AI

先来看看第7代AI引擎在**摄影算力**上的提升。

针对智能确认这个点，高通本年将面部特征确认点增多到了300个，能够捕捉到更为细微的表情转变。

但另外，高通又将人脸测试的速度提升了**300%**。这是怎么做到的?

在一篇高通发表在CVPR上的探究中，我们察觉了答案。

在这篇文章中，高通提出了名为Skip-Convolutions(跳跃卷积)的新型卷积层，它能将前后两帧图像相减，并只对转变若干开展卷积。

没错，就像人的眼睛一样，更轻松注意到“动起来的若干”。

这使得骁龙8在做目标测试、图像确认等实时测试影像流的算力时，能更专注于目标物体本身，另外将多余的算力用于提升精度。

或许你会问，这样详情的人脸确认针对摄影有什么用?

更进一步来说，这次高通与徕卡一起启动了Leica Leitz滤镜，用的是基于AI的智能引擎，其中就含有了人脸测试等算力，使得使用者能更不经思考智能地拍出更具艺术风格的图像。

不止人脸测试，高通在智能取景上所具备的特性，还含有超分辨率、揭秘以旧换新攻略多帧降噪、局部运动补偿……

但是，在高分辨率取景中的影像流通常是实时的，AI引擎究竟如何智能处理这么大体量的资料?

同样是一篇CVPR论文，高通提出了一个由多个级联分类器组成的神经联网，可以随着影像帧的繁琐度，来改变模型所用的神经元数量，自行控制计算量。

面对智能影像处理这种“量大繁琐”的流程，AI如今也能hold住了。

智能摄影以外，高通的语音技术这次也是一个亮点。

像开头谈及的，第7代AI引擎扶持用移动电话加速确认使用者声音模式，以确定哮喘、抑郁症等养生状况的隐患。

那么，它究竟是如何精确分辨出使用者声音，并且又不关乎收录资料的?

具体来说，高通提出了一种移动电话端的联邦进修方法，既能使用移动电话使用者语音训练模型，另外保证语音资料隐私不被研究。

像这样的AI特性，有不少还能在高通AI探究院发表的论文中找到。

同样也能寻到蛛丝马迹的，是开头提及的AI提升移动电话表现的理论支撑。这就不得不谈及一个难题：

**另外管理这么多AI模型，高通究竟是怎么提升设备的处理表现的?

**

这里就不得不谈及高通近几年的一个重点探究方向**“量化”**了。

从高通新近公开的最新游戏本汇总技术路线图来看，模型量化一直是AI探究院这几年钻研的核心技术之一，目的就是给AI模型做个“瘦身”。

由于电量、算力、存储和散热能力受限，移动电话使用的AI模型和PC上的AI模型有很大各异。

在PC上，GPU动辄上百瓦功率，AI模型的计算可以使用16或32位浮点数(FP16、FP32)。而移动电话SoC只有几瓦功率，也难存储大体积AI模型。

这时候就需要将FP32模型压缩成8位整数(INT8)乃至4位整数(INT4)，另外确保模型精度不能有太大损失。

以AI抠图模型为例，我们以计算机处理器的算力，通常能做到相当精准的AI抠图，但相比之下，假如要用移动电话做到“差不多效果”的AI抠图，就得用到模型量化的方法。

以便让更多AI模型搭载到移动电话上，高通做了不些许化探究，发表在顶会上的论文就含有**免资料量化**DFQ、**四舍五入机制**AdaRound**，以及联合量化和修剪技术**贝叶斯位**Bayesian Bits等。

其中，DFQ是一种无资料量化技术，可以缩减训练AI任务的时间，提升量化精度表现，在移动电话上最普遍的视觉AI模型MobileNet上，DFQ达到了超越其他所有方法的最佳表现：

AdaRound则可以将繁琐的Resnet18和Resnet50联网的权重量化为4位，大大缩减了模型的存储空间，另外只损失不到1%的精确度：

贝叶斯位身为一种新的量化操控，不只可以将位宽度翻倍，还能在每个新位宽度上量化全精度值和之前四舍五入值之间的残余误差，做到在精确性和效率之间提供更好的权衡。

这些技术不只让更多AI模型能以**更低的功耗**在移动电话上管理，像原本只能在计算机上管理的游戏AI超分辨率*(相似DLSS)*，如今做到能在骁龙8上管理的效果;

乃至其中一些AI模型，还能“另外管理”，例如其中的姿态测试和人脸确认：

事实上，论文还只是其中的第一步。

要想高效将AI能力落地到更多使用上，同样还需要对应的更多渠道和开源工具。

将更多AI能力释放到使用上

对此，高通维持一个启动的心态。

这些论文中高效搭建AI使用的方法和模型，高通AI探究院经由兴办、开源等方法，将它们转发给了更多开发者小区和兴办伙伴，我们也所以能在骁龙8上感受到更多有意思的特性和使用。

**一方面，高通与谷歌兴办，将高效开发更多AI使用的能力转发给了开发者。

**

高通在骁龙8上搭载了谷歌的Vertex AI NAS办事，还是每月升级的那种，意味着开发者在第7代AI引擎上开发的AI使用，其模型表现也能高效升级。

使用NAS，开发者就能自动用AI生成合适的模型，含有高通发表在顶会上的智能摄影算力、语音翻译、超分辨率……都能包含在AI的“筛选范围”中，自动为开发者匹配最好的模型。

这里用上了高通的运动补偿和插帧等算力。而相似于这些的AI技术，开发者们也都能经由NAS做到，还能让它更好地适配骁龙8，不会呈现“调教不力”的难题。

想象一下，你前方用搭载骁龙8的移动电话打游戏时，会感受画面更流畅了，但是并不会所以掉更多的电(指增多功耗)：

另外，有关AI模型的维护也变得更简易。据谷歌强调，与其他渠道相比，Vertex AI NAS训练模型所需的代码行数能缩减近80%。

**另一方面，高通也已然将自己这些年探究量化积累的工具开展了开源。

**

上一年，高通就开源了一个名为AIMET*(AI Model Efficiency Toolkit)*的模型“提效”工具。

其中包含如神经联网剪枝、奇异值确认(SVD)等众多压缩和量化算力，有不少都是高通AI探究院发表的顶会论文成果。开发者用上AIMET工具后，就能直接用这些算力来提效自己的AI模型，让它更流畅地在移动电话上管理。

高通的量化能力也不止开源给普通开发者，同样能让头部AI企业的更多AI使用在骁龙8上做到。

在新骁龙8上，他们与NLP领域知名企业Hugging Face开展兴办，让移动电话上的智能助手可以帮使用者确认通知并推荐哪些可优先处理，让使用者对最重大的通知一目了然。

在高通AI引擎上管理它们的情绪确认模型时，能做到比普通CPU速度快30倍。

正是技术探究的沉淀和技术上维持的启动态度，才有了高通不断刷新移动电话业界的各类AI“新脑洞”：

从之前的影像智能“消除”、智能会议静音，到本年的防窥屏、移动电话超分辨率……

还有更多的论文、渠道和开源工具做到的AI使用，也都被搭载在这次的AI引擎中。

而一直隐藏在这些探究背后的高通AI探究院，也随着第7代AI引擎的亮相而再次浮出水面。

高通AI的“软硬兼备”

大多数时候，我们针对高通AI的印象，似乎还停留在AI引擎的“设备表现”上。

毕竟从2007年开启首个AI项目以来，高通一直在设备表现上针对AI模型提升处理能力。

但是，高通在AI算力上的探究，同样也“早有筹谋”。

2018年，高通兴办AI探究院，负责人是在AI领域久负盛名的理论学者Max Welling，而他正是深度进修之父Hinton的学子。

据不完全统计，高通自兴办AI探究院以来，已有数十篇论文发表在NeurIPS、ICLR、CVPR等AI顶级学术会议上。

其中，至少有4篇模型压缩论文已在移动电话AI端落地做到，还有许多计算机视觉、语音确认、隐私计算有关论文。

上述的第7代AI引擎，可以说只是高通近几年在AI算力探究成果上的一个缩影。

经由高通AI的探究成果，高通还顺利将AI模型拓展到了诸多最前沿技术使用的场景上。

在自动驾驶上，高通启动了骁龙汽车数字渠道，“包揽”了从处理器到AI算力的一条龙解决计划，当下已同25家以上的车企达成兴办，使用他们计划的网联汽车数量已然达到2亿辆。

其中，宝马的下一代辅助驾驶操控系统和自动驾驶操控系统，就将使用高通的自动驾驶计划。

在XR上，高通亮相Snapdragon Spaces XR了开发渠道，用于开发头戴式AR眼镜等设备和使用。

经由和Wanna Kicks兴办，骁龙8还将第7代AI引擎的能力带到了AR试穿APP上。

在无人机上，高通本年亮相了Flight RB5 5G渠道，其中有不少如360°避障、无人机摄影防抖等特性，都能经由渠道搭载的AI模型做到。其中首架抵达火星的无人机“机智号”，搭载的就是高通提供的处理器和有关技术。

回过头看，不难察觉这次高通在AI表现上不再强调设备算力(TOPS)的提升，而是将软设备身为一体，得出AI表现4倍提升的资料，并进一步强化AI使用感受的全方位落地。

这不只表明高通更为注重使用者实际感受的感受，也表明了高通对自身使用实力的信心，由于设备已然不完全是高通AI能力的体现。

可以说骁龙8第7代AI引擎的升级，标志着高通AI软硬一体的开端。

最近，高通针对编解码器又提出了几篇新近的探究，分别登上了ICCV 2021和ICLR 2021。

这些论文中，高通同样用AI算力，展现了针对编解码器完善的新思路。

在一篇使用GAN原理的探究中，高通新近的编解码器算力让图像画面不只更清晰、每帧也更小了，只需要14.5KB就能搞定：

相比之下，原本的编解码算力每帧压缩到16.4KB后，树林就会变得无比含混：

而在另一篇用插帧的思路结合神经编解码器的论文中，高通挑选将基于神经联网的P帧压缩和插帧补偿结合起来，运用AI预测插帧后需要开展的运动补偿。

经过评测，这种算力比谷歌之前在CVPR 2020上维持的SOTA纪录更好，也要好于当前基于H.265规范做到开源编解码器的压缩表现。

将AI模型使用于更多领域中，高通已然不是第一次使用，像影像编解码器的使用，就又是一个新的方向。

假如这些模型能顺利被落地到渠道乃至使用上，我们在设备上看影像的时候，也能真正做到不卡。

随着“软硬一体”的计划被持续开展下去，前方我们说不定真能看见这些新近的AI成果被使用到智能移动电话上。

结合高通在PC、汽车、XR等领域的“秀肌肉”……

可以预见的是，你熟悉的高通、你熟悉的骁龙，肯定不会止于移动电话，其AI能力，也将不止于移动电话。