近日泰國 人妖，寰球顶级信号处理本事会议 ICASSP 2022 公布了论文入选名单。由王君乐博士教唆的腾讯Turing Lab践诺室论文——《针敌手机游戏的主不雅与客不雅视频质地评价》（Subjective and Objective Quality Assessment of Mobile Gaming Video）、《引入用户共鸣学习的好意思学质地估量》（Considering User Agreement in Learning to Predict the Aesthetic Quality）被大会领受。

ICASSP?(International Conference on Acoustics， Speech， and Signal Processing)是海外声学、语音和信号处答理议。是由IEEE主持的全全国最大的、亦然最全面的信号处理过火运用方面的顶级学术会议，具有泰斗、世俗的学界及工业界影响力。往届ICASSP会议完整受AI限度盘考学者的热议和温雅。

这次，腾讯Turing Lab践诺室在海外舞台全主义展示了腾讯在视频质地评价、图像质地评价方面的实力。

以下为腾讯Turing Lab践诺室入选论文详尽：

01.针敌手机游戏的主不雅与客不雅视频质地评价

Subjective and Objective Quality Assessment of Mobile Gaming Video 频年来，手机游戏在总计游戏市蚁合占据的份额已超50%，手游联系本体也成为外交媒体平台上短视频的进犯构成部分。同期，基于视频流的云游戏也渐渐诱骗了越来越多的用户。跟着这些游戏联系的视频流媒体本事和做事的振奋发展，用户对游戏的质地体验(QoE， Quality of Experience)提议了更高的条款。惟有对这个视频链路及本体弘扬进行愈加严格的质地把控，才不错为用户带来更佳的游戏体验。

画质行为质地体验QoE的进犯维度之一，何如正确地估量东谈主眼感知的画质在很长一段时代内一直是学术界及工业界盘考的重心及热门。然则，当今多数的已有盘考主要聚焦在传统的视频本体上，包括PGC本体、UGC本体、以及面向线上会议和分享屏幕等场景的特定本体等。当这些画质评价步伐平直运用在游戏视频时，性能弘扬一般。

因此，在本篇论文中，咱们针敌手机游戏在云游戏场景下的画斥责题，进行了主不雅践诺及客不雅算法模子研发的联系责任。咱们先从腾讯前锋云游戏平台上遴荐17款手机游戏中，并针对不同场景采集了共150段源视频，之后使用多种编码器和编码参数构造出1293段视频。咱们基于ITU联系圭臬进行严格的主不雅践诺，从而获取了全新的针敌手机游戏的视频质地评价数据集TGV dataset（Tencent Gaming Video dataset）。

在这篇论文中，咱们提议质地评价模子ERAQUE(Efficient hard-RAnk QUality Estimator)。调和新提议的勤勉样本排序亏欠（Hard Pairwise Ranking Loss， Fig1）泰國 人妖，该模子在西宾流程中不错愈加针对一样的样本对，从而学习到更细粒度的失真信息，进一步普及模子的性能。在提议的TGV数据集上，咱们进行了模子西宾和对比考试，践诺截止标明ERAQUE模子比拟业界其他质地评价模子弘扬出了更好的性能。

临了，为了让模子以在端侧更高效地推理，咱们使用学问蒸馏的决议（Fig.2）对ERAQUE模子进行压缩和加快，最终收尾ERAQUE模子的轻量化部署，践诺截止标明ERAQUE模子配合提议的蒸馏战略不错使模子在复杂度和性能之间收尾高度衡量。

02. 引入用户共鸣学习的好意思学质地估量

Considering User Agreement in Learning to Predict the Aesthetic Quality 频年来，针对图像的视觉好意思感评价本事在好多运用场景中显露着进犯作用，包括图像的自动化剪辑、图像生成、以及在本体保举限度等。因此，图像好意思学评价成为了学术界及工业界热门的盘考课题。

与传统的图像质地评价问题不同，由于东谈主在进行好意思学评价时会引入更多high-level的评价维度，如心境、画面布局、色调搭配与合营性等，这也使得好意思学评价比拟针对失真进行的传统图像质地评价，具有更高的主不雅性与省略情味(见Figure 1)。

Figure 1：在这两幅图中，评测东谈主员关于A图的好意思感评分具有更高的省略情味（圭臬差σ=1.36），而关于B图，评测东谈主员关于好意思感的评分则趋于一致（圭臬差σ=0.59）

在这篇论文中，咱们提议了雠校了的多任务attention集聚（见Figure 2及Figure 3），不错对输入图像的好意思学MOS分数，以及代表了该分数不一致性的圭臬差进行端到端的估量。在亏欠函数方面，咱们同期也提议了全新的针对的置信区间排序亏欠（confidence interval ranking loss），用于促使模子在西宾流程中更多地温雅具有更高好意思学省略情味的图像对，从而学习到更具有辞别性地特征，以及与不雅测者省略情味更联系的特征。

Figure 2: 著作所提议模子的总体架构

6

Figure 3: 著作所提议的LMLSP模块

在这个责任中，咱们通过多数的实考解释了咱们所提议多任务学习好意思学模子不但在游戏图像的好意思学估量中具有强大上风，同期关于传统的当然本体图像好意思学估量任务，也达到了很好的效果。

产学研调和，落地业务，反哺本事

在业务层面，以上AI本事均已运用到腾讯前锋云游戏平台，腾讯前锋云游戏通过Turing Lab画质评价、多媒体视频质地评价、本体生成及虚实互动等智力，发奋于全主义的普及云游戏画质弘扬，打造云游戏极致的用户体验。

除了在C端业务的落地除外，在面向产业互联网层面，Turing Lab的视频质地评价本事也依然通过“腾讯WeTest质地云平台“对外通达，行业用户不错通过体验Demo快速体验了解到该本事。

除此除外，在AI运用上的探索，腾讯WeTest官网近期全新上线了AI做事专区，并同步推出视频画质评价/游戏本体安全治理决议等居品智力。异日，腾讯WeTest将握续在科研限度深耕，并发奋于将AI本事前沿盘考与测试场景进行交融，用本事开动测试乃至质地保险行业的发展，并以通达格调，对外输出优秀的本事智力，助力行业的发展。

王君乐博士简介

腾讯内行盘考员，Turning Lab谨慎东谈主

领有10余年算计打算机视觉、多媒体、机器学习限度盘考警告，在东谈主体姿态算计与重建、图像质地评价、算计打算影相学、千里浸式多媒体等限度有较深的了解及实战警告，并在这些限度教唆团队进行探索与落地的责任。曾主导腾讯CenseoQoE画质评价决议的设立与社区开源，主导腾讯前锋云游戏云霄虚实互动本事的研发。此外泰國 人妖，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东谈主及组织者。