用較低成本，給予最好的視頻體驗(yàn)，智感超清到底有多強(qiáng)？

原標(biāo)題：用較低成本，給予最好的視頻體驗(yàn)，智感超清到底有多強(qiáng)？

當(dāng)前互聯(lián)網(wǎng)已全面進(jìn)入視頻化時(shí)代，視頻流量越來(lái)越龐大。對(duì)于視頻應(yīng)用平臺(tái)來(lái)說(shuō)，帶寬成本支出也是非常大的。如何通過(guò)技術(shù)實(shí)現(xiàn)在最小的帶寬消耗下，最大幅度的提升用戶的觀看體驗(yàn)是所有視頻應(yīng)用平臺(tái)所追求的目標(biāo)。

在云智峰會(huì)上百度智能云重磅發(fā)布了“智感超清”產(chǎn)品，集成多種視覺(jué)AI與編碼技術(shù)，通過(guò)深度學(xué)習(xí)技術(shù)對(duì)畫(huà)面內(nèi)容進(jìn)行分析，根據(jù)視頻場(chǎng)景及復(fù)雜度，智能調(diào)節(jié)編碼參數(shù)，減少視頻畫(huà)面不必要的碼率分配，最大能節(jié)省50%+的視頻碼率。同時(shí)通過(guò)畫(huà)質(zhì)修復(fù)、色彩增強(qiáng)等技術(shù)，優(yōu)化主觀視覺(jué)體驗(yàn)，大幅提高畫(huà)面質(zhì)量，讓視頻在更低的帶寬下實(shí)現(xiàn)更清晰的觀看體驗(yàn)。

目前，百度智能云智感超清產(chǎn)品已全面應(yīng)用于百度系視頻APP，如好看視頻、全民小視頻，每月節(jié)約數(shù)TB級(jí)的帶寬成本。

01基于內(nèi)容自適應(yīng)的智能編碼

實(shí)際生產(chǎn)環(huán)境中，視頻內(nèi)容類(lèi)型和畫(huà)面復(fù)雜度多種多樣，傳統(tǒng)在碼率控制方式上以VBR或者CBR為主。CBR碼率非常恒定，但是它的質(zhì)量波動(dòng)比較大從而導(dǎo)致質(zhì)量得不到保障；VBR的質(zhì)量相對(duì)較好，但是需要對(duì)所有的視頻預(yù)設(shè)一個(gè)平均碼率導(dǎo)致視頻Size增加。

智感超清要解決的最根本問(wèn)題是如何從視頻內(nèi)容的復(fù)雜度、視頻質(zhì)量、視頻碼率三者關(guān)系中找到最優(yōu)平衡點(diǎn)，既能保證視頻編碼質(zhì)量，又能提升壓縮率，節(jié)省傳輸帶寬。

從技術(shù)上來(lái)說(shuō)，內(nèi)容自適應(yīng)編碼的粒度從粗到細(xì)分為視頻類(lèi)別（Category）、視頻級(jí)別（Title）、分片級(jí)別（Chunk）、場(chǎng)景級(jí)別（Shot）、幀級(jí)別（Frame），智感超清目前實(shí)現(xiàn)了場(chǎng)景（Shot）級(jí)別的碼率智能分配。

百度智能云技術(shù)團(tuán)隊(duì)選取了大量測(cè)試序列，從測(cè)試序列中獲取時(shí)間復(fù)雜度與空間復(fù)雜度信息，并對(duì)不同的序列按照復(fù)雜度進(jìn)行分類(lèi)，以保證測(cè)試序列能夠覆蓋盡可能多的實(shí)際場(chǎng)景。通過(guò)大量測(cè)試序列的評(píng)測(cè)及數(shù)據(jù)標(biāo)注，深入分析視頻場(chǎng)景、復(fù)雜度、視頻編碼參數(shù)及視頻質(zhì)量的關(guān)系，建立視頻特征數(shù)據(jù)庫(kù)。然后通過(guò)AI深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，通過(guò)模型預(yù)測(cè)可以得到待編碼的視頻在一定視頻質(zhì)量下的最優(yōu)編碼參數(shù)。簡(jiǎn)單的場(chǎng)景分配較低的碼率就能獲得較好的畫(huà)面質(zhì)量，同時(shí)能降低文件大小，而較復(fù)雜的場(chǎng)景則分配較高的碼率去獲得較好的畫(huà)面質(zhì)量，當(dāng)然這里可以設(shè)定最大碼率限制，從而去控制文件大小。

總之，智感超清1.0在人眼主觀上實(shí)現(xiàn)了一個(gè)恒定質(zhì)量的用戶體驗(yàn)，同時(shí)能節(jié)省50%+的帶寬成本和存儲(chǔ)成本。

02基于人眼感觀的增強(qiáng)優(yōu)化

UGC短視頻行業(yè)場(chǎng)景下，存在著大量的由于拍攝問(wèn)題或者壓縮問(wèn)題帶來(lái)的色彩灰暗、壓縮噪點(diǎn)等低質(zhì)量的視頻，而很多經(jīng)典老片也存在膠片顆粒、劃痕等問(wèn)題，非常影響人眼的主觀感受。

智感超清產(chǎn)品基于最新的AI技術(shù)，實(shí)現(xiàn)了創(chuàng)新性的視頻增強(qiáng)解決方案，采用畫(huà)質(zhì)修復(fù)和色彩增強(qiáng)，可以在不增加額外帶寬的前提下提升視頻的顯示效果。

其利用深度學(xué)習(xí)技術(shù)對(duì)畫(huà)面的顏色、亮度、對(duì)比度、飽和度等進(jìn)行調(diào)優(yōu)，并對(duì)邊緣紋理信息進(jìn)行增強(qiáng)，去除抖動(dòng)、劃痕、噪點(diǎn)等，讓畫(huà)面看上去更漂亮，從而提升視頻人眼感官的質(zhì)量。

技術(shù)實(shí)現(xiàn)上的基本思路是利用多幀相關(guān)信息去除壓縮引起的噪聲、塊效應(yīng)、偽影等，利用周邊質(zhì)量較高的幀提升當(dāng)前幀質(zhì)量。并通過(guò)運(yùn)動(dòng)估計(jì)網(wǎng)絡(luò)，經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償模塊生成幀間預(yù)測(cè)信號(hào)，再把前后幀的補(bǔ)償圖像和當(dāng)前幀輸入到視頻增強(qiáng)網(wǎng)絡(luò)，最后輸出主觀增強(qiáng)后的視頻。

? 老片修復(fù)樣例：

? 主觀增強(qiáng)樣例：

除此之外，從視頻壓縮的角度出發(fā)，為了突破基于傳統(tǒng)信號(hào)壓縮編碼極限，必須充分利用人眼視覺(jué)系統(tǒng)（HVS）的特性，采用了感興趣區(qū)域(ROI)編碼技術(shù)，提高了視頻的質(zhì)量。即在幀內(nèi)碼率分配環(huán)節(jié)，可以重點(diǎn)考慮人眼感興趣的區(qū)域，比如運(yùn)動(dòng)、人臉、膚色、文章、紋理等區(qū)域，采用合適的量化參數(shù)，確保將有限的碼率分配到人眼更關(guān)注的重點(diǎn)區(qū)域，取得更優(yōu)的主觀質(zhì)量。

03超分辨率

4K的電視屏幕越來(lái)越普及了，但是視頻源上卻嚴(yán)重不足。大量庫(kù)存的標(biāo)清、高清資源，可以通過(guò)基于視頻的超分技術(shù)重制到4K超高清，實(shí)現(xiàn)快速的內(nèi)容供給。

超分辨率是指將視頻從低分辨率，采用AI的方法采樣重建到高分辨率的視頻（如SD->HD 或 HD->4K），并提升視頻畫(huà)面的細(xì)節(jié)。在生成4K視頻的過(guò)程中，采用AI技術(shù)智能生成內(nèi)插幀，可以實(shí)現(xiàn)將50i或者25fps的視頻，上采樣到50fps，同時(shí)支持HDR、10bit，達(dá)到真4K的標(biāo)準(zhǔn)。如下圖所示，通過(guò)在服務(wù)端實(shí)現(xiàn)基于AI的超分辨率服務(wù)，可以將低清版本的視頻，恢復(fù)成高清或者超高清版本的視頻，以滿足內(nèi)容分發(fā)的需求。

同時(shí)，百度智能云技術(shù)團(tuán)隊(duì)正在開(kāi)展超分技術(shù)在移動(dòng)端的應(yīng)用探索。在直播或者點(diǎn)播領(lǐng)域，傳輸一路較低分辨率的視頻，通過(guò)移動(dòng)端的超分渲染，達(dá)到高清的效果，即節(jié)省了視頻傳輸帶寬，又提升了終端的用戶體驗(yàn)。

▽

結(jié)尾

更高更清晰的視頻編碼，更好的終端用戶體驗(yàn)，是視頻技術(shù)不斷追求的目標(biāo)。5G和AI技術(shù)的發(fā)展，也促進(jìn)了視頻向超高清4K視頻的應(yīng)用落地。我們將AI技術(shù)應(yīng)用到了從視頻采集、壓縮、上傳、轉(zhuǎn)碼、分發(fā)到播放的整個(gè)視頻技術(shù)棧中。

? 通過(guò)智能編碼，基于內(nèi)容自適應(yīng)的最優(yōu)編碼參數(shù)設(shè)置，獲得了恒定的視頻質(zhì)量，同時(shí)帶寬最節(jié)省。

? 通過(guò)基于AI的主觀質(zhì)量增強(qiáng)，獲得了更適合于人眼的高清畫(huà)質(zhì)。

? 通過(guò)超分辨率技術(shù)，進(jìn)一步提升圖像細(xì)節(jié)，重塑畫(huà)面質(zhì)量。

? 通過(guò)基于AI的復(fù)雜度預(yù)測(cè)，在轉(zhuǎn)碼工程上實(shí)現(xiàn)智能化的調(diào)度，實(shí)現(xiàn)極速轉(zhuǎn)碼，降低端到端的時(shí)效性。

未來(lái)，百度智能云將持續(xù)輸出AI能力，為廣大視頻平臺(tái)、視頻用戶甚至更廣泛行業(yè)中的視頻生產(chǎn)者與使用者們提供更豐富的視頻產(chǎn)品，更好地服務(wù)于真實(shí)生活場(chǎng)景，驅(qū)動(dòng)視頻行業(yè)發(fā)展，惠及更多用戶。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。