人工智能:長(zhǎng)相越“娘”顏值越高

選自arXiv

作者:Xudong Liu、Tao Li等

機(jī)器之心編譯

人工智能技術(shù)已被廣泛應(yīng)用于照片/視頻美顏和顏值打分上了,但其內(nèi)在的評(píng)分機(jī)制使用的還是人類制定的規(guī)則,基礎(chǔ)來(lái)自于一些心理學(xué)和生理學(xué)研究。如果讓 AI 自行理解人類顏值的意義,我們會(huì)不會(huì)得到更好的效果?

最近,來(lái)自 ObEN 的研究人員就對(duì) AI 眼中的「美」進(jìn)行了研究,人工智能的判斷看起來(lái)印證了一些學(xué)派的理論:長(zhǎng)相越女性化顏值越高;在發(fā)色方面,男性黑發(fā)最好、女性金發(fā)最好。

值得一提的是,ObEN 是一家位于硅谷的華人創(chuàng)業(yè)公司,前一陣還因在春晚推出虛擬主持人而名噪一時(shí)。

圖 1:在每個(gè)圖像對(duì)中,哪張(左或右)更有吸引力?模型提取與吸引力相關(guān)的正面/負(fù)面特征,并在不同的身份之間合成特定的高級(jí)面部特征。在每個(gè)示例中,左邊是原始圖像,右邊是加工后的圖像(從左到右:小鼻子/大鼻子,男性化/女性化,未化妝/已化妝,年輕/年長(zhǎng))。研究者通過(guò)用戶研究進(jìn)一步調(diào)查和驗(yàn)證了美貌的定義。

人們的顏值對(duì)于社會(huì)活動(dòng)的很多方面都有重要影響,從兩性選擇到招聘,再到社會(huì)交往過(guò)程中,顏值都是決定性的因素之一。面部更具吸引力的人可以獲得更多的約會(huì)機(jī)會(huì),而與他們約會(huì)的人也可以獲得更多的滿足感。社會(huì)對(duì)于美的追求正變得愈發(fā)極端,缺乏吸引力的人可能會(huì)面臨壓力。Cash 等人的研究表明,吸引力更高的人更可能找到工作,犯罪嫌疑人的顏值甚至能影響到法官的決定。

幾個(gè)世紀(jì)以來(lái),對(duì)于面部美的研究引起了心理學(xué)家、哲學(xué)家和藝術(shù)學(xué)家的興趣,其中大多數(shù)人關(guān)注人類的感知。美是什么?心理學(xué)家通過(guò)調(diào)查各種因素來(lái)試圖回答這個(gè)問(wèn)題。從對(duì)稱和平均,到人格,再到兩性異形,各種理論不一而足。

盡管此事已在心理學(xué)界有了廣泛的研究,但計(jì)算機(jī)對(duì)于美會(huì)有什么樣的理解?隨著數(shù)碼相機(jī)和社交媒體的普及,圖像在社會(huì)中有了更多應(yīng)用,各種美顏技術(shù)層出不窮,其中大多數(shù)依賴于過(guò)去的心理學(xué)發(fā)現(xiàn)。其中的主要思想是分析低級(jí)幾何面部特征(如形狀比、對(duì)稱性、紋理),然后應(yīng)用機(jī)器學(xué)習(xí)算法如

支持向量機(jī)

、K-近鄰(K-NN)進(jìn)行圖像分類和美顏預(yù)測(cè)。也有算法以提取局部二值模型(LBP)和 Gabor 等特征的監(jiān)督方式訓(xùn)練自動(dòng)評(píng)分器,在訓(xùn)練內(nèi)容中,對(duì)于美的評(píng)分是由人工評(píng)出的。

圖 2:本文方法概覽。

本文沒(méi)有使用基于心理學(xué)發(fā)現(xiàn)的低級(jí)面部幾何特征,而是提出了一種關(guān)于面部特征(如眉毛形狀、鼻子大孝頭發(fā)顏色)與面部吸引力之間相關(guān)性的新研究。該研究受到 Leyvand 等人的啟發(fā),他們認(rèn)為高級(jí)面部特征在美貌評(píng)估中起著重要作用。本文的研究受到大數(shù)據(jù)爆炸和深度學(xué)習(xí)模型前景的驅(qū)動(dòng)。如圖 2 所示,研究者首先部署了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行面部特征評(píng)估。然后根據(jù)兩個(gè)含有真實(shí)圖像的大型數(shù)據(jù)集研究高級(jí)面部特征和美貌之間的相關(guān)性,再根據(jù)統(tǒng)計(jì)結(jié)果選擇與美貌相關(guān)的面部特征。研究者進(jìn)一步將其結(jié)果與心理學(xué)發(fā)現(xiàn)聯(lián)系起來(lái),并討論其異同。最后,將上述挑選的面部特征與生成對(duì)抗網(wǎng)絡(luò)相結(jié)合,以生成美化后的圖像。美化圖像展示出吸引人的效果,驗(yàn)證了本文研究以及之前心理學(xué)研究的準(zhǔn)確性。

本文主要貢獻(xiàn)如下:

使用在兩個(gè)標(biāo)有顏值分?jǐn)?shù)的大型真實(shí)數(shù)據(jù)集上訓(xùn)練的深度 CNN 來(lái)提取面部特征。

首次提出用定量方法客觀地分析美貌和面部特征之間的相關(guān)性,并根據(jù)統(tǒng)計(jì)數(shù)據(jù)選擇具有吸引力的特征。

驗(yàn)證了現(xiàn)有的關(guān)于美的心理學(xué)研究,并發(fā)現(xiàn)了新的模式。

將這些面部特征與 GAN 相結(jié)合,生成了美貌的圖像,然后對(duì) 10000 個(gè)數(shù)據(jù)點(diǎn)的用戶進(jìn)行調(diào)查,以驗(yàn)證結(jié)果。

論文:Understanding Beauty via Deep Facial Features

論文地址:https://arxiv.org/abs/1902.05380

摘要:關(guān)于美的概念,哲學(xué)家和心理學(xué)家已經(jīng)爭(zhēng)論了幾個(gè)世紀(jì),但大多數(shù)定義是主觀和形而上的,缺乏準(zhǔn)確性、普遍性和可擴(kuò)展性。在本文中,我們基于大數(shù)據(jù)提出了一種關(guān)于挖掘面部屬性的美貌定義的新穎研究,試圖以定量的方式客觀地描述美。我們首先部署深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取面部特征,然后在兩個(gè)標(biāo)有顏值分?jǐn)?shù)的大型數(shù)據(jù)集上研究這些特征與吸引力之間的相關(guān)性。我們不僅通過(guò)統(tǒng)計(jì)顯著性檢驗(yàn)發(fā)現(xiàn)了美的秘密,我們的研究結(jié)果也完全符合現(xiàn)有的心理學(xué)研究,例如小鼻子、高顴骨和女人味比較有吸引力。我們通過(guò)生成對(duì)抗網(wǎng)絡(luò)進(jìn)一步利用這些高級(jí)表征來(lái)創(chuàng)建原始圖像。合成后的美貌效果引人注目,并且通過(guò)對(duì) 10,000 個(gè)數(shù)據(jù)點(diǎn)的用戶進(jìn)行調(diào)查得到了統(tǒng)計(jì)學(xué)上令人信服的驗(yàn)證。

3 方法

3.1 數(shù)據(jù)預(yù)處理

在深度訓(xùn)練之前,數(shù)據(jù)預(yù)處理是更好地進(jìn)行訓(xùn)練所必需的。圖像歸一化具有四個(gè)步驟:面部檢測(cè)、特征點(diǎn)(landmark)檢測(cè)、對(duì)齊、剪切。局部約束模型(CLM)用于面部檢測(cè)和特征點(diǎn)檢測(cè)。之后如圖 4 所示,提供了 68 個(gè)特征點(diǎn)。給定特征點(diǎn)標(biāo)定,眼部位置被設(shè)定為 [92, 129](左眼中心)和 [163, 129](右眼中心),用于對(duì)齊,然后將圖像大小裁剪為 256 × 256。

圖 4:圖像預(yù)處理和相應(yīng)的屬性結(jié)果示例

除了圖像預(yù)處理,還要對(duì)顏值分?jǐn)?shù)進(jìn)行歸一化處理,因?yàn)楫?dāng)每張圖像有多人評(píng)分時(shí),會(huì)產(chǎn)生一些不一致。所以本文采用多數(shù)投票再取平均數(shù)的方法來(lái)產(chǎn)生最終評(píng)分。

3.2 特征訓(xùn)練

在本文中,我們采用GoogleNet架構(gòu)來(lái)進(jìn)行特征訓(xùn)練。該網(wǎng)絡(luò)具有 22 層(僅計(jì)算了具有參數(shù)的層),9 個(gè) Inception 模塊。GoogLeNet 在 2014 年的 ImageNet 大型視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC14)中實(shí)現(xiàn)了分類和檢測(cè)的最佳水平。該架構(gòu)擅長(zhǎng)使用 1×1 卷積核進(jìn)行降維,可以在節(jié)省計(jì)算資源的同時(shí)增加網(wǎng)絡(luò)深度,被稱為 Inception,如圖 5 所示。不同于 ImageNet 分類挑戰(zhàn)賽,其中每個(gè)圖像僅作為一個(gè)類別,在本文的訓(xùn)練中,每個(gè)圖像及其 40 個(gè)特征被輸入深度架構(gòu),最終輸出是與真實(shí)值(40 個(gè)標(biāo)簽)對(duì)應(yīng)的多個(gè)分類。

圖 5:經(jīng)過(guò)降維處理的 Inception 模塊。

總的訓(xùn)練過(guò)程如圖 3 所示。首先,將圖像和特征標(biāo)簽輸入至深度 CNN 并抽取特征,然后用全連接層進(jìn)一步處理這些特征。最后訓(xùn)練 40 個(gè)隨機(jī)森林分類器進(jìn)行特征評(píng)估,最后輸出特征結(jié)果。

圖 3:特征訓(xùn)練概覽

3.3 相關(guān)性分析

在得到歸一化的美貌得分和 40 個(gè)面部特征之后,下一步是探索美的奧秘——面部特征與美貌程度之間的相關(guān)性。

3.4 特征遷移

為了定量評(píng)估具備/不具備某種特征的美貌程度差別,我們部署了一個(gè) GAN 來(lái)遷移面部特征。GAN 被定義為一個(gè)極小極大博弈,其目標(biāo)函數(shù)如下:

訓(xùn)練生成器 G 欺騙判別器 D,判別器 D 則嘗試區(qū)分生成樣本 G(x, c) 和真實(shí)樣本 x。

在實(shí)踐中,成功地訓(xùn)練 GAN 是一項(xiàng)非常困難的任務(wù),不過(guò)現(xiàn)在已經(jīng)有了許多改進(jìn)。StarGAN 已經(jīng)在圖像到圖像的遷移任務(wù)中取得了令人印象深刻的進(jìn)展。在訓(xùn)練中除了使用對(duì)抗損失外,還采用了特征分類 L_cls 和圖像重建損失 L_rec,實(shí)現(xiàn)了當(dāng)前最先進(jìn)的特征遷移性能。完整目標(biāo)函數(shù)如下:

本研究中的面部特征遷移所用架構(gòu)與《Stargan: Unified generative adversarial networks for multidomain image-to-image translation》中的一致。

4 實(shí)驗(yàn)

表 2:在 Beauty 799 數(shù)據(jù)集中測(cè)試的重要特征。

圖 6:10K US 數(shù)據(jù)集中的相關(guān)性分析,包括女性分類下的子類,男性分類下的子類和整個(gè)數(shù)據(jù)集。

表 3:在組合數(shù)據(jù)集中測(cè)試的重要特征。

圖 7:用戶研究結(jié)果驗(yàn)證了本文的假設(shè)和相關(guān)分析。

5 分析判斷

5.3 美麗的女性特征

我們不僅能夠通過(guò)數(shù)據(jù)統(tǒng)計(jì)得出關(guān)于美的客觀定義,而且還有一個(gè)有趣的發(fā)現(xiàn),女性化特征被認(rèn)為比男性化特征更有吸引力。從心理學(xué)的角度來(lái)看,有大量證據(jù)表明女性特征增加了不同文化中男性和女性面孔的吸引力。濃妝和口紅等特征通常被認(rèn)為是女性的特征。因此,從我們的統(tǒng)計(jì)結(jié)果和心理學(xué)來(lái)看,這些屬性對(duì)吸引力有積極的影響。此外,有一個(gè)名為男性化(Male)的性別屬性,從我們的深度模型來(lái)看,這個(gè)預(yù)測(cè)在 CelebA 中是令人信服的(95 % 的準(zhǔn)確率)。然而,我們發(fā)現(xiàn)了一個(gè)有趣的結(jié)果,一些來(lái)自 Beauty 799 數(shù)據(jù)庫(kù)的女性圖像在模型結(jié)果中被估計(jì)為男性,這表明這些女性有一些男性特征(男性傾向),并且她們被認(rèn)為不太有吸引力。此外,根據(jù)相關(guān)性分析,這種男性化屬性會(huì)降低吸引力。這個(gè)例子從反面證明了女性特征可以增加吸引力。

5.4 不一致以及一致的定義

正如之前所提到的,兩個(gè)數(shù)據(jù)集之間有一些本質(zhì)的區(qū)別。因此,得到的定義結(jié)果存在一些不一致。我們發(fā)現(xiàn):美國(guó)成年人更偏愛(ài)黑發(fā)和金發(fā),這和 Beauty 799 得出的結(jié)果是相悖的。這種現(xiàn)象可能是環(huán)境影響所致,不同文化中的人可能對(duì)頭發(fā)顏色和體型有著不同的偏愛(ài)。除了數(shù)據(jù)庫(kù)之間的不一致之外,我們還發(fā)現(xiàn)黑發(fā)和濃眉是具有吸引力的男性特征,但女性并非如此,黑發(fā)和濃眉對(duì)女性的美有消極影響。另一個(gè)不一致是金發(fā)對(duì)于男性和女性美的影響。金發(fā)是女性具有吸引力的特征,放在男性身上卻并非如此。

盡管在 [21, 41] 中存在一些不一致,但其中對(duì)于美的定義也存在一些共同之處。表 3 總結(jié)了兩個(gè)相對(duì)較大的數(shù)據(jù)集中對(duì)美發(fā)揮正面或負(fù)面作用的一致特征。例如,濃妝、高鼻梁、涂口紅等特征都會(huì)提升吸引力(美)。相對(duì)的,大鼻子、偏男性化(指女性)、嘴唇微張則會(huì)對(duì)吸引力產(chǎn)生負(fù)面影響。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )

贊助商
2019-02-18
人工智能:長(zhǎng)相越“娘”顏值越高
選自arXiv 作者:Xudong Liu、Tao Li等 機(jī)器之心編譯 人工智能技術(shù)已被廣泛應(yīng)用于照片/視頻美顏和顏值打分上了,但其內(nèi)在的評(píng)分機(jī)制使用的還是人類制定的規(guī)則,基礎(chǔ)來(lái)自于一些心理學(xué)和生理

長(zhǎng)按掃碼 閱讀全文