打破次元壁!這個AI算法可以讓照片里的人跳出來

還記得《哈利波特》里的“預言家日報”嗎?

《哈利波特》世界里有一種神奇的魔法報紙,報中照片上的人物可以動起來,看起來有點像 GIF 圖。在故事里這當然是「魔法」的功勞,現實世界中還沒有造出這樣的報紙。不過,華盛頓大學的幾個科學家不死心,他們想用 AI 算法來讓照片中的人動起來。

這種技術叫做 Photo Wake-Up。

其實類似的嘗試之前就有人做過,把照片里的 2D 形象映射到 3D 模型上,然后讓它們動起來。不過結果嘛,像是行尸走肉。

因為 2D 形象都是從某一個固定角度去看的,用 3D 模型的標準去控制,會出現不匹配的情況。更不用說畢加索畫里的人,根本沒有一個合適的模型來匹配。讓 2D 形象動起來還有一個難點,就是身體部位的重疊部分不好控制,走路的時候哪只手在前?哪只手在后?還要被身體擋住。這些復雜的問題不解決,根本無法做到栩栩如生。

團隊給出的解決方案是 AI 算法。首先將 2D 形象與 3D 形變模型匹配,標記出身體各部位的位置。然后按照形變算法,一步步構建網格。

按照關鍵點位置控制網格,還原出皮膚數據,構建好貼圖。

最后,把貼圖放回到原圖中,用算法填充背景,人物就可以隨便跑了!

團隊還特別提到,頭部姿勢的準確性對動起來的人十分重要,因為大部分人會將注意力放在人物的臉上。因此,他們的算法還可以識別形象的頭部角度,還有注視方向。

為了讓這個算法可以實際應用,團隊還提供一個調整的選項,允許使用者改動關鍵點的位置。

這項技術可以被用到 AR、VR 中,配合相應設備來使用。想象一下,未來我們在博物館中看的藝術畫,可能是動起來的。

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )

贊助商
2018-12-28
打破次元壁!這個AI算法可以讓照片里的人跳出來
還記得《哈利波特》里的“預言家日報”嗎?《哈利波特》世界里有一種神奇的魔法報紙,報中照片上的人物可以動起來,看起來有點像 GIF 圖。在故事里這當然是「魔法」的功勞,現實世界中還沒有造出這樣的報紙。

長按掃碼 閱讀全文