AI替代插畫師部工作？可自動生成二次元妹子

　　最近有一個由復(fù)旦大學(xué)、同濟大學(xué)、卡內(nèi)基梅隆大學(xué)和石溪大學(xué)共6位學(xué)生（其實本科都在復(fù)旦）搭建了一個利用人工智能自動生成精美動漫角色的網(wǎng)站MakeGirls.moe�？赡軙�讓二次元愛好者們感到興奮流遍全身的感覺。

　　對于用戶來說操作非常簡單，只需要選擇自己喜愛的頭發(fā)、眼睛、微笑、張嘴等等特征，然后點擊“genrate”就可以通過訓(xùn)練出的AI模型來生成一個動漫人物。該網(wǎng)站上線后數(shù)天，訪問量便增加到10k+每小時。其repo在github trending上也一度排到第四位。該網(wǎng)站所使用的技術(shù)在其論文《Create Anime Characters with A.I. ！》中進行了詳細說明。

　　其實這并不是第一個將AI應(yīng)用到動漫當(dāng)中的模型。2015年Soumith Chintala等人開發(fā)DCGAN后不久，就有人將DCGAN應(yīng)用到了生成動漫角色當(dāng)中，出現(xiàn)了ChainerDCGAN、IllustrationGAN和AnimeGAN等，三者分別使用了Chainer、TensorFlow和PyTorch的框架，它們本質(zhì)上都是DCGAN，只是實現(xiàn)方式不同。

　　但這些模型的效果并不是很好，尤其是會出現(xiàn)面部頭像模糊和扭曲的問題。在MakeGirls.moe的模型中，作者針對這些問題做出了兩方面的改進。

　　一、使用更高質(zhì)量的圖像庫

　　之前幾家，他們訓(xùn)練模型所使用的數(shù)據(jù)集大多數(shù)是使用爬蟲從網(wǎng)絡(luò)上爬下來的，這類圖片在質(zhì)量和畫風(fēng)上參差不齊，甚至還有一些背景。訓(xùn)練數(shù)據(jù)集質(zhì)量的低下會給訓(xùn)練造成很大的影響。

　　本文的作者則通過從日本的游戲販賣商Getchu購買了高質(zhì)量的圖像，這些圖像基本出于專業(yè)畫師之手，同時背景統(tǒng)一。

　　除了高質(zhì)量的圖像外為了訓(xùn)練網(wǎng)絡(luò)模型，作者使用了一種基于CNN的圖像分析工具Illustration2Vec，對圖像中動漫人物的屬性，如頭發(fā)顏色、眼睛顏色、發(fā)型和表情等做標(biāo)記。

　　此外，在訓(xùn)練的過程中他們還發(fā)現(xiàn)發(fā)布時間越晚的圖片，訓(xùn)練出的模型效果越好。這不難理解，隨著游戲角色制作和CG技術(shù)的發(fā)展，越是現(xiàn)代的圖片，細節(jié)越豐富，如陰影和頭發(fā)。

　　所以作者舍棄了2005年之前的全部數(shù)據(jù)，并過濾掉分辨率低于128*128的圖像，用剩下的31255張高質(zhì)量圖像進行訓(xùn)練。

　　二、模型結(jié)構(gòu)

　　作者采用了今年5月份發(fā)表的DRAGAN模型（https://arxiv.org/pdf/1705.07215.pdf），這種模型所使用的計算量相對較少，收斂較快而且能夠產(chǎn)生更穩(wěn)定的結(jié)果。

　　而在優(yōu)化生成器的過程中，受ACGAN的啟發(fā)，不僅向生成器提供了標(biāo)簽數(shù)據(jù)，連“噪聲”數(shù)據(jù)也一并提供，之后再為判別器增加多標(biāo)簽分類功能。

　　下面展示一下效果——

　　雖然訓(xùn)練出的模型大多數(shù)時候都比較好，但該模型仍然存在一些缺點。問題仍出在數(shù)據(jù)集中，由于訓(xùn)練數(shù)據(jù)中各個屬性（發(fā)色、發(fā)型、眼鏡、帽子等）的數(shù)量分布不均勻。

　　某些屬性的生成并不理想（例如眼鏡和帽子常常不能生成） ，如果將某些罕見的屬性組合，生成的圖片甚至?xí)�崩潰（例如帽�?眼鏡）。

　　也許當(dāng)增加數(shù)據(jù)集的數(shù)量，訓(xùn)練出的模型生成圖片質(zhì)量可以進一步提高。雷鋒網(wǎng)（公眾號：雷鋒網(wǎng)）認(rèn)為，按照此趨勢AI或許在不久將替代掉插畫師的一部分工作。

　　訪問網(wǎng)站：MakeGirls.moe（已有訓(xùn)練好的模型，打開就可以嘗試生成）

　　之前因為訪問量突然巨量增加，所以將網(wǎng)站托管在Preferred Networks所提供的AWS上，所以國內(nèi)網(wǎng)友不能訪問，不過這個問題現(xiàn)在貌似解決了。