Tang et al. / Front Inform Technol Electron Eng

16
Tang et al. / Front Inform Technol Electron Eng 1 Frontiers of Information Technology & Electronic Engineering www.jzus.zju.edu.cn; engineering.cae.cn; www.springerlink.com E-mail: [email protected] †‡1,2,3 , 1,2 , 1,2 , 1,2 , 1,2,3 , 1,2,3 , 1,3,4 1 , , 310027, 2 , 310027, 3 , 310012, 4 - , 310027, E-mail: [email protected] 2019-8-6; 2019-11-26; crosscheck 2019-12-10 2.0 4 Tang YC, Huang JJ, Yao MT, et al., 2019. A review of design intelligence: progress, problems, and challenges. Front Inform Technol Electron Eng, 20(12):1595-1617. https://doi.org/10.1631/FITEE.1900398 TP183 1 (Kaufman and Stern- berg, 2006) (Boden, 2009) * 2030 No. 2018AAA0100703 (Nos. 61773336 and 91748127 (No. 2018-ZD-12-06) No. 2019C03137 ORCID: , https://orcid.org/0000-0002-0157-7771 (de Silva Garza, 2019) (Russell and Norvig, 2016) , FBS (Gero, 1990) SBF (Goel et al., 2009) de Gómez Silva Garza and Maher (1999) GENCAD (CBR)

Transcript of Tang et al. / Front Inform Technol Electron Eng

Page 1: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 1

Frontiers of Information Technology & Electronic Engineering

www.jzus.zju.edu.cn; engineering.cae.cn; www.springerlink.com

E-mail: [email protected]

�����������������∗

���†‡1,2,3, ���1,2, ���1,2, ��1,2, ��1,2,3, ���1,2,3, ���1,3,4

1���������, ����, ��310027, ��

2������������������, ��310027, ��

3�����, ��310012, ��

4����-��������������, ��310027, ��

†E-mail: [email protected]

��2019-8-6; ��2019-11-26; crosscheck 2019-12-10

����������������������������������������2.0�������������������������������������������������������������

�����4 ��������������������������������������������������������������

����������������������������������

����Tang YC, Huang JJ, Yao MT, et al., 2019. A review of design intelligence: progress, problems, and challenges.

Front Inform Technol Electron Eng, 20(12):1595-1617.

https://doi.org/10.1631/FITEE.1900398������TP183

1 ��

��������������������

�������������(Kaufman and Stern-berg, 2006)��������������������������������������

����������������������

������������ ������

����������������������

����(Boden, 2009)����������������������������������

���������������������

‡ ����* ����������������2030����������������No. 2018AAA0100703�����������(Nos. 61773336and 91748127�������������(No. 2018-ZD-12-06)�����������No. 2019C03137������������������������������������������

ORCID: ���, https://orcid.org/0000-0002-0157-7771

��������������������

����������������������

�(de Silva Garza, 2019)����������������������������������

����������������������

���������

��������������������

��������������������

����������������������

����(Russell and Norvig, 2016)����������, ����Æ����������������FBS (Gero, 1990) �SBF (Goel et al.,2009)� de Gómez Silva Garza and Maher (1999)���GENCAD ����������(CBR)������������������������

����������������������

Page 2: Tang et al. / Front Inform Technol Electron Eng

2 Tang et al. / Front Inform Technol Electron Eng

���������������������

����2.0��(Pan, 2017)��������������(GAN)����, ����������������������������

���������������������

���������������������

����������������������

����������������������

������������ ����������

de Silva Garza (2019)����������������������1���������������������������������

��������

������������������

� ����� �������2���������� ��������������

��������������������

���������������������

�������������������

������������� ������

����������������������

������������ ��������

������������ ��������

��������������������AI�����������������������

�����AI ������������������������������������

���������������������

���������������������

�������AI�������������

Creativity Design

Non-design creativity

Creative design

Non-creative design

Fig. 1 ������������������������

�������de Silva Garza (2019)Reprint from de Silva Garza (2019), Copyright 2019, withpermission from Springer Nature

�������������� �������

����������������������

����� ��������������

�������������������

��� � ����������������

�(Varshney et al., 2019)�

���������������������

Edelman et al. (1996)��������������������������Boden (2009)�������������� �����

��������������������

�������de Silva Garza (2019)�������������������

���������������������

���������������������

Gatys et al. (2016a)��������������������������������

����Zhang et al. (2017)� ��������stack-GAN���������������Isola et al. (2017)�������������������������������

����������� �������

���������������������

�������Wu et al. (2016)���3D������(3D-GAN)��������������������3D ����������������������������������

��������������Elgammal et al.(2017)�������������������������������������

�������������Yan et al. (2019)�����������������������

AIDomainknowledgedatabase

ProductcontentserviceContent

generation

Designevaluation

Needsanalysis

Ideation

Fig. 2 ������������������������

������������������

Page 3: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 3

��������������������

���������������������

����������������������

����������������� ��

�����

2 ��AI�������

�������������������

���������������������

����������(Maguire and Bevan, 2002)�������������������� �

���������������������

���(�3)�������������������������������������

���������������������

�����������(Lowdermilk, 2013)������������������������

��������������������

��������������������

����������������� ����

����������������������

��������������������

�� ������������������

����������������������

�����

��������������������

����������������������

����(Cooper and Reimann, 2003)������������������������!��

�!���������� ������

��������������"�������

���������������������

�������������������

Informationgathering

User needsidentification

Envisioning and evaluation

Requirementsspecification

Fig. 3 ����������������Maguire andBevan (2002)Reprint from Maguire and Bevan (2002), Copyright 2002,with permission from Springer Nature

�����������(Miaskiewicz and Kozar,2011)�Cooper (1999)��������� �������������������

������������������

�(Grudin and Pruitt, 2002; Miaskiewicz and Kozar,2011; Nielsen et al., 2015)��������(Grudinand Pruitt, 2002; Cooper et al., 2003; Pruitt andAdlin, 2006; Salminen et al., 2019)

������������������

���������������������

��������������������

���������������������

����������������������

���������������������

����������������������

������(Matthews et al., 2012)�����������������#����$����

���������������������

����������������������

����������������������

���������������������

�����������������

�������������������

���������������������

������������Kwak et al. (2017)������YouTube�������������������������(Salminen et al., 2017;Jansen et al., 2017)�� ������� �������������������������

��������������� �����

���������������Salminen et al.(2018b, 2019)���������������������������������

��������� ����������

�������������������

���������������������

����

���, ����(Goodfellow et al., 2014)����������������������

�������������������

����� ����4��� �

Page 4: Tang et al. / Front Inform Technol Electron Eng

4 Tang et al. / Front Inform Technol Electron Eng

�������������������IRGAN(Wang et al., 2017)�RecGAN (Bharadhwaj et al.,2018) ��������������������������Perera and Zimmermann(2019)�������GAN���CnGAN������������������������

������������ ���������

��������������������

������ �����#���������

%���������� �������

���"�����������������

��������������������

���������������������

�������������

������ �����������

�����������������

�&�������� ���������

�(Salminen et al., 2018a)�������������%������������������

���������������������

���������������������

���������������������

����%��������������

���������%�� ������

��(McGinn and Kotamraju, 2008)��������������������������

�������������VR�AR�������� ���������(Yang et al., 2008)������������&��������

�� �����������������

������(Salminen et al., 2018b, 2019)�����������������������

������

3 ��AI�����

������������ �������

����(Hartson and Pyla, 2012)������������ ������������

���� ����������� ��

����������������������

����������������������

����������������������

� ������������������

�������������������

��������������������

��������������������

����������������������

����������������������

���������(Hao et al., 2019)����������������(Han et al., 2018)�����'����(Vandevenne et al., 2015)������������������������

����������

������������������

Hao et al. (2019) �������������������������������

��������������������

�1976�2014�50( �������������word2vec��(Mikolov et al., 2013)��� �������������������

�� ������ ������DZ�!

��������������������

��� ����������������

Vandevenne et al. (2015) ��������������������������������

����������������������

�K ���������� �������� �������� ����������

������������

��������� �������

���������������(Gilon et al.,2018; Jia et al., 2020)�������"the Retriever"�(Han et al., 2018)� ������������������ ����� ��

�ConceptNet(Liu and Singh, 2004)� ����������������$�������

������������������

����������A : B :: C : X����

�����A�B���C �X��������

��ConceptNet��16������������A��B ���C��X��������

����C �A�B��� ����

Page 5: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 5

����������������X���

������!����������IdeaInspire(Chakrabarti et al., 2017)� �����������Fu et al. (2015).

�����������������

�������Chen et al. (2019) ����������������� ��������

��� ���� �����������

����� ����� ��������

�������� ��������������

��������������������

������������������ ���

�������� ������������

������� �������������

���������������������

��������������

������������������

�����������������

��(Dugosh et al., 2000)����(Faste et al.,2013)�������������������������������������

(Strohmann et al., 2017) ��� ���������������� ��� ����

����������� �������

��������������������

������� �������������

���� ��������������

�������������������

DZ���� ��������������

�����������������

�������������������

���������������������

����������Chen et al. (2019)�����������������"��

�DZ�������������������

�������Wang TC et al. (2018)�Liu et al.(2019)�����������������������������������������

����������� ���������

�� �����������������

������� ������������

���������������������

�������������������

��������������������

��AI������������� ����������� 1976��)�*�( ��������������������

Quirky�quirky.com�����2019�12�24��� ����(� �������!

�������� ���� InnoCentive�innocentive.com�����2019 �12�24 ��������� �������������

�(� ���������������

�WordNet (Miller, 1995)� Cyc (Niles and Pease,2001)�ConceptNet (Liu and Singh, 2004)������� ���������� �������

�������������������

������ ���������

������� (Jansson and Smith, 1991)�����������������

��������������������

�������������������

���������������������

������$��������������

����(McCaffrey and Krishnamurty, 2015;Hao et al., 2019)��������������������������������

�������(McCaffreya and Krishnamurty,2015)�������������(Shahet al., 2000)���(Shah et al., 2000)����(Peeters et al., 2010) ����(Nelson et al.,2009)����������������������������������������

�������������� ��

��

4 ��AI�����

�����������������

�����DZ������AI����� IGC�Intelligence-Generated Content�������������������������+���

����������������������

Page 6: Tang et al. / Front Inform Technol Electron Eng

6 Tang et al. / Front Inform Technol Electron Eng

�����������AI������� ��������������� ������

����������� ��������

�������������������

���������������������

������AI���� �������������������������Æ ����

������AI�����������������������������������

��������������������

�������������AI���������� �������

�������������������

��������–�������– �����������–�������������������������������

4.1 �����

��������������������

����������������������

�������������������

����������������������

���������������������

��������������������

���������������������

����������������

����������������(VAE)(Larsen et al., 2016) ���������GAN�(Goodfellow et al., 2014)�

GAN�������������!�������GAN���������������GAN��������������������������� ����GAN������������ �GAN�����������������������(Hong et al.,2019)�

4.1.1 ������

������(GANs) (Goodfellow et al., 2014) � ������ ������G���

�� DZ�����zzz������ ��

��G(zzz)�� ������D������

��x������G(zzz)������ ���

�������������������4a���������������� ������

G Dz

Fake

Real

True/Fake

X

G(z)

(a)

(c) (d)

Features Data

z G

x, E(x)

G(z), z

True/Fake

EE(x)

D

G(z)

X

GAN

VAE

True/FakeG

E

DG(z)

X

z~E(x)

True/FakeG DG(y,z)z

C

y

X

y

(b)

Fig. 4 ��GANs����(a) ��GAN���������G��������zzz ��������G(zzz)����D ����

��/���������������(b) ������������GAN����yyy ��������C �������yyy�

�����G(yyy,zzz) �����(c) ����������GAN ������E ��������xxx���������E(xxx)�

(d) ���������GAN ���

Page 7: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 7

�������V (G,D):

minG

maxD

V (D,G) = Exxx∼Pdata

[logD(xxx)]

+ Ezzz∼Pzzz

[log(1−D(G(zzz)))]. (1)

+�����������������

��������,������������

���������������������

����������

�����GAN��������� � ��������������

��������������maxout��G�D���������������

����MNIST (LeCun et al., 1998)� CIFAR10(Krizhevsky and Hinton, 2009)��������������������DCGAN(Radford et al., 2016)�����������������GAN������������!������ ��������

�����������������

�GAN��������������������������������2014����������5���GAN ����

�������������(Arjovsky et al.,2017)�����(Gulrajani et al., 2017)����

��(Miyato et al., 2018)�����(Brock et al.,2018)�������� GAN�������������5����������32×32,�128×128�512×512�1024×1024���������Æ�GAN����� ���������������������� ������

�CV���������NLP������

4.1.2 ����GAN

���GAN�������������������G��DZ����� �!���

������#������������� �

�������GAN (Mirza and Osindero, 2014)�������4b��DZ���zzz����� �

�yyy�-��������G���� ��y�

��#��������������� �

���(Mirza and Osindero, 2014)�����������������(Reed et al., 2016a)����yyy�����������������

����������������

���G��������������

������������������

�4b��C��� ������(Odena et al.,2017)�����D�� ��������

Fig. 5 GANs ����2014�–2019���(a)GAN (Goodfellow et al., 2014)�(b) DCGAN (Radford et al., 2016)�(c)BigGAN (Brock et al., 2018)�(d)StyleGAN (Karras et al., 2019)������32×32�128×128�512×512

�1024× 1024���������������������

Page 8: Tang et al. / Front Inform Technol Electron Eng

8 Tang et al. / Front Inform Technol Electron Eng

���������������������

� ������������������

�D�.��������������

4.1.3 �����GAN

GAN���������������zzz�

������G(zzz)����GAN�&�������������������Donahue et al.(2016)�Dumoulin and Visin (2016)�������E����G���������������

� ������4c������E������

����������G ����������

�������������������!��

��������������� ����

GAN�"�� ��������������������������� ���

�����

�Donahue et al. (2016)�Dumoulin and Visin(2016)�����E�G������� �

������������� �����

�Larsen et al. (2016)���� ����������������VAE(Kingma and Welling,2013)�GAN�������4d���VAE����������� ����GAN�������������GAN�����������VAE��������������VAE����������������������

��GAN �����������������VAEÆGAN�������������������������������������

��������������������

�� ������������������

�������������������

��������������������

��� ���

������������ ���

��������� ���� ���

��#�������MNISTMNIST (LeCun etal., 1998)�CelebA (Liu et al., 2015)�flower (Nils-back and Zisserman,2008)� chairs (Aubry et al.,2014)�WikiArt (Saleh and Elgammal, 2015)�

�������������� ����

�����������������CIFAR10(Krizhevsky and Hinton, 2009)�LSUN (Yu et al.,2015)��ImageNet (Deng et al., 2009)�

4.2 ��������

�������������������

/������GAN���������������������������0�����

�������������������

���������������������

��������������������

���������������� ����

�����������

4.2.1 �������

�����GAN���������������������������� ���

���GAN ����cGAN (Mirza and Osindero,2014)���������������������GAN ������������������������������������

��������������������

�������������6����������������������������

���������������� ���

���������������������

�������������������

GAN-INT-CLS (Reed et al., 2016a)������GAN�������������������cGAN��������������������cGAN �����������

The bird has a yellow crown anda black eyering that is round

The bird has a green crown black primaries and a white belly

A photo of a homemade swirly pasta with broccoli carrots and onions

A fruit stand display with bananas and kiwi

Fig. 6 �����������������GAN��������������Xu et al. (2018)Reprint from Xu et al. (2018), Copyright 2018, with permis-sion from IEEE

Page 9: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 9

�����������������GAN��������True�������False�GAN-INT-CLS���!�����{���������}�{���������}�{�������}�{�������}����D����{���������}����!����G�����{�������}��{���������}���D�

Æ � � � � � � � � � � �� �

��Dash et al. (2017)�GAN-INT-CLSÆAC-GAN(Odena et al., 2017)������������������������(Salimans et al., 2016)�GAWWN (Reed et al., 2016b)����������������������Æ����

�������������������

�StackGan (Zhang et al., 2017)� StackGan++(Zhang et al., 2017) ��������� �����������������������

��������������������

����AttnGAN (Xu et al., 2018)���������������������StackGAN++��������������������

����������� ��������

���������������������

-��������������������

���������������������

4.2.2 ������

�����������������

������������������"��

����������������������

�������� (�7)�1. �������������������������

��������������� Isola et al.(2017)� �����������������������������������

���������������!��

����GAN�������"���������������������������

������������������

����4.1.2�������GAN���������

LcGAN(G,D) =Exxx,yyy [logD(xxx,yyy)]

+ Ezzz,yyy [1− logD(G(zzz,yyy), yyy)] .(2)

���������������

Isola et al. (2017)�����������1���

Winter Summer

Monet Photo Horse Zebra

Apple Orange

Fig. 7 ���������

Page 10: Tang et al. / Front Inform Technol Electron Eng

10 Tang et al. / Front Inform Technol Electron Eng

�������� �����������DZ

�����������������

���������������������

��Isola et al. (2017)�����������������PatchGAN�PatchGAN �����1������������������

��� N × N��1���Pix2pixIsola et al.(2017)�������������������2��"�����������

�����#�����������#���

����������� �����

������������������

�����������(Wang TC et al., 2018;Park et al., 2019)��������������������(Huang et al., 2017; Chan et al.,2018; Wang TC et al., 2018)���� ����������������(You et al., 2019)�

2. ���������Pix2pix���2��"��������

����������� � �������

����������������������

��������������������#

������� �������������

������ ��������������

��X����Y�Zhu et al. (2017)�Yi et al.(2017) �������������������� ���� ����� ������

�G�X�������Y������ �

��F�Y�����X ����� ���Dx

�Dy ���� ������������

����� ��������������

��� ���������������

��1�����������

Lcyc(G,F ) = Exxx∼Pdata(xxx)

[‖F (G(xxx))− xxx‖1]

+ Eyyy∼Pdata(yyy)

[‖G(F (yyy))− yyy‖1] .(3)

3. �����������������������

����������������

��������������� ���

�(Zhang et al., 2016)� ���������

���������������������

������ ������� �(Yang et al.,2018; Tang et al., 2018)��� ����������������� ������� �

�� �����(Zakharov et al., 2019) ������� ������ �������

�������������������

������������� ������

�����������DZ���������

�������������������

��������������������

4.2.3 ����

��������������������

����������������������

1. ���

���3��������������

�� �������������� �

������������������ ��

��������������������

���������������������

����������������� ���

� ��������������1����

��������������������

�����(�8)�

� � � � � � �(Bertalmio et al., 2000;Ballester et al., 2001)���� ������������ ��������� ���

������������1�����

(Efros and Freeman, 2001; He and Sun, 2014)����������1������1������

�������������� �����

���������������� ��

Fig. 8 ����������������������

Page 11: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 11

�������������������

�������������������

��Pathak et al. (2016)������������������������������

��������������������

����������������

���DZ�Iizuka et al. (2017)���������������Pathak et al. (2016) ������������������������

Liu et al. (2018)���������������Yu et al. (2018a)����� ���#������������������

�������������Nazeri et al. (2019)����� �����������

�Æ ��������������

Yu et al. (2018b)��������� ������������������� ���

������Jo and Park (2019)�����������"������������������

2. ���

������(SISR)���������� ��� ����DZ����������

������������������AI���������������������

��������� �����(Keys, 1981)��������������������

�����9b������������������������������������

����� �������������

����� �������������

������!����������"���

�SISR#�����������������

���������������� �� ��

������(LR)������� ���������(HR) ���������������������� ���$�����

������������� �������

��������SISR���������������� SRCNN

(Yoon et al., 2015) � �������������������������� ��

��� ����������������

�������������������

���������������������

�������������������

��������������������

���������#���������

�����������SRCNN������� ���� �����������

������(Zeiler et al., 2011) ������(Dumoulin and Visin, 2016)����� �������(Kim et al., 2016) ��-�����������������(Ledig et al., 2017)���������������������Æ

�������������(Bruna et al., 2015;Zhao et al., 2016)�

SISR����������������������������(Yang et al.,2019)�

4.2.4 ��–����

1. ����

��� ����������

��������������!�������

(a) (b) (c)

Fig. 9 ��������������� (a)���������� (b)Keys (1981)����������(c)Wang XT et al. (2018) ��������

Page 12: Tang et al. / Front Inform Technol Electron Eng

12 Tang et al. / Front Inform Technol Electron Eng

��������������+���+��

��������������������

�����������������

��������������������

�������������������%��

��������������������

�������������������

�������%�������������

�������������%�� ���

���������������������

��

������������������

�����������������Gram �(Gatys et al., 2016a)����(Huang and Be-longie, 2017)&��(Huang and Belongie, 2017)��������(Li et al., 2017)� ���(Li et al.,2018)��

2. ��–����

�204�90����������������������������

� � � � �� � � � � ��� � � �

������(NPR) (Gooch and Gooch, 2001;Strothotte and Schlechtweg, 2002)��������������������������

������������������

�(�10)�

Input content

Input style

Styl

e tra

nsfe

r

Output

Fig. 10 ���������������������

����������·�������

��������2001����������(Hertzmann et al., 2001)�����������������������������

������������������

���������x����Ac : As : : Bc : x�

������������� �����

������� �����������

�������������2������

��DZ������(CNN)���, Gatys et al.(2016b) ����CNN�����������������������!������

������������!���������

� ����CNN�����ÆVGG-19 ��(Simonyan and Zisserman, 2014) ��������������������DZ�������

�����������VGG-19�����������������������������

���VGG-19��������(ReLU4_2)����������������������

�� �����������(ReLU1_1�

ReLU2_1�ReLU3_1�ReLU4_1�ReLU5_1)�����������������������

���� �����������������

���������Gram��

Gatys et al. (2016b)���������� ������%�� ���� ����

�����������������512× 512

�����2–3��������Gram������������������������

������������� ������

���Johnson et al. (2016) ���������������������������

����Li and Wand (2016) �����DZ����������������������

���������������������

�- ������������������

���Gram �������������������(Huang and Belongie, 2017; Li YJ et al.,2017; Luo and Tang, 2008)�

������������������

���������������������

���DZ�������(Li and Wand, 2016)��������#���(Huang and Belongie,2017; Li YJ et al., 2017)�DZ���������������������������

������ �����������

Page 13: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 13

������������� ���Prisma�Ostagram�Deep Forger�

�������!�������

�����������������

�(Champandard, 2016)���VR/AR�3D����(Chen et al., 2018)�������(Chan et al.,2018)�������(Jiang and Fu, 2017)�������(Verma and Smith, 2018))������� ���������(Jing et al.,2019)�

5 ��AI�����

��������������DZ����

����������������������

�������������5�AI���������AI��������������������������������������

����������������������

�����������AI������������������(Deng et al., 2018)�������AI������������������������������������������

����������

5.1 ����

� �Garabedian (1934)���������������������������

�������������������

����������������(Datta et al.,2006; Lu et al., 2015)���(Dou et al., 2019)���(Zhang et al., 2017)� �(Jia et al., 2016)��

���������� �������

������11����� ���������� �����������������

��������������������'

���������������������

���������������������

���������������������

����������������� ����

��������������������

��������������������

Input image

Aesthetic score

ClassificationSVM and CNN

RegressionLinear regressor and SVR

Distribution fittingEMD

Predictor

Feature extractor

Hand-crafted featurescolor moment, texture,and depth of field ...

Deep featuresCNN extracted features

Fig. 11 �����������

����&�����

������(Datta et al., 2006; Murray et al.,2012; Wang et al., 2016)�����������������(Ciesielski et al., 2013)�������������(Rigau et al., 2008)�����(Li and Chen, 2009)���(Datta et al., 2006)�����������������������

������ ��������������

���������

Lu et al. (2015)���������������������������������

��������������Lu et al. (2015)������������������#��

������� �����������

������������������

��������������������

��� ����������������

����Mai et al. (2016) ����� ��������������������

���������������������

�����Ma et al. (2017)����������������������������

�������������������

Lu et al. (2015)��DZ������������������������������

��Li HH et al. (2017)�����#�������#��������#����#�����

���������������������

Page 14: Tang et al. / Front Inform Technol Electron Eng

14 Tang et al. / Front Inform Technol Electron Eng

����������

��� ����������

Li HH et al. (2017)��������������������������������

����� ������������ ���

�������������#����

Wang WS et al. (2018)��� �#������������"�������������

����������������������

�������Jia et al. (2016)����� ������������� ������

���������������������

���������������������

���������������������

Dou et al. (2019)���������������������������� �������

������ �Flickr Style�����������#���������������

������#�������������

�����Zhang et al. (2017)�����������������������������

��� ����������� �60���� ������������������

�������� ����������

����������� ����������

�����������

5.2 �������

��������������������

���������������������

���������AVA�large-scale database forAesthetic Visual Analysis�����������������1���

5.3 �������

��������""���������

��������Wang and Shen (2017)����������������� ����

���������������������

��12a–c���������������������������������

���Deng et al. (2018)�������������������������� �

�������������������

���������������������

���������������������

��������������12d–f ����������������������Creatism(Fang and Zhang, 2017)����'����� ��������Æ����������

������ ��������Google ����������HDR����������

6 ��������

���������� ��������

���������������� ����

�����������%� �����

���������������%����

���������������������

�������������������� �

������������ ��� ����

����������������������

������ ��������������

����������������������

��������������������

Table 1 Commonly used datasets in aesthetic assessment

�� �� �� ����

AVA 250 000 �����78∼549�����������14 ������60 ���� Murray et al. (2012)CUHK-PQ 17 690 �����������7���� Tang et al. (2013)IAD 1 500 000 ���DPChallenge�photo.net������ Lu et al. (2015))AROD 380 000 ���Flickr�������������������������� Schwarz et al. (2018)AADB 10 000 ������11������������ Kong et al. (2016)

Page 15: Tang et al. / Front Inform Technol Electron Eng

Tang et al. / Front Inform Technol Electron Eng 15

(a) (b) (c)

(d) (e) (f)

Fig. 12 (a–c)��Wang and Shen (2017)��������(a)������������(b)������������������(c)�(d–f) ��Deng et al. (2018)�����(d)��������(e)������������(f)(a–c), Reprint from Wang and Shen (2017), Copyright 2017, with permission from IEEE (d–f), Reprint from Deng et al.(2018), Copyright 2018, with permission from ACM (Association for Computing Machinery)

�������������������� �

���������������������

�������������������

���������������������

��$�����#����������#��

������������� �������

����� ��������������

������������

�������������������

���������������������

���������������������

���������������������

�%�������������������

� ������������������

����#���������������

��

��������- ���������

���������������������

,6����� ������������7�

��7�������������������

�������,6����������!

���������������������

����������������������

��������DZ������������

���������������������

���������������������

���������������������

�����������

��������� ����� ���

��������������������

����������������������

���������������������

�������������������

��� ������������������

����������������� ��%

� �����

�����������������

���������������������

��������������������

�� ������������������

��������������������+

���������������������

���������������������

��������������������

��������������%�� ��

�����

Page 16: Tang et al. / Front Inform Technol Electron Eng

16 Tang et al. / Front Inform Technol Electron Eng

7 ��

�����������AI 2.0���������������� ����������

������������������ �

�������AI ����������AI��������AI��������AI����������������� �����������

���������������������

���������������������

��������AI 2.0�������������������������������

�����

�������Æ

����������������

��

��Fig. 5c�5d�Fig. 8��Runway���������

���(runwayml.com)�

ReferencesArjovsky M, Chintala S, Bottou L, 2017. Wasserstein gen-

erative adversarial networks. Proc 34th Int Conf onMachine Learning, p.298-321.

Aubry M, Maturana D, Efros AA, et al., 2014. Seeing3D chairs: exemplar part-based 2D-3D alignment usinga large dataset of CAD models. Proc IEEE Conf onComputer Vision and Pattern Recognition, p.3762-3769.https://doi.org/10.1109/CVPR.2014.487

Ballester C, Bertalmio M, Caselles V, et al., 2001. Filling-inby joint interpolation of vector fields and gray levels.IEEE Trans Image Process, 10(8):1200-1211.https://doi.org/10.1109/83.935036

Bertalmio M, Sapiro G, Caselles V, et al., 2000. Image in-painting. Proc 27th Annual Conf on Computer Graph-ics and Interactive Techniques, p.417-424.https://doi.org/10.1145/344779.344972

Bharadhwaj H, Park H, Lim BY, 2018. RecGAN: recur-rent generative adversarial networks for recommenda-tion systems. Proc 12th ACM Conf on RecommenderSystems, p.372-376.https://doi.org/10.1145/3240323.3240383

Boden MA, 2009. Computer models of creativity. AI Mag,30(3):23-34. https://doi.org/10.1609/aimag.v30i3.2254

Brock A, Donahue J, Simonyan K, 2018. Large scale GANtraining for high fidelity natural image synthesis.https://arxiv.org/abs/1809.11096

Bruna J, Sprechmann P, LeCun Y, 2015. Super-resolutionwith deep convolutional sufficient statistics.https://arxiv.org/abs/1511.05666

Chakrabarti A, Siddharth L, Dinakar M, et al., 2017. Idea in-spire 3.0—a tool for analogical design. In: ChakrabartiA, Chakrabarti D (Eds.), Research into Design for Com-munities. Springer, Singapore, p.475-485.https://doi.org/10.1007/978-981-10-3521-0_41

Champandard AJ, 2016. Semantic style transfer and turningtwo-bit doodles into fine artworks.https://arxiv.org/abs/1603.01768

Chan C, Ginosar S, Zhou TH, et al., 2018. Everybody dancenow. https://arxiv.org/abs/1808.07371

Chen DD, Yuan L, Liao J, et al., 2018. Stereoscopic neuralstyle transfer. Proc IEEE Conf on Computer Visionand Pattern Recognition, p.6654-6663.https://doi.org/10.1109/CVPR.2018.00696

Chen LQ, Wang P, Dong H, et al., 2019. An artificial intel-ligence based data-driven approach for design ideation.J Vis Commun Image Represent, 61:10-22.https://doi.org/10.1016/j.jvcir.2019.02.009

Ciesielski V, Barile P, Trist K, 2013. Finding image featuresassociated with high aesthetic value by machine learn-ing. Proc 2nd Int Conf on Evolutionary and BiologicallyInspired Music, Sound, Art and Design, p.47-58.https://doi.org/10.1007/978-3-642-36955-1_5

Cooper A, 1999. The Inmates Are Running the Asylum.SAMS, Indianapolis, USA.

Cooper A, Reimann RM, 2003. About Face 2.0: the Es-sentials of Interaction Design. John Wiley & Sons,Indianapolis, USA.

Dash A, Gamboa JCB, Ahmed S, et al., 2017. TAC-GAN-text conditioned auxiliary classifier generative adversar-ial network. https://arxiv.org/abs/1703.06412

Datta R, Joshi D, Li J, et al., 2006. Studying aesthetics inphotographic images using a computational approach.Proc 9th European Conf on Computer Vision, p.288-301. https://doi.org/10.1007/11744078_23

de Gómez Silva Garza A, Maher ML, 1999. An evolutionaryapproach to case adaptation. Proc 3rd Int Conf onCase-Based Reasoning, p.162-173.https://doi.org/10.1007/3-540-48508-2_12

de Silva Garza AG, 2019. An introduction to and comparisonof computational creativity and design computing. ArtifIntell Rev, 51(1):61-76.https://doi.org/10.1007/s10462-017-9557-3

Deng J, Dong W, Socher R, et al., 2009. ImageNet: a large-scale hierarchical image database. Proc IEEE Conf onComputer Vision and Pattern Recognition, p.248-255.https://doi.org/10.1109/CVPR.2009.5206848

Deng YB, Loy CC, Tang XO, 2018. Aesthetic-driven imageenhancement by adversarial learning. Proc 26th ACMInt Conf on Multimedia, p.870-878.https://doi.org/10.1145/3240508.3240531

其余文献从略