2020人工智能安全白皮书.pdf

人工智能安全白皮书 （ 2020 ） 浙江大学 - 蚂蚁集团金融科技研究中心 数据安全与隐私保护实验室 2020 年 12 月3 AI 6 2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 AI 10 3.1 AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.1 . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.1.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2 AI . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2.1 . . . . . . . . . . . . . . . . . . . . . 24 3.2.2 . . . . . . . . . . . . . . . . . . . . . 28 3.3 AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.2 . . . . . . . . . . . . . . . . . . . . . . . . 29 AI 30 4.1 AI . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.1.1 . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.1.4 . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.1.5 . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.1.6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.2 AI . . . . . . . . . . . . . . . . . . . . . . . 41 12 4.2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.3 AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 AI 45 5.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.2 AI SDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.4 AI SDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.4.1 . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.4.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.4.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 54Artificial In telligence AI “ 2020 11 1 2 3 AI AI AI AI AI AI AI “ AI AI AI AI 1 “ Bac kdo or AI 2 AI 34 3 A dv ersarial Example 4 5 AI AI 6 AI 7 , 8 AI AI AI AI AI 9 AI / 10 JPEG 11 AI / AI AI AI GDPR NIST SP 800-122 AI AI AI AI5 AI AI AI AIAI AI AI AI AI AI AI AI AI AI AI AI AI AI AI 0-9 MNIST x i ,y i , i = 1, 2,.,N x i ,y i y = f (x) AI AI AI AI AI AI AI 20 AI 1 AI 2 6AI 7 AI AI AI AI AI AI AI AI AI T ensorflo w PyT orc h AI AI AI AI AI AI 2.1 AI 1 AI AI 3 8 6 12 13 14 15 AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI (Confidentiality) AIAI 8 (Inte grity) AI (R obustness) AI (Privacy) AI AI AI 2.2 AI AI AI AI AI AI AI AI AI AI AI AI AI 1 AI 2 AI 3 AI AI AI 3.1 AI AI AI AIAI 9 模型训练完 整性威胁 AI 模型的安全性问题 测试完整性 威胁 模型鲁棒性 缺乏 基于模型输出的 数据泄露 AI 数据与隐私安全性问题 基于梯度更新的 数据泄露 硬件设备安全问题 AI 系统安全性问题 系统软件安全问题 AI 安全面临的威胁与挑战 对抗训练 AI 模型安全性增强 AI 数据安全与隐私泄露防御 AI 系统安全防御 AI 安全常用的防御手段 鲁棒性增强 面向训练数据防御 面向 模型防御 模型 数据 查询控制 硬件安全保护 系统软件安全保护 AI 应用系统安全 解决方案 多维对抗 多维异常检测 AI SDL 模型评测加固 业务评审 风险治理 推动 形成 2.1: AI AI AI AI AI 1 / 16 2 AI AI AI AI AI 1 AI AI AI 2 GPU 2.1 AI AI AI AI AIAI 3.1 AI 3.1.1 AI ImageNet AI 10AI 11 3.1: 1 , 17 3.1.1 18 , 19 3.1.1 2 , 20 3.1.1 21 , 22 3.1.1 3 23 24 25 26 27 28 3.1.2 29 30 31 14 3.1.2 32 33 3.1.2 AI 66 3.2.1 7 34 8 35 3.2.1 10,71,72,73,74,75 3.2.1 36 3.2.2 37 , 38 39 3.2.2 1 , Dalvi 1 40 41 AIAI 12 D c = (X c ,Y c ) D p = (X p ,Y p ) x s y t D p Bi-lev el Optimizaion X p X p = arg min Xp L adv (x t ,y adv ; ) (3.1) L adv X c X p = arg min L train (X c X p ,Y ; ) (3.2) Xp L adv AI Muoz-Gonzlez 17 Bac k-gradien t Optimization T dX p Xp L adv dX p X p Y p Y t Shafahi 18 Clean- Lab el 18 Shafahi F eature Collisions p = arg min x f(x) f(t) 2 2 + x b 2 2 (3.3) f( ) Softmax t b 17 18AI 13 Zh u 19 18 P k j=1 c (i) j (i) m i m c 1 ,.,c k 0 P k j=1 c (i) j = 1 min c (i) , n x (j) p o 1 2 P m i=1 (i) (xt) P k j=1 c (i) j (i) x (j) p 2 (i) (xt) 2 s.t P k j=1 c (i) j = 1,c (i) j 0, i,j x (j) p x (j) b , j (3.4) x (j) p j x (j) b j m c (i) j 42 Mo del P oisoning Bhago ji 43 k m m t t m w t G argmin t m L x i , i r i=1 , w t G +L D m , w t m + t m t 1 ben 2 (3.5) x i , i r i=1 w t G t D m w t m t t 1 ben k 1 t 1 w t G D c = (X c ,Y c ) D p = (X p ,Y p ) Bac kAI 14 do or T rigger y t x i x i + = x i (1 m)+ m (3.6) m m x i 1 0 3.7 min X xX (y t ,f (x+) (3.7) X 3.8 min X (xc,y c) Dc, (xp,y p) Dp (y c ,f (x c )+ (y p ,f (x p ) (3.8) f 3.8 Multi-task Learning D c D p D p 3.7 Gu 2 y t 2 . Liu 20 k 3.9 arg min k X i=1 (tv i f n i (x+) 2 (3.9) x 0 tv i i f n i i Liao 44AI 15 45 T urner 46 , 47 Saha 21 44 18 y t K t k 3.10 arg min z P K k=1 f (z k ) f s a(k) 2 2 s.t. k z k t k (3.10) f( ) s a(k) k z k 3.10 (Pro jecte d Gradien t Descen t, PGD) 24 . 2 , 20 , 21 , 44 , 46 , 47 Y ao 13 Laten t Bac kdo or y t 3.11 arg min X x X y t Xy t X xt Xy t D f Kt (x+) ,f Kt (x t ) (3.11) X yt X yt K t f Kt K t 3.11 3.12 J ( ;x,y ) = (y,f (x)+ D f Kt (x+) , (3.12) x X yt X yt y = argmin P xt Xy t D ,f Kt (x t ) K t 3.12AI 16 K t y t 42 Bagdasary an 48 43 Xie 49 M M M 48 LSTM 50 51 22 3.1.2 AI ImageNet AI AI (A dv ersarial A ttac k or Ev asion A ttac k) Szegedy AI AIAI 17 AI x i ,y i N i=1 x i y i N f(. ) f(x) x x x x : x x D ,f (x )= y (3.13) . D t x : x x D ,f (x ) = t (3.14) f (. ) AIAI 18 p p : p = x x p = ( n X k | (x i x i )| p ) 1/p (3.15) x i x i i . L(f(x),y ) F ast Gradien t Sign Metho d (F GSM) 23 x = x+ sign( x J(x,y ) (3.16) F GSM Basic Iterativ e Metho d/Pro jected Gradien t Descen t (BIM/PGD) 24 x t = (x t 1 + sign( x J(x t 1 ,y ) (3.17) x t t PGD C&W 25 min p + J C &W (x+,y ), s.t.x + 0, 1 (3.18) J C &W (. ) Distributionally A dv ersarial A ttac k 26 , Jacobian-based Saliency Map Approac h 27 Elastic-net A ttac k 28AI 19 . A thaly e 52 f(x) = f(g(x) g(x) x f(x) f(x) = f(t(x) t(x) T , t(x) f(t(x) g(x) f(g(x) 52 Bac kw ard P ass Differen tial Appro ximation(BPD A) g g(x) x f(g(x) x x f(g(x)| x=x x f(x)| x=g(x) g(x) Exp ectation o v er T ransformation(EOT) T t(. ) E t T f(t(t) E t T f(t(x) = E t T f(t(x) EOT 53 A thaly e g(x) x = h(z) g(h(z) = h(z) g(x) x x gan x z x = h(z) h(z) g(h(z) = h(z) z f(h(z) h(z) . 1)AI 20 P ap ernot 54 Dong NIPS 2017 55 g t = g t 1 + x J(f(x t 1 ),y ) x J(f(x t 1 ),y ) 1 x t = x t 1 + sign(g t ) (3.19) = T T 2) Chen Zeroth Order A ttac k 56 x i J(f(x),y ) = J(f(x+h e i ),y ) J(f(x h e i ),y ) h (3.20) e i i h 1 2 AIAI 21 29 x c = h(z|c) x c c z max z J(f(h(z|c),c ) (3.21) z (A dv ersarial P atc h) 30 AI 4 57 3D 58 , 59 60 , 61 62 , 63 , 64 65 , 66 AI AI 53 , 4 67 66 32 AI 68 , 69 , 70AI 22 3.1.3 AI AI 1 AI 2 AI AI AI AI MIT Ob jectNet 71 313 ImageNet 113 ImageNet Ob jectNet 40%-45% AI AI AI 2018 5 GDPR AI 72 AI AIAI 23 1 2 AI AI AI AI 3 AI AI AI 3.1.4 AI 2017 AI AI Bias AI AI AI / AI : Psyc hoph ysical Bias Charp en tier Illusion AI AI AI AIAI 24 Discriminatory Bias AI AI AI Statistical Bias AI Drop out AI 3.2 AI AI AI 3.2.1 AI AI Softmax 1 2 / (Mo del Extraction A ttac k)AI 25 AI AI API API API 1) Equation-solving A ttac k 2) Meta-mo del 3) Equation-solving A ttac k (SVM) 7 loss regularization 73 KNN K Equation-solving A ttac k Meta-mo del Meta Mo del ( ) Meta Mo del x f(x) ( f(x) Meta Mo del f i ( ) Meta Mo del Meta Mo del MNIST 34 V GG ResNet 35 Equation-solving A ttac k 8AI 26 54 , 74 75 , 35 F redrikson Mo del In v ersion A ttac k 6 Softmax (Mem b ership-Inference A ttac k) (Mem b er Data) (Non-mem b er Data) 2017 Shokri 12 (Mem b er Data) (Non-mem b er Data) ShokriAI 27 Shado w Dataset Shado w Mo del Shokri Sam uel Y eom 76 Ashamed 77 2019 Shokri 12 Shado w Mo del CNN Logistic Regression Shado w Mo del Shado w Mo del Threshold Cho osing T T Ashamed Shokri 78 trade-off Ahmed Salem 79AI 28 Jamie Ha y es 80 (GAN) Shokri 81 3.2.2 . AI Melis 36 37 , 38 39 GAN 3.3 AI AI AI AI 1) 2) AIAI 29 3.3.1 AI AI ro ot AI 54 3.3.2 AI AI AI AI T ensorflo w PyT orc h AI AI AI T ensorflo w Caffe PyT orc h Nump y lib op encv librosa Python 15 360 T eam SeriOus Nump y Caffe lib jasp er 82 GPU GPU 83AI AI AI AI AI AI AI AI AI AI AI AI 4.1: 3.1.1 84 4.1.1 9 85 3.1.1 10 4.1.2 86 87 88 89 ULP 90 F GSM F GSM 3.1.2 23 4.1.3 PGD 91 92 Logits 93 94 3.1.2 11 95 96 4.1.4 97 98 99 100 F GSM 3.1.2 101 4.1.5 102 103 3.2.1 104 12 77 105 4.2.1 78 3.2.1, 3.2.2 7 73 12 104 4.2.2 75 106 107 3.2.1 75 108 74 4.2.3 107 30AI 31 4.1 AI 3.1 AI AI AI (A dv ersarial Defense) AI AI AIAI 32 4.1.1 T ran 84 Sp ectral Signatures D train p R y b R = 1 n P n i=1 R(x i ) (n =|D y | ) M = h R(x i ) b R i n i=1 v i = R(x i ) b R v 2 D y 1. 5 Chen 9 A ctiv ation Clustering Indep enden t Comp onen t Ana lysis, ICA Gao 85 STRIP 4.1.2 Liu 10 (Pruning) (Fine T uning) (Fine Pruning) Gu 2AI 33 W ang 86 Neural Cleanse min m, (y t ,f (A(x),m, )+ | m| for x X (4.1) A 3.6 x f y t Neural Cleanse Chen 87 DeepInsp ect 6 cGAN cGAN G( z,t ) z t D 86 Qiao 109 86 86 (Max-En trop y Staircase Appro ximator, MESA) MESA MESA (En trop y Maximization) I(X|Z) X Z GAN (Mo de Collapse) MESA 110 (Mutual Information Neural Estimation, MINE) MESA Liu 88 ABSAI 34 K olouri 90 Univ ersal Litm us P at- terns, ULPs ULPs ULPs ULPs Zhao 89 (Mo de Connectivit y) 111 4.1.3 (A dv ersarial T raining) AI MIN-MAX min max D(x,x ) J(,x ,y ) (4.2) J(,x ,y ) x y x F GSM (F GSM A dv ersarial T raining) Go o dfello w 23 F GSM J(,x,y ) = cJ(,x,y )+(1 c)J(,x + sign( x J(,x,y ),y ) (4.3) x+ sign( x J(,x,y ),y ) x F GSM 23 F GSM F GSM 89.4% 17.4% F GSM F GSM Madry 91 PGD (PGD A dv ersarial T raining) PGD PGD PGD L F GSM PGD CWAI 35 PGD L PGD 92 (Ensem ble A dv ersarial T raining) 93 Logit (A dv ersarial Logit-pairing, ALP) Logit J(,x,x ,y ) = J(,x,y )+cJ(,x,x ) (4.4) J(,x,y ) J(,x,x ) x x Logit 93 Logit PGD SVHN CIF AR-10 ImageNet 94 A C- GAN PGD 4.1.4 AI JPEG Xie 11 NIPS 2017 EoT Guo 95 JPEGAI 36 EoT Xu 96 (Input Cleansing) (GAN) GAN Samangouei 97 (Defense-GAN) Defense-GAN Shen 98 (A dv ersarial P erturbation Elimination GAN APE-GAN) Meng 99 Liao 100 (High-lev el Represen tation Guided Denoiser, HGD) HGD U-Net 4.1.5 Hin ton 112 (Distillation) P ap ernot 101 (Defensiv e DistilAI 37 lation) ( ) F GSM Dhillon 102 (Random F eature-Pruning, SAP) Liu 103 (Random Self-Ensem ble RSE) RSE A thaly e 52 EoT 4.1.6 AI AI AI AI AIAI 38 113 91 GAN Go o dfello w 114 4.1.7 115 , 116 , 117 In tegrated In terpretabilit y (P ost Ho c In terpretabilit y) . Decision T ree 118 119 , 120 . A tten tion 121 122AI 39 Probabilistic Mo del 123 . 124 tf-idf 125 Clustering 126 Matrix F actorization 127 Principle Comp onen t Analysis . AI AI 128 Ov erparametrization 129 1) 130 129 , 131 , 132 , 133 2) Ov erparamization Ov erparamization 134 135 AIAI 40 . 136 Confidence 137 , 138 , 139 , 140 , 141 142 143 . AI 144 , 145 146 147 AI 148AI 41 4.2 AI 3.2 AI AI 3.2 AI AI AI 4.2.1 F redrikson 104 CAR T Mo del In v ersion Shokri 12 Ahmed 77 Drop out Mo del Stac king Nasr 78 MIN-MAX W ang 105 MIASecAI 42 4.2.2 AI 7 , 73 75 Shokri 12 F redrikson 104 Jia 106 Memguard He 107AI 43 4.2.3 PRAD A 75 Kesarw ani 108 Y u 74 He 107 IP 4.3 AI 3.3 AIAI 44 AI AI AI . AI . AI AI . AI API AI AI . .AI AI Siri 149 AI F aceb o ok Go ogle DeepF ak e 3 AI 4 AI AI AI AI 5.1 . AI L p . AI 45AI 46 AI AI AI AI AI AI AI . AI AI 5 AI AI AI AI RealAI. RealAI AI AI 5.2 AI SDL AI AI AIAI 47 AI AI AI AI SDL SDL AI (AI SDL) AI SDL AI AI SDL AI AI AI SDL 7 5.3 AI AI AI 5.3.1 150 Lo cal In trinsic Dimensionalit y 96 99 151 152AI 48 153 154 155 156 157 158 AI AI AI APP 5.4 AI SDL AI SDL AI AI 7 SDL 5.4.1 AI SDL AI DeepXplore 159 DLF uzz 160 DeepXplore DL- F uzzAI 49 DeepGauge 161 DeepHun ter 161 6 AI 1) 162 F o olb o x 163 Nicolae 164 A dv ersarial Robustness T o olb o x P ap ernot Go o dfello w Python Clev erhans165 RealSafe 2) 166 167 168 169 170 171 172 173 174 175 176 Lecuy er 177 Cohen 178 Random Smo othing l 2 ImageNetAI 50 179 180 1000 181 182 183 Metamorphic Relation P atterns Metamorphic Relation Input P atterns 184 AI AI AI AI AI AIAI 51 AI 1) 4.1.1 2) AI A ctiv ation MapAI 52 AI 95 96 98 99 113 AI 103 185 PGD F GSM PGD F GSM 92 , 101 F GSM JSMA Y e 186AI 53 86 87 88 109 5.4.2 AI 5.4.3 AI SDL AIAI AI AI AI AI 541 Nilesh N. Dalvi, P edro M. Domingos, Mausam, Sumit K. Sanghai, and Deepak V erma. A dv ersarial classification. In Pr o c e e dings of the T enth A CM SIGKDD International Confer enc e on K now le dge Disc overy and Data Mining, Se attle, W ashington, USA, A ugust 22-25, 2004 , pages 99108, 2004. 2 Tian yu Gu, Brendan Dolan-Ga vitt, and Siddharth Garg. Badnets: Iden- tifying vulnerabilities in the mac hine learning mo del supply c hain. CoRR , abs/1708.06733, 2017. 3 Christian Szegedy , W o jciec h Zarem ba, Ily a Sutsk ev er, Joan Bruna, Dumitru Er- han, Ian Go o dfello w, and Rob F ergus. In triguing prop erties of neural net w orks. arXiv pr eprint arXiv:1312.6199 , 2013. 4 Kevin Eykholt, Iv an Evtimo v, Earlence F ernandes, Bo Li, Amir Rahmati, Chao w ei Xiao, A tul Prakash, T ada y oshi K ohno, and Da wn Song. Robust ph ysical-w orld attac ks on deep learning visual classification. In 2018 IEEE Con- fer enc e on Computer V ision and Pattern R e c o gnition, CVPR 2018, Salt L ake City, UT, USA, June 18-22, 2018 , pages 16251634. IEEE Computer So ciet y , 2018. 5 T encen t Keen Securit y Lab. Exp erimen tal securit y researc h of tesla autopi- lot, 2019. Keen- S ecurity- Lab- Experimental- Security- Research- of- Tesla- Autopilot/ . 6 Matt F redrikson, Somesh Jha, and Thomas Ristenpart. Mo del in v ersion attac ks that exploit confidence information and basic coun termeasures. In Pr o c e e dings of the 22nd A CM SIGSA C Confer enc e on Computer and Communic ations Se curity, Denver, CO, USA, Octob er 12-16, 2015 , pages 13221333. A CM, 2015. 7 Florian T ramr, F an Zhang, Ari Juels, Mic hael K. Reiter, and Thomas Risten- part. Stealing mac hine learning mo dels via prediction apis. In 25th USENIX 5556 Se curity Symp osium, USENIX Se curity 16, A ustin, TX, USA, A ugust 10-12, 2016 , pages 601618. USENIX Ass o ciation, 2016. 8 Nicolas P ap ernot, P atric k D. McDaniel, Ian J. Go o dfello w, Somesh Jha, Z. Berka y Celik, and Anan thram Sw ami. Practical blac k-b o x attac ks against mac hine learning. In Pr o c e e dings of the 2017 A CM on A sia Confer enc e on Computer and Communic ations Se curity, A siaCCS 2017, A bu Dhabi, Unite d A r ab Emir ates, A pril 2-6, 2017 , pages 506519. A CM, 2017. 9 Bry an t Chen, Wilka Carv alho, Nathalie Baracaldo, Heik o Ludwig, Benjamin Edw ards, T aesung Lee, Ian Mollo y , and Bipla v Sriv asta v a. Detecting bac kdo or attac ks on deep neural net w orks b y activ ation clustering. In W orkshop on A rti- ficial Intel ligenc e Safety 2019 c o-lo c ate d with the Thirty-Thir d AAAI Confer enc e on A rtificial Intel ligenc e 2019 (AAAI-19), Honolulu, Hawaii, January 27, 2019 , v olume 2301 of CEUR W orkshop Pr o c e e dings . CEUR-WS, 2019. 10 Kang Liu, Brendan Dolan-Ga vitt, and Siddha