‫ﺑﺴﻤﻪ ﺗﻌﺎﻟ‬
‫اﻟ ﻮﺷﻨﺎﺳ آﻣﺎری‬
‫ﻧﯿﻢﺳﺎل دوم ‪٩١-٩٢‬‬
‫دﮐﺘﺮ رﺑﯿﻌ‬
‫داﻧﺸ ﺪه ﻣﻬﻨﺪﺳ ﮐﺎﻣﭙﯿﻮﺗﺮ‬
‫ﺗﻤﺮﯾﻦ ﭼﻬﺎرم‬
‫زﻣﺎن ﺗﺤﻮﯾﻞ‪ ٩ :‬اردﯾﺒﻬﺸﺖ‬
‫ﻣﺎﺷﯿﻦﻫﺎﯼ ﺑﺮﺩﺍﺭ ﭘﺸﺘﯿﺒﺎﻥ ﻭ ﺭ ﻭﺵﻫﺎﯼ ﺑﺮ ﭘﺎﯾﻪ ﻫﺴﺘﻪ‬
‫‪ .١‬در ﺻﻮرﺗ ﮐﻪ ‪ c‬ﻋﺪدی ﺛﺎﺑﺖ وﺑﺰرﮔﺘﺮ از ﺻﻔﺮ و )‪ f (.‬ﺗﺎﺑﻌ دﻟﺨﻮاه و ) ‪ k۱ (x, x′‬و ) ‪ k۲ (x, x′‬ﮐﺮﻧﻞﻫﺎی ﻣﻌﺘﺒﺮی ﺑﺎﺷﻨﺪ ﺑﺎ اﺳﺘﻔﺎده‬
‫از ﺗﻌﺮﯾﻒ ﻧﺸﺎن دﻫﯿﺪ ﮐﻪ ﮐﺮﻧﻞﻫﺎی زﯾﺮ ﻧﯿﺰ ﻣﻌﺘﺒﺮ ﻫﺴﺘﻨﺪ‪.‬‬
‫)آ( ) ‪k(x, x′ ) = ck۱ (x, x′‬‬
‫)ب( ) ‪k(x, x′ ) = f (x)k۱ (x, x′ )f (x′‬‬
‫)ج( ) ‪k(x, x′ ) = k۱ (x, x′ ) + k۲ (x, x′‬‬
‫)د( ) ‪k(x, x′ ) = k۱ (x, x′ )k۲ (x, x′‬‬
‫‪′ ۲‬‬
‫∥‬
‫‪ k(x, x′ ) = exp( −∥x−x‬ﻣﻌﺘﺒﺮ اﺳﺖ‪ .‬ﺳﭙﺲ ﺑﻪ ﺳﻮاﻻت زﯾﺮ‬
‫‪ .٢‬ﺑﺎ اﺳﺘﻔﺎده روشﻫﺎی ﺳﺎﺧﺖ ﮐﺮﻧﻞ ﻧﺸﺎن دﻫﯿﺪ ﮐﺮﻧﻞ ﮔﻮﺳ )‬
‫‪۲σ ۲‬‬
‫ﭘﺎﺳ دﻫﯿﺪ‪:‬‬
‫)آ( ﺑﻌﺪ دادهﻫﺎ در ﻓﻀﺎی ﺟﺪﯾﺪ ﭼﻨﺪ اﺳﺖ‪.‬‬
‫)ب( ﺛﺎﺑﺖ ﮐﻨﯿﺪ ﻓﺎﺻﻠﻪ دو ﻧﻘﻄﻪ در ﻓﻀﺎی ﺟﺪﯾﺪ ﺑﻌﺪ از اﻋﻤﺎل ﻧ ﺎﺷﺖ ﻣﺮﺗﺒﻂ ﺑﺎ ﮐﺮﻧﻞ ﮔﻮﺳ ﮐﻤﺘﺮ از ‪ ٢‬ﺧﻮاﻫﺪ ﺑﻮد‪.‬‬
‫‪ .٣‬ﺑﺎ اﺳﺘﻔﺎده از ﻗﻀﯿﻪ ‪ Mercer‬ﻧﺸﺎن دﻫﯿﺪ ﮐﻪ ﺗﺎﺑ ) ‪ k(x, x′‬ﯾ‬
‫ﻫﺴﺘﻪ ﻣﻌﺘﺒﺮ اﺳﺖ‪.‬‬
‫) ‪ϕi (x)ϕi (x′‬‬
‫∞‬
‫∑‬
‫= ) ‪k(x, x′‬‬
‫‪i=۱‬‬
‫‪ .۴‬ﻓﺮض ﮐﻨﯿﺪ ‪ M‬ﻣﺠﻤﻮﻋﻪ ای ﺛﺎﺑﺖ ﺷﺎﻣﻞ اﻋﻀﺎی دﻟﺨﻮاه )ﻋﺪدی و ﯾﺎ ﻏﯿﺮ ﻋﺪدی( ﺑﻮده و ﻓﻀﺎی ﺗﻤﺎﻣ زﯾﺮﻣﺠﻤﻮﻋﻪ ﻫﺎی ﻣﻤ ﻦ‬
‫‪ M‬را ﺑﺎ ‪ A‬ﻧﻤﺎﯾﺶ دﻫﯿﻢ‪ .‬اﮔﺮ ‪ A۱‬و ‪ A۲‬دو ﻋﻀﻮ از ‪ A‬ﺑﺎﺷﻨﺪ‪ ،‬ﺑﺎ ﺑﺪﺳﺖ آوردن ﺗﺎﺑ ﻧ ﺎﺷﺖ ﺛﺎﺑﺖ ﮐﻨﯿﺪ ﮐﻪ ﺗﺎﺑ زﯾﺮ ﯾ ﻫﺴﺘﻪ‬
‫ﻣﻌﺘﺒﺮ ﻣ ﺑﺎﺷﺪ‪ |.| ) .‬ﻧﻤﺎد ﺗﻌﺪاد اﻋﻀﺎی ﯾ ﻣﺠﻤﻮﻋﻪ ﻣ ﺑﺎﺷﺪ‪(.‬‬
‫| ‪k(A۱ , A۲ ) = ۲|A۱ ∩A۲‬‬
‫‪ .۵‬ﻓﺮض ﮐﻨﯿﺪ ‪ x‬و ‪ x′‬دو ﺑﺮدار ‪ n‬ﺑﻌﺪی ﺣﻘﯿﻘ ﺑﺎﺷﻨﺪ‪ .‬اﮔﺮ ﺷﺒﺎﻫﺖ اﯾﻦ دو ﺑﺮدار را ﺑﻪ ﺻﻮرت ﺗﻌﺪاد اﺑﻌﺎدی ﺗﻌﺮﯾﻒ ﻧﻤﺎﯾﯿﻢ‪ ،‬ﮐﻪ‬
‫دراﯾﻪ ﻫﺎی ﻫﺮ دو ﺑﺮدار از ﻣﻘﺪار ﺣﻘﯿﻘ ﺛﺎﺑﺖ ‪ c‬ﺑﺰرﮔﺘﺮ ﺑﺎﺷﻨﺪ‪ ،‬ﺑﺎ ﯾﺎﻓﺘﻦ ﺗﺎﺑ ﻧ ﺎﺷﺖ‪ ،‬ﺛﺎﺑﺖ ﻧﻤﺎﯾﯿﺪ ﮐﻪ اﯾﻦ ﺗﺎﺑ ﺷﺒﺎﻫﺖ ﯾ ﻫﺴﺘﻪ‬
‫ﻣﻌﺘﺒﺮ ﻣ ﺑﺎﺷﺪ‪.‬‬
‫‪ .۶‬ﺑﺮای ﯾ ﻣﺠﻤﻮﻋﻪ داده ﻣﺸﺨﺺ‪ ٩ ،‬دﯾﺎﮔﺮام ﺣﺎﺻﻞ از ‪ SVM‬ﺑﺎ ﮐﺮﻧﻞﻫﺎی ﻣﺨﺘﻠﻒ ﺷﺪه در ﺟﺪول زﯾﺮ را در ﻧﻈﺮ ﺑ ﯿﺮﯾﺪ‪ .‬در‬
‫ﺟﺪول داده ﺷﺪه‪ ،‬ﻣﺸﺨﺺ ﮐﻨﯿﺪ ﮐﻪ ﻫﺮ دﯾﺎﮔﺮام ﻣ ﺗﻮاﻧﺪ ﺗﻮﺳﻂ ﮐﺪام ﯾ از ﮐﺮﻧﻞﻫﺎ زﯾﺮ اﯾﺠﺎد ﺷﻮد؟‬
‫‪k۲ (x, x′ ) = (۱ + xT x′ )۲‬‬
‫‪−∥x − x′ ∥۲‬‬
‫)‬
‫‪۰٫ ۵‬‬
‫(‪k۵ (x, x′ ) = exp‬‬
‫‪−∥x − x′ ∥۲‬‬
‫‪),‬‬
‫‪۰٫ ۲۲‬‬
‫‪١‬‬
‫‪k۱ (x, x′ ) = xT x′ ,‬‬
‫(‪k۴ (x, x′ ) = exp‬‬
‫‪−∥x − x′ ∥۲‬‬
‫‪),‬‬
‫‪۰٫ ۰۸‬‬
‫(‪k۳ (x, x′ ) = exp‬‬
‫‪ .٧‬دﯾﺎﮔﺮامﻫﺎی زﯾﺮ ﻣﺠﻤﻮﻋﻪ دادهﻫﺎی ﻣﺠﺰاﯾ را ﻧﻤﺎﯾﺶ ﻣ دﻫﻨﺪ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﮐﺮﻧﻞﻫﺎی ‪ (۱ + xT x′ )۲ ،xT x′‬و ‪ RBF‬ﺑﺎ‬
‫‪ σ = ۰٫ ۱‬و ‪ σ = ۲‬را داﺷﺘﻪ ﺑﺎﺷﯿﻢ‪ .‬ﺑﺮای ﻫﺮ دﯾﺎﮔﺮام‪ ،‬ﺳﺎدهﺗﺮﯾﻦ ﮐﺮﻧﻠ ﮐﻪ ﺗﻤﺎﻣ دادهﻫﺎ را ﺑﺪرﺳﺘ ﮐﻼﺳﻪﺑﻨﺪی ﻣ ﮐﻨﺪ‪،‬‬
‫ﺗﻌﺪاد ﺑﺮدارﻫﺎی ﭘﺸﺘﯿﺒﺎن ﻣﺮز ﺗﺼﻤﯿﻢﮔﯿﺮی و ﺣﺎﺷﯿﻪﻫﺎی اﻣﻨﯿﺖ ﻣﺮﺑﻮﻃﻪ را ﻣﺸﺨﺺ ﻧﻤﺎﯾﯿﺪ‪.‬‬
‫‪ .٨‬ﻣﺠﻤﻮﻋﻪ ﻧﻘﺎط زﯾﺮ از دو ﮐﻼس ‪ C۱‬و ‪ C۲‬را در ﻓﻀﺎی دوﺑﻌﺪی در ﻧﻈﺮ ﺑ ﯿﺮﯾﺪ‪.‬‬
‫}] [ ] [ ] [{‬
‫}] [ ] [{‬
‫‪۳‬‬
‫‪۳‬‬
‫‪۱‬‬
‫‪۵‬‬
‫‪۷‬‬
‫= ‪C۱‬‬
‫‪,‬‬
‫‪,‬‬
‫= ‪, C۲‬‬
‫‪,‬‬
‫‪۳‬‬
‫‪۵‬‬
‫‪۲‬‬
‫‪۱‬‬
‫‪۲‬‬
‫ﺑﺮای ﯾ‬
‫ﻃﺒﻘﻪ ﺑﻨﺪ ‪ Hard SVM‬ﺧﻄ ‪،‬‬
‫)آ( ﺑﺮدارﻫﺎی ﭘﺸﺘﯿﺒﺎن را ﻣﺸﺨﺺ ﻧﻤﺎﯾﯿﺪ‪.‬‬
‫)ب( ﺿﺮاﯾﺐ ﻻﮔﺮاﻧﮋ را ﺑﺮای ﮐﻠﯿﻪ ﻧﻘﺎط ﻣﺤﺎﺳﺒﻪ ﮐﻨﯿﺪ‪.‬‬
‫)ج( ﻣﺮز ﻃﺒﻘﻪ ﺑﻨﺪی را ﺑﺪﺳﺖ آورﯾﺪ‪.‬‬
‫‪ .٩‬ﻣﺴﺄﻟﻪ ﻃﺒﻘﻪ ﺑﻨﺪی ﯾ‬
‫ﺑﻌﺪی ﺑﺎ ﻣﺠﻤﻮﻋﻪ داده و ﮐﻼس ﻫﺎی زﯾﺮ را در ﻧﻈﺮ ﺑ ﯿﺮﯾﺪ‪.‬‬
‫}] [ ]‬
‫‪+۱‬‬
‫‪−۱‬‬
‫‪,‬‬
‫‪+۱‬‬
‫‪−۱‬‬
‫ﻓﺮض ﮐﻨﯿﺪ ﺑﺮای ﻃﺒﻘﻪ ﺑﻨﺪی از ﯾ‬
‫ﻧﻤﺎﯾﺶ ﻣ دﻫﯿﻢ‪.‬‬
‫}]‬
‫[{‬
‫=‬
‫‪Data‬‬
‫‪Class‬‬
‫[{‬
‫‪ Soft SVM‬ﺑﺎ ﺗﺎﺑ ‪ Hinge‬اﺳﺘﻔﺎده ﻧﻤﺎﯾﯿﻢ‪ .‬ﻣﺮز اﯾﻦ دﺳﺘﻪ ﺑﻨﺪ را ﺑﻪ ﺻﻮرت ‪wx + b = ۰‬‬
‫)آ( ﻓﺮم اﺳﺘﺎﻧﺪارد ﻣﺴﺄﻟﻪ ﺑﻬﯿﻨﻪ ﺳﺎزی ‪ QP‬را ﻫﻤﺮاه ﺑﺎ ﻣﺘﻐﯿﺮ ﻫﺎی ‪ slack‬ﺑﺮای اﯾﻦ ﻣﺴﺄﻟﻪ ﺑﻨﻮﯾﺴﯿﺪ‪.‬‬
‫‪٢‬‬
‫)ب( اﮔﺮ ﺑﺪاﻧﯿﻢ ‪ w‬ﺑﻬﯿﻨﻪ ﺑﻪ ﺻﻮرت )‪ w∗ = min(C, ۱‬ﺑﺎﺷﺪ )ﮐﻪ در آن ‪ C‬ﺿﺮﯾﺐ ﻣﺘﻐﯿﺮﻫﺎی ‪ slack‬اﺳﺖ(‪ ،‬ﻣﻘﺪار ﺑﻬﯿﻨﻪ ‪ b‬را‬
‫ﺑﺮ ﺣﺴﺐ ‪ C‬ﺑﺪﺳﺖ آورﯾﺪ‪.‬‬
‫ﻳﻚ ﻣﺠﻤﻮﻋﻪ از ﺗﺼﺎوﻳﺮ ارﻗﺎم دﺳﺘﻨﻮﻳﺲ اﻧ ﻠﻴﺴ را در ﻧﻈﺮ ﺑ ﻴﺮﻳﺪ )ﻣﺠﻤﻮﻋﻪ اﺳﺘﺎﻧﺪارد ‪ .(USPS‬ﻫﺮ ﺗﺼﻮﻳﺮ ﺑﻪ ﺻﻮرت‬
‫‪.١٠‬‬
‫ﻳﻚ ﻣﺎﺗﺮﻳﺲ ‪ ٢٨×٢٨‬ﻧﺸﺎن داده ﻣ ﺷﻮد‪ .‬ﻣ ﺗﻮان ﺑﺎ ﺳﻄﺮی ﻛﺮدن‪ ،‬ﻫﺮ ﺗﺼﻮﻳﺮ را ﺑـﻪ ﺻـﻮرت ﻳـﻚ ﺑـﺮدار ‪ ١×٧٨۴‬ﻧﻤـﺎﻳﺶ‬
‫داد‪ .‬ﻫﺪف ﺗﺸﺨﻴﺺ رﻗﻢ ﻣﺘﻨﺎﻇﺮ ﺑﺎ ﻳﻚ ﺗﺼﻮﻳﺮ اﺳﺖ‪ .‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ اﻳﻨ ﻪ در اﻳﻦ ﻣﺴﺌﻠﻪ ‪ ١٠‬ﻛﻼس ﻣﺨﺘﻠﻒ وﺟﻮد دارد‪ ،‬از روش‬
‫‪ One-Against-All‬ﺑﺮای ﺟﺪاﺳﺎزی اﺳﺘﻔﺎده ﻣ ﻛﻨـﻴﻢ‪ .‬ﻫﻤﭽﻨﻴﻦ ﻗﺒﻞ از اﻋﻤﺎل داده ﻫﺎ ﺑﻪ روش ﻫﺎی ﻳﺎدﮔﻴﺮی‪ ،‬از ﺳﻔﻴﺪ ﻛﺮدن‬
‫داده ﻫﺎ ) ‪ (Whitening‬ﺑﺎ‪ ۵٠‬ﺑﻌﺪ اول اﺳﺘﻔﺎده ﺷﻮد‪ .‬ﺑﺮای دﺳﺘﻪ ﺑﻨﺪی داده از دو روش زﯾﺮ اﺳﺘﻔﺎده و آﻧﻬﺎ را ﺑﺎ ﻫﻢ ﻣﻘﺎﻳﺴﻪ ﻛﻨﻴﺪ‬
‫‪:‬‬
‫)آ( ‪ SVM‬ﺑﺎ ﻫﺴﺘﻪ ﺧﻄ‬
‫)ب( ‪ SVM‬ﺑﺎ ﻫﺴﺘﻪ ‪RBF‬‬
‫در اﻳﻦ ﭘﺎﻳ ﺎه داده ﻫﺎ‪ ۶٠٠٠٠ ،‬ﺗﺼﻮﻳﺮ وﺟﻮد دارد‪ .‬ﺑﺮای ﻫﺮ روش آزﻣﺎﻳﺶ ﻫﺎی زﻳﺮ را ﺗﺮﺗﻴﺐ دﻫﻴﺪ ‪:‬‬
‫)آ( ﺗﻌﺪاد داده آﻣﻮزﺷ ‪ ٢٠٠٠‬ﺑﺎﺷﺪ‪.‬‬
‫)ب( ﺗﻌﺪاد داده آﻣﻮزﺷ ‪ ١٠٠٠‬ﺑﺎﺷﺪ‪.‬‬
‫)ج( ﺗﻌﺪاد داده آﻣﻮزﺷ ‪ ٢٠٠‬ﺑﺎﺷﺪ‪.‬‬
‫ﺑﺮاي ﻫﺮ آزﻣﺎﻳﺶ از ‪ Cross-Validation‬ﺑﺎ ﻣﺠﻤﻮﻋﻪ ‪ ١٠٠ Validation‬ﺗﺎﯾ ﺑﺮای ﺑﺪﺳﺖ آوردن ‪ C‬ﺑﻬﻴﻨﻪ ‪ SVM‬و ﭘﻬﻨـﺎی ﺑﺎﻧﺪ‬
‫ﺑﻬﻴﻨﻪ ‪ SVM‬در ﺣﺎﻟﺖ ﻫﺴﺘﻪ ‪ RBF‬اﺳﺘﻔﺎده ﻛﻨﻴﺪ‪.‬‬
‫ﻫﺮ آزﻣﺎﻳﺶ را ‪ ١٠‬ﺑﺎر ﺗ ﺮار ﻛﻨﻴﺪ )ﺑﺎ داده ﻫﺎی آﻣﻮزﺷ ﺗﺼﺎدﻓ (‪.‬‬
‫)آ( ﻣﻴﺎﻧ ﻴﻦ دﻗﺖ ﻫﺮ روش را ﺑﺪﺳﺖ آورﻳﺪ‪.‬‬
‫)ب( ‪Support Vector‬ﻫﺎ در ‪ SVM‬را ﺑﺮای ﯾ‬
‫ﺧﺎﺻ دارﻧﺪ ﻳﺎ ﺧﻴﺮ‪.‬‬
‫از اﺟﺮاﻫﺎ ﻧﻤﺎﻳﺶ دﻫﻴﺪ‪ .‬آﻳﺎ اﻳﻦ داده ﻫﺎ ﺑﺎ داده ﻫﺎی دﻳ ﺮ ﻳﺎدﮔﻴﺮی ﺗﻔﺎوت‬
‫)ج( ﻣﺘﻮﺳﻂ ﻣﻘﺪار ‪Margin‬ﻣﺎﺑﯿﻦ ﻣﺮزﻫﺎی ﺑﺪﺳﺖ آﻣﺪه و ‪ ١٠‬اﺟﺮا‪ ،‬ﺑﺮای ﻫﺮ دو ﺣﺎﻟﺖ ‪ SVM‬ﺧﻄ و ‪ SVM‬ﺑﺎ ﻫﺴﺘﻪ ‪RBF‬‬
‫را ﺑﻪ ﻃﻮر ﺟﺪاﮔﺎﻧﻪ ﻣﺤﺎﺳﺒﻪ ﮐﻨﯿﺪ‪.‬‬
‫)د( آﻳﺎ اﺳﺘﻔﺎده از ﻫﺴﺘﻪ ‪ RBF‬ﺑﻬﺒﻮدی ﻧﺴﺒﺖ ﺑﻪ ﺣﺎﻟﺖ ﺧﻄ ‪ SVM‬اﻳﺠﺎد ﻣ ﻛﻨﺪ؟‬
‫‪٣‬‬