‫ﺑﺴﻤﻪ ﺗﻌﺎﻟﻲ‬
‫اﻟﮕﻮﺷﻨﺎﺳﻲ آﻣﺎري ‪) 40-725‬ﮔﺮوه ‪(2‬‬
‫ﻧﻴﻤﺴﺎل دوم ‪91-92‬‬
‫ﺗﻤﺮﻳﻦ ﺳﺮي ﺳﻮم‪ :‬دﺳﺘﻪﺑﻨﺪي ﻏﻴﺮ ﺧﻄﻲ‬
‫ﻣﺪرس‪ :‬ﺳﻠﻴﻤﺎﻧﻲ‬
‫ﻣﻮﻋﺪ ﺗﺤﻮﻳﻞ‪ 8 :‬اردﻳﺒﻬﺸﺖ ‪92‬‬
‫ﻧﻤﺮه از ‪5+100‬‬
‫ﺳﻮال ‪ 14) 1‬ﻧﻤﺮه(‪ :‬ﺗﺎﺑﻊ ﻫﺴﺘﻪ )‪(kernel‬‬
‫‪ .1.1‬اﮔﺮ ) ‪ ( ,‬ﻳﻚ ﻫﺴﺘﻪي ﻣﻌﺘﺒﺮ )‪ (valid‬ﺑﺎﺷﺪ‪:‬‬
‫‪ 2) .a‬ﻧﻤﺮه( ﻧﺸﺎن دﻫﻴﺪ ﺑﻪ ازاي ﻫﺮ ﺗﺎﺑﻊ ) ‪ (.‬ﻫﺴﺘﻪي )‪ ( ) ( , ) ( ′‬ﻣﻌﺘﺒﺮ اﺳﺖ‪.‬‬
‫‪ 2) .b‬ﻧﻤﺮه( ﻫﻤﭽﻨﻴﻦ ﻧﺸﺎن دﻫﻴﺪ ﻫﺴﺘﻪي ) ‪ exp ( ,‬ﻧﻴﺰ ﻫﺴﺘﻪاي ﻣﻌﺘﺒﺮ اﺳﺖ‪.‬‬
‫‪ 3) .c‬ﻧﻤﺮه( ﺑﺎ اﺳﺘﻔﺎده از ﺑﻨﺪﻫﺎي ‪ a‬و ‪ b‬ﻧﺸﺎن دﻫﻴﺪ ﻛﻪ ﻫﺴﺘﻪي ﮔﺎوﺳﻲ ﻫﺴﺘﻪي ﻣﻌﺘﺒﺮي اﺳﺖ‪.‬‬
‫‪ 3) .2.1‬ﻧﻤﺮه( ﻓﺮض ﻛﻨﻴﺪ ) (‬
‫)‪) = ( ′‬‬
‫‪ ( ,‬و) (‬
‫)‪) = ( ′‬‬
‫‪( ,‬‬
‫ﺑﺎﺷﺪ‪ .‬ﭼﻪ راﺑﻄﻪاي ﺑﻴﻦ اﺑﻌﺎد‬
‫و‬
‫ﺑﺮﻗﺮار‬
‫اﺳﺖ؟‬
‫‪ 4) .3.1‬ﻧﻤﺮه( ﻳﻚ ﻓﻀﺎي وﻳﮋﮔﻲ اوﻟﻴﻪ ‪-‬ﺑﻌﺪي در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ‪ .‬اﻋﻤﺎل ﻳﻚ ﻫﺴﺘﻪي ﭼﻨﺪﺟﻤﻠﻪاي درﺟﻪ ‪ 2‬ﺑﻪ ﺻﻮرت‬
‫)‪+ 1‬‬
‫( = ) ‪ ( ,‬ﻣﻌﺎدل ﺑﺎ اﻧﺘﻘﺎل ﺑﻪ ﻳﻚ ﻓﻀﺎي وﻳﮋﮔﻲ ﺟﺪﻳﺪ ) ( ﺧﻮاﻫﺪ ﺷﺪ ﻛﻪ ) ( )‪. ( , ) = ( ′‬‬
‫ﻓﻀﺎي وﻳﮋﮔﻲ ﻣﺘﻨﺎﻇﺮ ﺑﺎ ﻫﺴﺘﻪي ﭼﻨﺪﺟﻤﻠﻪاي درﺟﻪ ‪ 2‬ﭼﻨﺪﺑﻌﺪي ﺧﻮاﻫﺪ ﺑﻮد؟ ﺑﺮاي ﻫﺴﺘﻪي ﭼﻨﺪ ﺟﻤﻠﻪاي درﺟﻪ‬
‫)‪+ 1‬‬
‫( = ) ‪ ( ,‬اﻳﻦ ﻓﻀﺎ ﭼﻨﺪ ﺑﻌﺪي اﺳﺖ؟‬
‫ﺳﻮال ‪ 20) 2‬ﻧﻤﺮه(‪Kernel SVM :‬‬
‫‪ .1.2‬ﻣﺠﻤﻮﻋﻪ دادهي ﻣﻮﺟﻮد در ﺷﻜﻞ زﻳﺮ را در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ‪:‬‬
‫‪ 3) .a‬ﻧﻤﺮه( ﭼﻨﺎنﭼﻪ ﺑﺮاي دﺳﺘﻪﺑﻨﺪي از ‪ SVM‬ﺣﺎﺷﻴﻪ ﺳﺨﺖ )‪ (hard margin‬ﺑﺎ ﻫﺴﺘﻪي ﭼﻨﺪﺟﻤﻠﻪاي اﺳﺘﻔﺎده ﺷﻮد‪،‬‬
‫ﺣﺪاﻗﻞ ﭼﻪ درﺟﻪاي ﺑﺮاي ﭼﻨﺪﺟﻤﻠﻪاي ﭘﻴﺸﻨﻬﺎد ﻣﻲﻧﻤﺎﻳﻴﺪ؟ ﺗﻮﺿﻴﺢ دﻫﻴﺪ‪.‬‬
‫‪ 2) .b‬ﻧﻤﺮه( ﺑﺮدارﻫﺎي ﭘﺸﺘﻴﺒﺎن )‪ (support vectors‬را در ﺑﻨﺪ ‪ a‬ﻣﺸﺨﺺ ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫‪.c‬‬
‫)‪ 3‬ﻧﻤﺮه( راﺑﻄﻪي ﻣﺮﺑﻮط ﺑﻪ ﻣﺮز ﺣﺎﺻﻞ را ﺑﺮ ﺣﺴﺐ ‪ ،x‬ﻣﺤﻞ و ﺿﺮاﻳﺐ ﺑﺮدارﻫﺎي ﭘﺸﺘﻴﺒﺎن ﻣﺸﺨﺺ ﺷﺪه در ﺑﻨﺪ ‪b‬‬
‫ﺗﻌﻴﻴﻦ ﻛﻨﻴﺪ‪.‬‬
‫‪ .2.2‬ﻣﺠﻤﻮﻋﻪ دادهي ﻣﻮﺟﻮد در ﺑﻨﺪ ﻗﺒﻞ را در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ‪ .‬ﻓﺮض ﻛﻨﻴﺪ ﭘﺲ از درﻳﺎﻓﺖ دادهﻫﺎ ﻣﺤﺪودهي آنﻫﺎ در ﺑﺎزهي ]‪[0,1‬‬
‫ﺗﻨﻈﻴﻢ ﺷﺪه اﺳﺖ‪:‬‬
‫‪ 3) .a‬ﻧﻤﺮه( اﮔﺮ ﻗﺼﺪ داﺷﺘﻪ ﺑﺎﺷﻴﺪ از ﻫﺴﺘﻪي ﮔﺎوﺳﻲ در ‪ SVM‬اﺳﺘﻔﺎده ﻧﻤﺎﻳﻴﺪ‪ ،‬از ﺑﻴﻦ ﻣﺠﻤﻮﻋﻪ ﻣﻘﺎدﻳﺮ‬
‫}‪ {0.001,0.01,0.1,0.3,0.5,1‬ﺑﺮاي ﭘﺎراﻣﺘﺮ ﮔﺎوﺳﻲ ﻛﺪام ﻣﻘﺪار )ﻳﺎ ﻣﻘﺎدﻳﺮ( را ﻣﻨﺎﺳﺐ ﻣﻲداﻧﻴﺪ )ﺗﻮﺿﻴﺢ(‪.‬‬
‫‪ 2) .b‬ﻧﻤﺮه( اﻧﺘﺨﺎب ﭘﺎراﻣﺘﺮ ﭼﻪ ﺗﺎﺛﻴﺮي در ﻣﺮز ﺣﺎﺻﻞ و ﻣﻘﺪار ﺣﺎﺷﻴﻪ ﺧﻮاﻫﺪ داﺷﺖ؟‬
‫ﻣﻨﺎﺳﺐ( در ‪ SVM‬ﺑﺮ روي ﻫﺮ‬
‫‪ 2) .c‬ﻧﻤﺮه( در ﺣﺎﻟﺖ ﻛﻠﻲ آﻳﺎ ﻫﻤﻴﺸﻪ ﻣﻲﺗﻮان ﺑﺎ ﺑﻪﻛﺎرﮔﻴﺮي ﻫﺴﺘﻪي ﮔﺎوﺳﻲ )ﺑﺎ‬
‫ﻣﺠﻤﻮﻋﻪ دادهاي ﺑﻪ ﺧﻄﺎي آﻣﻮزش ﺻﻔﺮ رﺳﻴﺪ )ﺗﻮﺿﻴﺢ(؟‬
‫‪ 2) .d‬ﻧﻤﺮه( آﻳﺎ در ﺣﺎﻟﺖ ﻛﻠﻲ از ﺑﻴﻦ ﻣﻘﺎدﻳﺮ ﻣﺨﺘﻠﻒ ﭘﺎراﻣﺘﺮ ‪ ،‬ﻣﻘﺪاري ﻛﻪ ﻣﻨﺠﺮ ﺑﻪ ﺣﺎﺷﻴﻪي ﺑﺰرﮔﺘﺮ ﻣﻲﺷﻮد‪ ،‬ﻣﻘﺪار‬
‫ﺑﻬﺘﺮي اﺳﺖ؟‬
‫‪ 3) .3.2‬ﻧﻤﺮه( ﻓﺮض ﻛﻨﻴﺪ ﺑﺮاي ﺟﺪاﺳﺎزي ﺧﻄﻲ ﻳﻚ ﻣﺠﻤﻮﻋﻪ داده ﺑﺎ اﺳﺘﻔﺎده از روش ‪ SVM‬از ﻫﺴﺘﻪ ) ‪ ( ,‬اﺳﺘﻔﺎده‬
‫ﻛﺮدهاﻳﻢ‪ .‬ﺣﺎل اﮔﺮ از ﻫﺴﺘﻪ‬
‫‪)+‬‬
‫‪( ,‬‬
‫) و ﺿﺮاﻳﺐ ﺛﺎﺑﺖ و‬
‫و ﻣﻴﺰان ﺣﺎﺷﻴﻪ ﺧﻂ ﺟﺪاﺳﺎز و ﻣﻘﺎدﻳﺮ ﺿﺮاﻳﺐ‬
‫ﻣﺜﺒﺖ اﺳﺖ( اﺳﺘﻔﺎده ﻛﻨﻴﻢ ﭼﻪ ﺗﻐﻴﻴﺮي در ﻣﺮز ﺟﺪاﻳﻲ‬
‫اﻳﺠﺎد ﻣﻲﺷﻮد؟‬
‫ﺳﻮال ‪ 16) 3‬ﻧﻤﺮه(‪ :‬ﻣﺴﺎﻟﻪي دوﮔﺎن )‪(dual problem‬‬
‫‪ 5) .1.3‬ﻧﻤﺮه( ﻣﺴﺎﻟﻪي ﺑﻬﻴﻨﻪﺳﺎزي ‪ SVM‬ﺣﺎﺷﻴﻪ ﻧﺮم )‪ (soft margin‬را در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ‪:‬‬
‫‪min ‖ ‖ +‬‬
‫‪≥1−‬‬
‫‪= 1, … ,‬‬
‫‪,‬‬
‫‪,‬‬
‫‪+‬‬
‫)(‬
‫)(‬
‫‪s. t.‬‬
‫ﻧﺸﺎن دﻫﻴﺪ ﻣﺴﺎﻟﻪي دوﮔﺎن آن ﺑﻪ ﺻﻮرت زﻳﺮ اﺳﺖ‪:‬‬
‫) (‬
‫‪1‬‬
‫‪2‬‬
‫)( ) ( )(‬
‫‪=0‬‬
‫)(‬
‫‪max‬‬
‫‪−‬‬
‫‪s. t.‬‬
‫‪≤ ,‬‬
‫‪= 1, … ,‬‬
‫≤‪0‬‬
‫‪ .2.3‬دوﮔﺎن ﭘﺮﺳﭙﺘﺮون‪ :‬ﻗﺎﻧﻮن ﻳﺎدﮔﻴﺮي ﭘﺮﺳﭙﺘﺮون ﻛﻪ ﺑﻪ ﺻﻮرت زﻳﺮ اﺳﺖ را در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ‪:‬‬
‫)( )(‬
‫‪+‬‬
‫=‬
‫‪ 3) .a‬ﻧﻤﺮه( ﻧﺸﺎن دﻫﻴﺪ ﻛﻪ در دﺳﺘﻪﺑﻨﺪ ﭘﺮﺳﭙﺘﺮون‪ ،‬ﺑﺮدار وزن‬
‫)( )(‬
‫ﻧﻮﺷﺖ )}‪∈ {1,1‬‬
‫)(‬
‫(‪ .‬ﺿﺮاﻳﺐ‬
‫را در ﺗﺮﻛﻴﺐ ﺧﻄﻲ‬
‫‪ 2) .b‬ﻧﻤﺮه( ﻗﺎﻧﻮن ﻳﺎدﮔﻴﺮي ﭘﺮﺳﭙﺘﺮون را ﺑﺮاي ﺑﻪروزرﺳﺎﻧﻲ‬
‫‪.c‬‬
‫را ﻣﻲﺗﻮان ﺑﻪ ﺻﻮرت ﺗﺮﻛﻴﺐ ﺧﻄﻲ ﺑﺮدارﻫﺎي‬
‫)( )(‬
‫∑=‬
‫ﭘﻴﺪا ﻛﻨﻴﺪ‪.‬‬
‫)ﺑﻪ ﺟﺎي ( ﺑﺎزﻧﻮﻳﺴﻲ ﻛﻨﻴﺪ‪.‬‬
‫)‪ 3‬ﻧﻤﺮه( ﺑﺎ اﺳﺘﻔﺎده از ﻧﺘﻴﺠﻪي ﺑﻪدﺳﺖ آﻣﺪه در ﺑﻨﺪ ‪ ،b‬ﺗﻌﻤﻴﻢ ﻣﺒﺘﻨﻲ ﺑﺮ ﻫﺴﺘﻪ ﭘﺮﺳﭙﺘﺮون ) ‪kernel-based‬‬
‫‪ (Perceptron‬ﻛﻪ ﺑﺎ اﺳﺘﻔﺎده از ﺗﺎﺑﻊ ﻫﺴﺘﻪ )‪ ( , ′‬ﺑﺘﻮاﻧﺪ ﻗﺎﺑﻠﻴﺖ ﭘﻴﺪا ﻛﺮدن ﻣﺮزﻫﺎي ﻏﻴﺮﺧﻄﻲ را داﺷﺘﻪ ﺑﺎﺷﺪ‪،‬‬
‫اراﺋﻪ ﻛﻨﻴﺪ‪.‬‬
‫‪ 3) .d‬ﻧﻤﺮه( راﺑﻄﻪي ﻣﺮﺑﻮط ﺑﻪ ﻣﺮز ﭘﺮﺳﭙﺘﺮون در ﺣﺎﻟﺖ ﻣﺒﺘﻨﻲ ﺑﺮ ﻫﺴﺘﻪ را ﺑﺮ ﺣﺴﺐ ﺗﺎﺑﻊ ﻫﺴﺘﻪ‬
‫و ﻧﻤﻮﻧﻪﻫﺎي‬
‫آﻣﻮزش و ﺿﺮاﻳﺐ آنﻫﺎ ﻣﺸﺨﺺ ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫ﺳﻮال ‪ 25) 4‬ﻧﻤﺮه(‪ :‬ﻣﺪلﺳﺎزي ﺗﻮاﺑﻊ و ﺗﺼﻤﻴﻢﮔﻴﺮي ﺑﺎ اﺳﺘﻔﺎده از ﺷﺒﻜﻪ ﻋﺼﺒﻲ‬
‫‪ .1.4‬ﺗﻮاﺑﻊ ﺑﻮﻟﻴﻦ } ‪ { , } → { ,‬را در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ‪ .‬اﮔﺮ از ﺻﻔﺮ ﺑﺮاي ﻧﻤﺎﻳﺶ ‪ F‬و از ﻳﻚ ﺑﺮاي ﻧﻤﺎﻳﺶ ‪ T‬اﺳﺘﻔﺎده ﻛﻨﻴﻢ‪:‬‬
‫‪ 5) .a‬ﻧﻤﺮه( آﻳﺎ ﻫﺮ ﻋﺒﺎرت ﻣﻨﻄﻘﻲ )ﻣﺘﺸﻜﻞ از ﻣﺘﻐﻴﺮﻫﺎ و ﻋﻤﻠﮕﺮﻫﺎي ﻣﻨﻄﻘﻲ( ﺑﻮﻟﻴﻦ را ﻣﻲﺗﻮان ﺗﻮﺳﻂ ﻳﻚ ﺷﺒﻜﻪ‬
‫ﻋﺼﺒﻲ ﺑﺎ ﻳﻚ ﻻﻳﻪي ﻣﺨﻔﻲ ﻛﻪ ﺗﺎﺑﻊ آﺳﺘﺎﻧﻪ ﻧﻮرونﻫﺎي ﻻﻳﻪي ﻣﺨﻔﻲ و ﺧﺮوﺟﻲ آن ﭘﻠﻪ واﺣﺪ ﻫﺴﺘﻨﺪ‪ ،‬ﻣﺪل ﻛﺮد؟‬
‫ﺗﻮﺿﻴﺢ دﻫﻴﺪ‪.‬‬
‫‪ 3) .b‬ﻧﻤﺮه( ﺑﺮاي ﺗﺎﺑﻊ ‪ NAND‬ﺳﺎﺧﺘﺎر و وزنﻫﺎي ﻳﻚ ﺷﺒﻜﻪ ﺑﺎ دو ورودي و ﻳﻚ ﺧﺮوﺟﻲ ﻛﻪ ﻛﺎرﻛﺮد ‪ NAND‬را‬
‫دارد ﻣﺸﺨﺺ ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫‪ 12) .2.4‬ﻧﻤﺮه( ﺑﺮاي دﺳﺘﻪﺑﻨﺪي ﻣﺠﻤﻮﻋﻪ دادهﻫﺎي زﻳﺮ ﺷﺒﻜﻪﻫﺎي ‪ MLP‬ﺑﺎ ﺣﺪاﻗﻞ ﺗﻌﺪاد ﻧﻮرون و ﻻﻳﻪي ﻣﻤﻜﻦ اراﺋﻪ ﻛﻨﻴﺪ )ﺗﺎﺑﻊ‬
‫آﺳﺘﺎﻧﻪ ﭘﻠﻪ واﺣﺪ در ﻧﻈﺮ ﮔﺮﻓﺘﻪ ﺷﻮد( ﻛﻪ ﻗﺎﺑﻠﻴﺖ ﺟﺪاﺳﺎزي ﻛﺎﻣﻞ ﻧﻤﻮﻧﻪﻫﺎي دو دﺳﺘﻪ را داﺷﺘﻪ ﺑﺎﺷﺪ‪.‬‬
‫)‪(b‬‬
‫)‪(a‬‬
‫)‪(d‬‬
‫)‪(c‬‬
‫‪ 5) .3.4‬ﻧﻤﺮه( ﻳﻚ ﺷﺒﻜﻪ ﻋﺼﺒﻲ ﻃﺮاﺣﻲ ﻧﻤﺎﻳﻴﺪ ﻛﻪ ﺑﺘﻮاﻧﺪ ﺑﺎ درﻳﺎﻓﺖ ﻳﻚ ﺑﺮدار وﻳﮋﮔﻲ ‪-‬ﺑﻌﺪي ﻣﻘﺪار ﺗﺨﻤﻴﻦ ﻏﻴﺮ ﭘﺎراﻣﺘﺮي‬
‫ﭼﮕﺎﻟﻲ اﺣﺘﻤﺎل را ﺑﺎ اﺳﺘﻔﺎده از ﭘﻨﺠﺮه ﭘﺎرزن )‪ (Parzen window‬در ﺧﺮوﺟﻲ ﻣﺸﺨﺺ ﻛﻨﺪ‪ .‬ﻓﺮض ﻛﻨﻴﺪ ﻧﻤﻮﻧﻪﻫﺎي ﻣﻮﺟﻮد‬
‫ﺑﺮاي ﻣﺤﺎﺳﺒﻪي ﺗﺨﻤﻴﻦ‬
‫) (‬
‫‪,…,‬‬
‫) (‬
‫ﻓﻌﺎﻟﻴﺖ ﻧﻮرون ﻫﺎ را ﻣﺸﺨﺺ ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫ﺑﺎﺷﺪ‪ .‬ﺑﺮاي ﻃﺮاﺣﻲ ﺑﺎﻳﺪ ﻣﻌﻤﺎري ﺷﺒﻜﻪ‪ ،‬وروديﻫﺎ‪ ،‬ﺧﺮوﺟﻲ‪ ،‬اﺗﺼﺎﻻت و ﺗﺎﺑﻊ‬
‫ﺳﻮال ‪ 30) 5‬ﻧﻤﺮه(‪ :‬ﭘﻴﺎدهﺳﺎزي دﺳﺘﻪﺑﻨﺪﻫﺎي ﻏﻴﺮﺧﻄﻲ‬
‫ﻣﺠﻤﻮﻋﻪ دادهي ‪ MNIST‬ﺷﺎﻣﻞ ارﻗﺎم دﺳﺖﻧﻮﻳﺲ ﻛﻪ در ﻓﺎﻳﻞ "‪ "MNIST.mat‬در اﺧﺘﻴﺎر ﺷﻤﺎ ﻗﺮار ﮔﺮﻓﺘﻪ‪ ،‬را در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ‪ .‬ﻫﺮ‬
‫داده در اﻳﻦ ﻣﺠﻤﻮﻋﻪ ﻳﻚ ﺗﺼﻮﻳﺮ ‪ 28 × 28‬اﺳﺖ‪ .‬ﻫﺪف آن اﺳﺖ ﻛﻪ ﺑﻪ ازاي ﺗﺼﻮﻳﺮ ‪ 28 × 28‬ورودي دﺳﺘﻪﺑﻨﺪ ﺗﺸﺨﻴﺺ دﻫﺪ ﻛﻪ‬
‫ﺗﺼﻮﻳﺮ ﻣﺮﺑﻮط ﺑﻪ ﻛﺪام رﻗﻢ اﺳﺖ‪ .‬ﻫﺮ ﺳﻄﺮ داده ﻣﻮﺟﻮد در ﻓﺎﻳﻞ داده ‪ MNIST‬ﺣﺎﺻﻞ ﺑﺮداري ﻛﺮدن ﻳﻚ ﺗﺼﻮﻳﺮ ‪ 28 × 28‬اﺳﺖ‬
‫ﻛﻪ در اﻧﺘﻬﺎي آن ﻣﺸﺨﺺ ﺷﺪه اﺳﺖ ﻛﻪ اﻳﻦ ﺗﺼﻮﻳﺮ ﻣﺮﺑﻮط ﺑﻪ ﻛﺪامﻳﻚ از ارﻗﺎم ‪ 0‬ﺗﺎ ‪ 9‬ﺑﻮده اﺳﺖ )ﺑﻨﺎﺑﺮاﻳﻦ از ﺳﺘﻮنﻫﺎي ‪ 1‬ﺗﺎ ‪784‬‬
‫ﺑﺮاي وﻳﮋﮔﻲﻫﺎي داده و از ﺳﺘﻮن ‪ 785‬ﺑﺮاي ﺑﺮﭼﺴﺐ اﺳﺘﻔﺎده ﻧﻤﺎﻳﻴﺪ(‪ .‬از ‪ 4000‬دادهي اول ﺑﺮاي آﻣﻮزش و از ﻣﺎﺑﻘﻲ دادهﻫﺎ ﺑﺮاي‬
‫آزﻣﻮن دﺳﺘﻪﺑﻨﺪ اﺳﺘﻔﺎده ﺷﻮد‪.‬‬
‫‪ .1.5‬ﺷﺒﻜﻪ ﻋﺼﺒﻲ ‪ MLP‬ﺑﺎ اﻟﮕﻮرﻳﺘﻢ آﻣﻮزش ﭘﺲاﻧﺘﺸﺎر ﺧﻄﺎر )‪:(Error Backpropagation‬‬
‫‪ 5) .a‬ﻧﻤﺮه( ﺑﺮاي ﭘﻴﺎدهﺳﺎزي ﺷﺒﻜﻪ ﻋﺼﺒﻲ از ﻛﺪ اوﻟﻴﻪ ﻣﻮﺟﻮد در ﻓﺎﻳﻞ "‪ "NN.zip‬ﻛﻪ در اﺧﺘﻴﺎر ﺷﻤﺎ ﻗﺮار ﮔﺮﻓﺘﻪ‪،‬‬
‫اﺳﺘﻔﺎده ﻛﻨﻴﺪ‪ .‬ﺑﺮاي اﻳﻦﻛﻪ از ﻳﻚ ﺷﺒﻜﻪ ﺑﺎ ‪= 10‬‬
‫ﺧﺮوﺟﻲ ﺑﺮاي دﺳﺘﻪﺑﻨﺪي وروديﻫﺎ اﺳﺘﻔﺎده ﻧﻤﺎﻳﻴﺪ‪ ،‬اﺑﺘﺪا ﺑﺎﻳﺪ‬
‫ﺑﺮﭼﺴﺐﻫﺎي داده را ﺑﻪ ﺻﻮرت ﺑﺮدار ﺧﺮوﺟﻲ ﻣﺮﺑﻮﻃﻪ ﻛﺪ ﻧﻤﺎﻳﻴﺪ )ﻣﺜﺎل‪ :‬ﺑﺮﭼﺴﺐ ﻣﺸﺨﺺ ﻛﻨﻨﺪهي رﻗﻢ ‪ 3‬ﺑﻪ‬
‫ﺑﺮدار ]‪ [0 0 0 1 0 0 0 0 0 0‬ﺗﺒﺪﻳﻞ ﺷﻮد(‪ .‬ﻳﻚ ﺷﺒﻜﻪي ‪ MLP‬ﺑﺎ ﻳﻚ ﻻﻳﻪي ﻣﺨﻔﻲ ﺷﺎﻣﻞ ‪ 100‬ﻧﻮرون در ﻧﻈﺮ‬
‫ﺑﮕﻴﺮﻳﺪ‪ ،‬ﭘﺲ از آﻣﻮزش ﺷﺒﻜﻪ‪ ،‬درﺻﺪ ﺧﻄﺎي آن را روي دادهي آﻣﻮزش و آزﻣﻮن ﻣﺸﺨﺺ ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫‪ 7) .b‬ﻧﻤﺮه( ﺑﺎ اﺳﺘﻔﺎاده از ‪ 5-fold CV‬ﺗﻌﺪاد ﻧﻮرونﻫﺎي ﻻﻳﻪي ﻣﺨﻔﻲ ‪ MLP‬را از ﺑﻴﻦ ﻣﺠﻤﻮﻋﻪ‬
‫}‪ {5,10,20,50, 100,200,500,1000‬اﻧﺘﺨﺎب ﻧﻤﺎﻳﻴﺪ و درﺻﺪ ﺧﻄﺎي ﺷﺒﻜﻪي ﺣﺎﺻﻞ را روي ﻧﻤﻮﻧﻪﻫﺎي‬
‫آﻣﻮزش‪ ،‬اﻋﺘﺒﺎرﺳﻨﺠﻲ و آزﻣﻮن ﮔﺰارش ﻧﻤﺎﻳﻴﺪ‪ .‬ﻫﻤﭽﻨﻴﻦ ﻧﻤﻮدار ‪ MSE‬را روي ﻧﻤﻮﻧﻪﻫﺎي آﻣﻮزش و آزﻣﻮن ﺑﻪ‬
‫ازاي ﺗﻐﻴﻴﺮ ﺗﻌﺪاد ﻧﻮرون ﻻﻳﻪي ﻣﺨﻔﻲ رﺳﻢ ﻛﻨﻴﺪ‪.‬‬
‫‪ :(one vs. all) Kernel SVM .2.5‬ﺑﺮاي ﭘﻴﺎدهﺳﺎزي ‪ SVM‬ﻣﻮردﻧﻈﺮ ﻣﻲﺗﻮاﻧﻴﺪ از ﺑﺴﺘﻪي ﺑﻬﻴﻨﻪﺳﺎزي ﻣﺤﺪب ‪ 1cvx‬ﻳﺎ از ‪libsvm‬‬
‫‪2‬‬
‫اﺳﺘﻔﺎده ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫‪ 6) .a‬ﻧﻤﺮه( ‪ SVM‬ﺣﺎﺷﻴﻪ ﻧﺮم )‪ (soft-margin‬ﺑﺎ ﻫﺴﺘﻪي ﺧﻄﻲ‬
‫دﺳﺘﻪاي را داﺷﺘﻪ ﺑﺎﺷﺪ‪ ،‬ﭘﻴﺎدهﺳﺎزي ﻛﻨﻴﺪ‪ .‬ﻣﻘﺎدﻳﺮ ﭘﺎراﻣﺘﺮ‬
‫= ) ‪ ( ,‬را ﻛﻪ ﻗﺎﺑﻠﻴﺖ دﺳﺘﻪﺑﻨﺪي ﭼﻨﺪ‬
‫را از ﺑﻴﻦ ﻣﺠﻤﻮﻋﻪ }‪ {0.001,0.01, 0.1,0.5,1,5,10‬ﺑﺎ‬
‫اﺳﺘﻔﺎده از ‪ 5-fold CV‬ﺗﻌﻴﻴﻦ ﻧﻤﺎﻳﻴﺪ‪ .‬درﺻﺪ ﺧﻄﺎي دﺳﺘﻪﺑﻨﺪ ﺣﺎﺻﻞ را روي ﻧﻤﻮﻧﻪﻫﺎي آﻣﻮزش و آزﻣﻮن ﮔﺰارش‬
‫ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫‪ 7) .b‬ﻧﻤﺮه( ‪ SVM‬ﺣﺎﺷﻴﻪ ﻧﺮم )‪ (soft-margin‬ﺑﺎ ﻫﺴﺘﻪي ﮔﺎوﺳﻲ و ﻗﺎﺑﻠﻴﺖ دﺳﺘﻪﺑﻨﺪي ﭼﻨﺪ دﺳﺘﻪاي را ﻣﺸﺎﺑﻬﺎً‬
‫ﭘﻴﺎدهﺳﺎزي ﻧﻤﺎﻳﻴﺪ‪ .‬ﻣﻘﺎدﻳﺮ ﭘﺎراﻣﺘﺮ‬
‫و ﭘﻬﻨﺎي ﭘﻨﺠﺮه‬
‫را ﺑﻪ ﺗﺮﺗﻴﺐ از ﺑﻴﻦ ﻣﺠﻤﻮﻋﻪﻫﺎي‬
‫}‪ {0.001,0.01, 0.1,0.5,1,5,10‬و }‪ {0.001,0.01, 0.1,1,10,100‬ﺑﺎ اﺳﺘﻔﺎده از ‪ 5-fold CV‬ﺗﻌﻴﻴﻦ ﻧﻤﺎﻳﻴﺪ‪ .‬درﺻﺪ‬
‫ﺧﻄﺎي دﺳﺘﻪﺑﻨﺪ ﺣﺎﺻﻞ را روي ﻧﻤﻮﻧﻪﻫﺎي آﻣﻮزش‪ ،‬اﻋﺘﺒﺎرﺳﻨﺠﻲ و آزﻣﻮن ﮔﺰارش ﻧﻤﺎﻳﻴﺪ‪.‬‬
‫‪ 5) .3.5‬ﻧﻤﺮه( ﻧﺘﺎﻳﺞ ﺑﻪدﺳﺖ آﻣﺪه در ﺑﻨﺪﻫﺎي ﻣﺨﺘﻠﻒ ﺑﺮاي ‪ MLP‬و ‪ Kernel SVM‬را ﻣﻘﺎﻳﺴﻪ و ﺗﺤﻠﻴﻞ ﻛﻨﻴﺪ‪.‬‬
‫‪http://cvxr.com/cvx/‬‬
‫‪www.csie.ntu.edu.tw/~cjlin/libsvm‬‬
‫‪1‬‬
‫‪2‬‬