‫ثِ ًبم ّستی ثخص‬
‫توریي سَم‪ :‬هبضیي ثردار پطتیجبى‪ ،‬ضجکِ عصجی‪PCA ،‬‬
‫‪Perceptron .1‬‬
‫‪1.1‬هسئلِاستفبدُ از پرسپترٍى ثرای یبدگیری دستِ ثٌذی دادُ ّبی ضکل زیر را در ًظر ثگیریذ‪.‬‬
‫فبصلِ ثیي دٍ خَضِ دادُ در راستبی ثردار عوَدی‪ ،‬یک عذد صحیح است‪ .‬دقت گردد هقیبس دٍ هحَر یکسبى ًوی ثبضذ‪.‬‬
‫الف) حذاکثر تعذاد اضتجبّبت پرسپترٍى چقذر است؟(تعذاد اضتجبّبت عذد صحیح است‪ .‬عولگرّبی ‪arctan‬‬
‫یب ‪ cos‬هی تَاًذ هفیذ ثبضذ‪).‬‬
‫ة) کذام یک ازثردار ّبی ٍزًی زیر دادُ ّب راثب دقت ثیطتری دستِ ثٌذی هی ًوبیذ‪.‬‬
‫‪‬‬
‫الف)‬
‫‪‬‬
‫ة)‬
‫‪‬‬
‫ج) دقت دستِثٌذی ّر دٍ ثردار ٍزى یکسبى هی ثبضذ‬
‫ج) اگر ثرچست دادُ ّبی دٍ کالس‬
‫ٍ‬
‫تعَیط گردد ثردار ٍزى پرسپترٍى یبدگرفتِ ضذُ چِ تغییری هی‬
‫کٌذ؟‬
‫‪‬‬
‫ٍزًْب تغییری ًخَاٌّذ کرد‪.‬‬
‫‪‬‬
‫ٍزى ّب در یک هٌفی ظرة هی گردد‪.‬‬
‫‪Linear SVM .2‬‬
‫‪ .2.1‬هسئلِ دستِثٌذی دٍدٍیی ثب هدوَعِ دادُ آهَزضی زیر را در ًظرثگیریذ‪.‬‬
‫})‪S1: {(2, 2), (1, 3), (2, 4), (0, 4‬‬
‫})‪S2: {(4, 0), (5, 0), (5, -0.5), (6, -o.5‬‬
‫هیخَاّین یک دستِثٌذ ‪ SVM‬ثرای ایي دادُّب ؼراحی کٌین‪ .‬ثردار ّبی پطتیجبى را هطخص کردُ ٍ هرز تصوین‪-‬‬
‫گیری را ثیبثیذ‪.‬از رٍش ظرایت الگراًژ استفبدُ ًکٌیذ!‬
‫‪ .3‬تبثع ّستِ (‪)kernel‬‬
‫یک ّستِ هعتجر ثبضذ‪:‬‬
‫‪ .3.1‬اگر‬
‫الف) ًطبى دّیذ ثِ ازای ّر تبثع‬
‫ة) ًطبى دّیذ ّستِ )‬
‫ّستِی‬
‫(‬
‫هعتجر است‪.‬‬
‫ًیس ّستِای هعتجر است‪.‬‬
‫ج) ثب استفبدُ از ثٌذّبی الف ٍ ة ًطبى دّیذ ّستِ گبٍسی ّستِ هعتجری است‪.‬‬
‫‪ .3.2‬یک فعبی ٍیژگی اٍلیِ ‪-d‬ثعذی در ًظر ثگیریذ‪.‬اعوبل یک ّستِ چٌذخولِای درخِ دٍ ثِ صَرت‬
‫هعبدل ثب اًتقبل ثِ یک فعبی ٍیژگی خذیذ‬
‫𝜙 خَاّذ ضذ ٍ‬
‫𝜙‬
‫𝜙‬
‫‪ .‬فعبی‬
‫ٍیژگی هتٌبظر ثب ّستِ چٌذخولِای درخِ دٍ چٌذ ثعذی خَاّذ ثَد؟ ثرای ّستِ چٌذخولِای درخِ ‪m‬‬
‫ایي فعب چٌذ ثعذی است؟‬
‫‪Kernel SVM .4‬‬
‫‪ .4.1‬هدوَعِ دادُ هَخَد در ضکل زیر را در ًظرثگیریذ‪:‬‬
‫الف) در صَرتیکِ ثرای دستِ‪-‬ثٌذی از ‪ SVM‬حبضیِ سخت(‪ ) hard margin‬ثب ّستِ خٌذخولِای استفبدُ‬
‫ضَد‪ ،‬حذاقل چِ درخِای ثرای چٌذخولِای پیطٌْبد هیًوبییذ؟تَظیح دّیذ‪.‬‬
‫ة) ثردارّبی پطتیجبى را در ثٌذالف هطخص ًوبییذ‪.‬‬
‫ج) راثؽِی هرثَغ ثِ هرز حبصلرا ثر حست ‪ ،‬هحل ٍظرایت ثردارّبی پطتیبى هطخص ضذُ در ثٌذ ة تعییي‬
‫ًوبییذ‪.‬‬
‫‪ .4.2‬هدوَعِ دادُ در سَال قجل رادر ًظرثگیریذ‪ .‬فرض کٌیذ پس از دریبفت ًقبغ دادُ‪ ،‬آًْب را ثِ ثبزُ ]‪ [0,1‬اًتقبل‬
‫دّین‪:‬‬
‫الف) اگر قصذ داضتِ ثبضیذ از ّستِ گبٍسی در ‪ SVM‬استفبدُ ًوبییذ‪ ،‬از ثیي هدوَعِ هقبدیر‬
‫]‪ [0.001,0.01,0.1,0.3,0.5,1‬ثرای پبراهتر گبٍسی ‪ σ‬کذام هقذار (یب هقبدیر) را هٌبست هیداًیذ(تَظیح‬
‫دّیذ)‬
‫ة) اًتخبة پبراهتر‪ σ‬چِ تبثیری ثر هرز تصوینحبصل ٍ هقذار حبضیِ خَاّذ داضت؟‬
‫ج) در حبلت کلی آیب ّویطِ هیتَاى ثب ثِ کبرگیری ّستِ گبٍسی( ثب پبراهتر‪ σ‬هٌبست) در ‪ SVM‬ثر رٍی ّر‬
‫هدوَعِ دادُ ثِ خؽبی آهَزش صفر رسیذ؟(تَظیح دّیذ)‬
‫د) آیبدر حبلت کلی ازثیي هقبدیر هختلف پبراهتر‪ ، σ‬هقذاری کِ هٌدر ثِ حبضیِی ثسرگتری هیضَد‪ ،‬هقذار‬
‫ثْتری است؟‬
‫‪ .4.3‬فرض کٌیذ ثرای خذاسبزی خؽی یک هدوَعِ دادُ ثب استفبدُ از رٍش ‪ SVM‬ازّستِ‬
‫حبل ار از ّستِ‬
‫( ٍ‬
‫ظرایت ثبثت ٍ‬
‫ٍ هیساى حبضیِ خػ خذاسبز ٍ هقبدیر ظرایت الگراًژ‬
‫استفبدُ کردُاین‪.‬‬
‫هثجت است ) استفبدُ کٌین‪ ،‬چِ تغییری در هرز خذایی‬
‫ایدبد هیضَد؟‬
‫‪ .5‬ضجکِ عصجی‬
‫‪ .5.1‬تَاثع ثَلیي‬
‫را در ًظرثیریذ‪ .‬ار از صفر ثرای ًوبیص ‪ ٍ F‬از یک ثرای ًوبیص ‪ T‬استفبدُ کٌین‪:‬‬
‫الف) ) آیب ّرعجبرت هٌؽقی(هتطکل از هتغیر ٍ عولگرّبی هٌؽقی) ثَلیي را هیتَاى تَسػ یک ضجکِ عصجی‬
‫ثب یک الیِ هخفی کِ تبثع آستبًِ ًرٍىّبی الیِی هخفی ٍ خرٍخی آى پلِ ٍاحذ ّستٌذ‪ ،‬هذل کرد؟ تَظیح‬
‫دّیذ‪.‬‬
‫ة) ثرای تبثع ‪ NAND‬سبختبر ٍ ٍزىّبی یک ضجکِ ثب دٍ ٍرٍدی ٍ یک خرٍخی کِ کبرکرد ‪ NAND‬را دارد‬
‫هطخص ًوبییذ‪.‬‬
‫‪ .5.2‬ثرای دستِثٌذی ًقبغ دادُ در ّر کذام از ضکلّبی زیر ضجکِ ‪ MLP‬ثب حذاقل تعذاد ًَرٍى ٍ الیِ هوکي ارائِ‬
‫ًوبییذ کِ قبثلیت خذاسبزی کبهل ًوًَِّب را داضتِ ثبضذ‪( .‬تبثع آستبًِ پلِ ٍاحذ در ًظرگرفتِ ضَد)‪.‬‬
‫‪ .5.3‬یک ضجکِ عصجی ؼراحی ًوبییذ کِ ثتَاًذ ثب دریبفت یک ثردار ٍیژگی ‪-d‬ثعذی هقذار تخویي غیر پبراهتری‬
‫چگبلی احتوبل را ثب استفبدُ از پٌدرُ پبرزى )‪ (Parzen window‬در خرٍخی هطخص کٌذ‪ .‬فرض کٌیذ ًوًَِّبی‬
‫هَخَد ثرای هحبسجِ تخویي‬
‫ثبضذ‪ .‬ثرای ؼراحی ثبیذ هعوبری ضجکِ‪ٍ ،‬رٍدیّب‪ ،‬خرٍخی‪ ،‬اتصبالت ٍ‬
‫تبثع فعبلیت ًَرٍىّب را هطخص ًوبییذ‪.‬‬
‫‪PCA .6‬‬
‫‪ PCA.6.1‬را رٍی دادُ ّبی ]‪ [6,3]ٍ [2,1],[4,2‬اعوبل ًوبییذ‪.‬‬
‫الف)اٍلیي هَلفِ اصلی را ثذست آٍریذ‪.‬‬
‫ة)اگرًقبغ دادُ ثباستفبدُ ازایي هَلفِ رٍی ‪ ℝ‬تبثبًیذُ ضًَذ‪ٍ .‬اریبًس دادُ ّبی تبثبًیذُ ضذُ چِ هقذاری‬
‫خَاّذ ثَد‪.‬‬
‫ج)اگر ًقبغ دادُ تبثبًیذُ ضذُ را در فعبی ‪ً ℝ‬وبیص دّین ثِ عجبرت دیگر آًْب را ثبزسبزی ًوبیین‪ .‬خؽبی‬
‫ثبزسبزی چِ هقذار است‪.‬‬
‫‪ .7‬پیبدُسبزی‬
‫‪ .7.1‬دستِثٌذی‬
‫هدوَعِ استبًذارد ‪ MNIST‬ضبهل تصبٍیر ارقبم دستٌَیس اًگلیسی کِ در فبیل ”‪ “MNIST.mat‬در اختیبر ضوب‬
‫قرار گرفتِ را در ًظر ثگیریذ‪ .‬فبیل ‪ MNIST.mat‬ضبهل ‪ labels ٍ Dt‬است کِ ًقبغ دادُ ٍ ثرچست آًْب را هطخص‬
‫هیًوبیذ‪ّ .‬ر دادُ در ایي هدوَعِ یک تصَیر‬
‫یک ثردار‬
‫است کِ در فبیل دادُ ‪ MNIST‬ثرداری ضذُ ٍ ثِ صَرت‬
‫در ‪ Dt‬هطخص ضذُاست‪ّ .‬ر دادُ تصَیرهرثَغ ثِ یکی از ارقبم ‪ 0‬تب ‪ 9‬هیثبضذ کِ در ‪labels‬‬
‫هطخص ضذُاست‪.‬‬
‫ّذف تطخیص رقن هتٌبظرثب ّرتصَیر است‪ّ .‬وچٌیي قجل از اعوبل دادُّب ثِ دستِثٌذّبی هختلف‪ ،‬اثعبد آى را‬
‫ثبرٍش سفیذ کردى (‪ )Whitening‬کِ کذ آى در اختیبر قرار گرفتِ است‪ ،‬ثِ ‪ 50‬ثعذ کبّص هیدّین‪ .‬ثرای دستِ‪-‬‬
‫ثٌذی دادُّب ازدٍ رٍش استفبدُ ٍ آًْب را ثب ّن هقبیسِ ًوبییذ‪.‬‬
‫‪‬‬
‫رٍش ضجکِ عصجی چٌذالیِ ثبالگَریتن آهَزش پس اًتطبر خؽب‬
‫ثرای پیبدُسبزی ضجکِ عصجی از فبیل ‪ NN.zip‬کِ در اختیبر ضوب قرار گرفتِ استفبدُ ًوبییذ‪ .‬ثرای ایٌکِ از‬
‫یک ضجکِ ثب ‪ K=10‬خرٍخی ثرای دستِثٌذی ٍرٍدیّب استفبدُ ًوبییذ‪ ،‬اثتذا هیثبیست ثرچست دادُّب را ثِ‬
‫صَرت ثردار خرٍخی هرثَؼِ کذ ًوبییذ‪(.‬هثبل‪ :‬ثرچست هطخص کٌٌذُ عذد‪ 3‬ثِ ثردار ‪[0 0 0 1 0 0 0 0 0‬‬
‫]‪ 0‬تجذیل ضَد)‪.‬‬
‫‪‬‬
‫رٍش ‪ SVM‬ثب دستِ خؽی ٍ ‪ . RBF‬ثب تَخِ ثِ ایٌکِ در ایي هسئلِ ‪ 10‬کالس هختلف ٍخَد دارد از رٍش ‪One-‬‬
‫‪ Against-All‬ثرای خذاسبزی استفبدُ هیًوبیین‪ .‬ثرای پیبدُسبزی ‪ SVM‬از‪ libsvm1‬استفبدُ ًوبییذ‪.‬‬
‫درایي پبیگبُ دادُ ‪ 6000‬تصَیر ٍخَد دارد‪ .‬ثرای ّر رٍش آزهبیصّبی زیر را ترتیت دّیذ‪.‬‬
‫‪‬‬
‫تعذاد دادُ آهَزضی ‪ 2000‬ثبضذ‬
‫‪‬‬
‫تعذاد دادُ آهَزضی ‪ 1000‬ثبضذ‬
‫‪‬‬
‫تعذاد دادُ آهَزضی ‪ 200‬ثبضذ‬
‫ثرای ّر آزهبیص از ‪ 5-fold Cross-Validation‬ثرای اًتخبة هقذار پبراهتر یب پبراهتر ّبی ّردستِثٌذ استفبدُ ًوبییذ‪.‬‬
‫‪‬‬
‫در ضجکِ عصجی تعذاد ًَرٍىّب ی الیِ هخفی را ثِ عٌَاى پبراهتردر ًظرگرفتِ ٍ از ثیي هدوَعِ‬
‫]‪ [5,10,20,50,100,200,500,1000‬اًتخبة ًوبییذ‪.‬‬
‫‪‬‬
‫در ‪ SVM‬حبضیِ ًرم (‪ )soft margin‬ثب ّستِ خؽی ٍ گبٍسی هقذار پبراهتر ‪ C‬را از ثیي هدوَعِ‬
‫]‪ [0.001,0.01,0.1,0.5,1.5,10‬اًتخبة ًوبییذ‪.‬‬
‫ّر آزهبیص را ‪ 20‬ثبر تکرار ًوبییذ( ثب دادُ‪ّ-‬بی آهَزضی تصبدفی)‪ .‬هیبًگیي دقت ّررٍش در ّرآزهبیص را ثذست‬
‫آٍریذ ٍ ًتبیح را تحلیل ًوبییذ‪.‬‬
‫‪PCA .7.2‬‬
‫هبتریس ‪ FV‬کِ فبیل ‪ .mat‬آى در اختیبر ضوب قرار گرفتِ است را در ًظر ثگیریذ‪ .‬ایي هبتریس ضبهل ‪ 519‬دادُ ‪13996‬‬
‫ثعذی است‪ .‬هیخَاّین ثب استفبدُ از تحلیل هَلفِّبی اصلی ثِ کبّص اثعبد ایي ًقبغ دادُ اقذام ًوبیین‪.‬‬
‫در پیبدُ سبزی ایي توریي هی تَاًیذ از ایي ًکتِ استفبدُ ًوبییذ کِ ثردارّب ٍ هقبدیرٍیژُ یک هبتریس ثِ ضکل‬
‫را هیتَاى از رٍی ثردار ّب ٍ هقبدیر ٍیژُ‬
‫پیذا کرد‪.‬‬
‫الف)ثب استفبدُ از ‪ PCA‬ثذٍى ایٌکِ ّیچ ‪ data loss‬داضتِ ثبضین‪ .‬هی تَاًین ایي ‪ 13996‬ثعذ را ثِ چٌذ ثعذ‬
‫کبّص دّین‪.‬‬
‫ة) اگر یکصذ هَلفِ اصلی حبصل از ‪ PCA‬را ثِ عٌَاى فعبی یکصذ ثعذی خذیذ در ًظرثگیرین‪ .‬هیبًگیي خؽبی‬
‫ثبزسبزی را ثذست آٍریذ‪.‬‬
‫‪http://www.csie.ntu.edu.tw/~cjlin/libsvm/‬‬
‫‪1‬‬