‫يادگيری هاشيي ‪( 44-777‬گروه دوم)‬
‫ًيوسال اول ‪92-93‬‬
‫توريي سری اول‪ :‬رگرسيوى و تخويي‬
‫هذرس‪ :‬سليواًی‬
‫هوعذ تحويل‪ 24 :‬ههر ‪92‬‬
‫ًوره‪5+744 :‬‬
‫سوال ‪ً 7( 7‬وره)‪ :‬هفاهين‬
‫درستی گسارُّبی زیر را ثررسی کٌیذ (ثب تَضیح هختصر)‪:‬‬
‫‪ )a‬افسایص پیچیذگی هذل در رگرسیَى ّویطِ سجت افسایص ٍاریبًس ٍ کبّص ثبیبس هیضَد‪.‬‬
‫‪ )b‬افسایص پیچیذگی هذل در رگرسیَى ّویطِ سجت کبّص خغبی آهَزش ٍ افسایص خغبی آزهَى هیضَد‪.‬‬
‫‪ )c‬در صَرتی کِ هقذار ثبیبس ثبال ثبضذ ٍ ٍاریبًس کن ثبضذ‪ ،‬ثبیذ پیچیذگی هذل را کبّص داد‪.‬‬
‫‪ )d‬کبّص خغبی آهَزش هٌجر ثِ کبّص خغبی آزهَى هیضَد‪.‬‬
‫‪ )e‬در صَرتی کِ ٍاریبًس ثبال ثبضذ‪ ،‬افسایص دادُّبی آهَزش ّویطِ هیتَاًذ سجت کبّص ٍاریبًس ضَد‪.‬‬
‫‪ )f‬در صَرتی کِ ثبیبس ثبال ثبضذ‪ ،‬افسایص دادُّبی آهَزش ّیچ کوکی ثِ کبّص ثبیبس ًویکٌذ ٍ ثبیذ پیچیذگی هذل را‬
‫افسایص داد‪.‬‬
‫‪ )g‬اضبفِ کردى جولِ هٌظنسبزی (‪ )regularization‬سجت افسایص پبراهتر ‪ λ‬ثِ هسئلِ ٍ در ًتیجِ کبّص کبرایی تخویي‬
‫هَرد ًظر هیضَد‪.‬‬
‫سوال ‪ً 75( 2‬وره)‪ :‬رگرسيوى خطی‬
‫‪ .2.1‬فرض کٌیذ دادُّبی اًذازُگیری ضذُ ثرای سیستن خغی‬
‫ثِ صَرت زیر ثبضذ‪:‬‬
‫‪)+‬‬
‫()‬
‫کِ در آى هقذار ًَیس جوع ضًَذُ ّن ٍجَد دارد‬
‫()‬
‫(*‬
‫()‬
‫‪ً 2( )a‬ورُ) ًقبط دادُ ضذُ ٍ تبثع هغلَة را ترسین کٌیذ‪.‬‬
‫‪ً 3( )b‬ورُ) ثب استفبدُ از تبثع ّسیٌِ ‪ ،SSE‬خظ ثرازش کٌٌذُ را ثِدست آٍریذ ٍ آى را رسن کٌیذ‪.‬‬
‫‪ً 1( )c‬ورُ) ثِ ًظر ضوب جْت کبّص حسبسیت ثِ ًَیسّبی ضذیذ‪ ،‬چِ رٍیکردی هیتَاى اًذیطیذ؟‬
‫‪ .1.1‬اگر‬
‫خظ ثْیٌِ عجق هعیبر ‪( MSE‬رٍی کل تَزیع) را هطخص کٌذ‪:‬‬
‫‪) -‬‬
‫‪ً 3( )a‬ورُ)‬
‫(‪,‬‬
‫را ثر حست هبتریس خَد ّوجستگی‬
‫‪-‬‬
‫‪,‬‬
‫ٍ ثردار ّوجستگی‬
‫ًوبییذ‪.‬‬
‫‪ً 1( )b‬ورُ) ًطبى دّیذ‪:‬‬
‫([‬
‫] )‬
‫‪ً 1( )c‬ورُ) ثب استفبدُ از راثغِی ثِ دست آهذُ در ثٌذ قجل ًطبى دّیذ‪:‬‬
‫])‬
‫̂ ()‬
‫([‬
‫‪-‬‬
‫‪,‬‬
‫هحبسجِ‬
‫‪ً 1( )d‬ورُ) راثغِی حبصل در ثٌذ (‪ )c‬را تعجیر ٌّذسی ًوبییذ‪.‬‬
‫سوال ‪ً 34( 3‬وره)‪ :‬پيادهسازی رگرسيوى‬
‫است کِ‬
‫ّذف از ایي توریي پیبدُسبزی رگرسیَى است‪ .‬دادُّبی دادُ ضذُ هرثَط ثِ تبثع‬
‫ًَیس‬
‫جوعضًَذُ ٍ هستقل در حسگر اًذازُگیری خرٍجی را ًطبى هیدّذ‪ .‬فبیل "‪ "data‬ضبهل ‪ 313‬دادُ آهَزش ٍ ‪ 283‬دادُ آزهَى‬
‫است کِ در قبلت چْبر هبتریس ‪ testY ٍ testX ،trainY ،trainX‬در اختیبر ضوب قرار گرفتِ است‪ .‬فرض کٌیذ‬
‫‪-‬‬
‫) (‬
‫‪ ,‬در ًظر گرفتِ ضذُ است‪ .‬در ثٌذ ‪ 1.3 ٍ 2.3‬ایي سَال هٌظَر از هجوَعِ دادُی آهَزش ‪ 33‬دادُی اٍل ایي‬
‫هجوَعِ خَاّذ ثَد‪ .‬ثرای ارزیبثی خغب از هعیبر ‪ RMSE‬استفبدُ ضَد‪ .‬ثرای ایي توریي هیتَاًیذ کذّبیی کِ در اختیبر ضوب قرار‬
‫دادُ ضذُ است را تکویل ًوبییذ‪.‬‬
‫‪ .2.3‬در صَرتیکِ ثرای رگرسیَى از تبثع ّسیٌِ‬
‫)(‬
‫‪( )/ SSE‬‬
‫∑‬
‫‪.‬‬
‫) ( استفبدُ ضَد ٍ ‪ 33‬دادُی اٍل‬
‫هجوَعِ دادُّبی آهَزش ثِ عٌَاى ًوًَِّبی آهَزش ثِ کبر گرفتِ ضَد‪:‬‬
‫‪ً 4( .a‬ورُ) ثردار ضرایت‬
‫را ثر رٍی ثِ ازای هقبدیر هختلف‬
‫‖ ‖ را ثِ ازای هقبدیر هختلف‬
‫در ثبزُ ‪ 2‬الی ‪ 12‬هحبسجِ کٌیذ ٍ ًوَدار‬
‫رسن کٌیذ‪.‬‬
‫‪ً 1( .b‬ورُ) خغبی آهَزش ٍ آزهَى را ثِ ازای هقبدیر هختلف‬
‫در قبلت یک ًوَدار هطخص کٌیذ‪.‬‬
‫‪ً 1( .c‬ورُ) ًوَدارّبی ثِدست آهذُ در قسوت (‪ )b‬را هقبیسِ ٍ تحلیل ًوبییذ‪.‬‬
‫‪ .1.3‬تبثع ّسیٌِ ‪ SSE‬ثب جولِ هٌظنسبزی ثِ صَرت‬
‫‖ ‖‬
‫)(‬
‫‪( )/‬‬
‫‪.‬‬
‫∑‬
‫) ( را در ًظر ثگیریذ ٍ از‬
‫‪ 33‬دادُی اٍل هجوَعِی آهَزش ثِ عٌَاى ًوًَِّبی آهَزش استفبدُ ًوبییذ‪:‬‬
‫‪ً 4( .a‬ورُ) ثِ ازای‬
‫‪ λ‬ثردار‬
‫ٍ‬
‫را هحبسجِ کردُ ٍ ًوَدار خغبی‬
‫آهَزش ٍ آزهَى را ثِ ازای هقبدیر هختلف ‪ λ‬رسن ًوبییذ‪( .‬در رسن ًوَدار‪ ،‬از‬
‫‪λ‬‬
‫ثِ عٌَاى هحَر افقی‬
‫استفبدُ ًوبییذ‪).‬‬
‫‪ً 5( .b‬ورُ) جْت تعییي پبراهتر ‪ λ‬در هحذٍدُ هقبدیری کِ در قسوت قجل رکر ضذ‪ ،‬رٍش‬
‫‪n-fold cross‬‬
‫‪ validation‬را پیبدُ سبزی کٌیذ‪ .‬سپس ثب استفبدُ از ‪ً 10-fold CV‬وَدار هیبًگیي خغب رٍی دادُّبی آهَزش ٍ‬
‫اعتجبرسٌجی (‪ )validation‬را ثِ ازای هقبدیر هختلف ‪ λ‬رسن ًوبییذ‪ .‬سپس ثْتریي هقذار ‪ λ‬را عجق ایي ًوَدار‬
‫پیذا کٌیذ‪( .‬یبدآٍری‪ :‬در پیبدُ سبزی ‪ ،n-fold CV‬دادُّب قجل از تقسینثٌذی ثبیذ ثر زدُ ضًَذ)‪ .‬خغب رٍی‬
‫دادُّبی آزهَى را در ایي حبلت گسراش ًوبییذ‪.‬‬
‫‪ .3.3‬در ایي ثٌذ‪ّ ،‬ذف ثررسی ثبیبس ٍ ٍاریبًس است‪ .‬ثرای ایي هٌظَر الزم است‬
‫تطکیل ضَد کِ ثرای تطکیل ّر کذام از ایي هجوَعِّب ثبیذ‬
‫ایجبد ضَد کِ تَزیع یکٌَاخت در ثبزُ‬
‫‪-‬‬
‫‪)ٍ,‬‬
‫هجوَعِی آهَزضی‬
‫دادُی آهَزش هغبثق راثغِی‬
‫(‬
‫ثبضذ‪.‬‬
‫‪ً 5( .a‬ورُ) ثب فرض استفبدُ از تبثع ّسیٌِ ‪ SSE‬ثب جولِی هٌظنسبزی ‖ ‖‪ ،‬ثرای ّر کذام از هجوَعِّبی‬
‫ثب اًذازُ‬
‫آهَزش‬
‫‪ ،‬ثِ ازای‬
‫‪ λ‬پبراهتر‬
‫ٍ‬
‫را‬
‫‪1‬‬
‫ثِدست آٍریذ‪ .‬هقذار (ثبیبس)‪ٍ ،‬اریبًس ٍ هیبًگیي خغبی آزهَى را ثِ ازای هقبدیر هختلف ‪ λ‬رٍی یک‬
‫ًوَدار رسن کٌیذ‪( .‬راٌّوبیی‪ :‬هیتَاًیذ ثرای هحبسجِی ثبیبس ٍ ٍاریبًس ثِ رٍاثظ ‪ 3.45-3.47‬کتبة‬
‫‪Bishop‬‬
‫هراجعِ ًوبییذ)‬
‫ثبضذ‪ً ،‬تبیج هجذداً ثِ دست‬
‫‪ً 3( .b‬ورُ) هطبثِ ثٌذ (‪ )a‬ایي ثبر در حبلتیکِ اًذازُ هجوَعِ آهَزش‬
‫آٍردُ ٍ ًوَدارّبی هرثَعِ را رسن کٌیذ‪ .‬سپس ًتبیج حبصل را ثب ثٌذ (‪ )a‬هقبیسِ ٍ تحلیل ًوبییذ‪.‬‬
‫ٍ تبثع ّسیٌِ ‪( SSE‬ثذٍى جولِ هٌظنسبزی) را در ًظر ثگیریذ‪:‬‬
‫‪ .4.3‬هسبلِی رگرسیَى ثِ ازای‬
‫‪ً 3( .a‬ورُ) ثِ ازای تعذاد ًوًَِّبی آهَزش‬
‫*‬
‫‪+‬‬
‫جَاة را پیذا کٌیذ‪ .‬خغبی‬
‫آهَزش ٍ آزهَى را در ّر هَرد هحبسجِ ًوَدُ ٍ ًوَدار ایي خغبّب ثِ ازای تعذاد ًوًَِّبی آهَزش را رسن‬
‫ًوبییذ‪.‬‬
‫‪ً 1( .b‬ورُ) ثب تَجِ ثِ ًوَدارّبی حبصل در هَرد تبثیر تعذاد ًوًَِّبی آهَزش رٍی ثیصثرازش (‪)overfitting‬‬
‫ثحث کٌیذ‪.‬‬
‫سوال ‪ً 74( :4‬وره) رگرسيوى غيرخطی‬
‫‪ .2.4‬در ثسیبری از هسبئل ٍاقعی راثغِی ٍرٍدی ٍ خرٍجی قبثل تقریت زدى ثب یک راثغِی ًوبیی است‪ .‬از ایيگًَِ رٍاثظ‬
‫تحت عٌَاى قبًَى تَاى (‪ )power law‬یبد هیضَد‪ .‬فرض کٌیذ کِ ثذاًین راثغِی ٍرٍدی ٍ خرٍجی قبثل تقریت زدى ثب‬
‫یک راثغِی ًوبیی ثِ صَرت زیر است‪:‬‬
‫ٍ ‪ b ٍ a‬پبراهترّبی هجَْل ثبضٌذ‪.‬‬
‫‪ً 4( )a‬ورُ) ثرای تخویي ایي پبراهترّب ثب استفبدُ از رگرسیَى خغی تَسظ راثغِی‬
‫کٌیذ‬
‫و‬
‫چگًَِ ثبیذ تطکیل ضًَذ ٍ ّوچٌیي پبراهترّبی ‪ b ٍ a‬چگًَِ ثب استفبدُ از‬
‫)‬
‫(‬
‫تعییي‬
‫حبصل پیذا ضًَذ‪.‬‬
‫‪ً 1( )b‬ورُ) ثِ ًظر ضوب آیب تغییر پبراهترّبی هجَْل ثب استفبدُ از یک تبثع یکثِیک (کِ پبراهتر ًذارد ٍ در ٍاقع‬
‫پبراهتر جذیذ ثِ هسبلِ اضبفِ ًویکٌذ)‪ ،‬تبثیری رٍی دقت تخویي دارد؟ تَضیح دّیذ‪.‬‬
‫‪ً 4( .1.4‬ورُ) در هَرد تخویي پبراهتر ثب استفبدُ از رگرسیَى خغی در حبلت زیر ثحث کٌیذ‪:‬‬
‫سوال ‪ً 76( :5‬وره) تخويي ‪ ML‬و‬
‫‪ً 5( )a‬ورُ) فرض کٌیذ‬
‫) (‬
‫‪MAP‬‬
‫) (‬
‫ًوًَِّبی هستقل ثب تَزیع یکٌَاخت‬
‫‪{ ⁄‬‬
‫)‬
‫(‬
‫)‬
‫(‬
‫ثبضٌذ هغلَة است تعییي پبراهتر ثب استفبدُ از تخویي ‪.ML‬‬
‫‪ً 6( )b‬ورُ) فرض کٌیذ‬
‫) (‬
‫) (‬
‫ًوًَِّبی هستقل ثب تَزیع یکٌَاخت (ثٌذ ‪ )b‬ثبضٌذ ٍ ثذاًین کِ پبراهتر‬
‫احتوبل‬
‫پیطیي (‪ )prior‬ثِ صَرت زیر دارد‪:‬‬
‫{‬
‫(‬
‫)‬
‫پبراهتر را ثب استفبدُ از رٍش ‪ MAP‬تخویي ثسًیذ ٍ ًتیجِ حبصل را تَصیف ًوَدُ ٍ ثب ثٌذ قجل هقبیسِ ًوبییذ‪.‬‬
‫‪ً 5( )c‬ورُ) فرض کٌیذ‬
‫تَزیع ًرهبل‬
‫)‬
‫) (‬
‫) (‬
‫(‬
‫‪ً N ،‬وًَِ هستقل ثب تَزیع ًرهبل‬
‫)‬
‫( ثبضذ ٍ ّوچٌیي ثذاًین پبراهتر‬
‫دارای‬
‫هیثبضذ‪.‬‬
‫هغلَثست‪:‬‬
‫‪.i‬‬
‫هحبسجِ تخویي پبراهتر ثب استفبدُ از تخویي ‪.ML‬‬
‫‪.ii‬‬
‫هحبسجِ تخویي پبراهتر ثب استفبدُ از تخویي ‪ً .MAP‬تیجِ حبصل را ثب استفبدُ از‬
‫̂‬
‫ثبزًَیسی ٍ تفسیر کٌیذ‪.‬‬
‫سوال ‪ً 22( 6‬وره)‪ :‬رگرسيوى با رويکرد احتوالی‬
‫‪ً 1( )a‬ورُ) فرض کٌیذ ‪ likelihood‬ضرعی‬
‫ٍ‬
‫‪ ML‬پبراهترّبی‬
‫( یک تَزیع گبٍسی‬
‫)‬
‫) ‪)σ‬‬
‫را هطخص ًوبییذ‪.‬‬
‫‪ً 3( )b‬ورُ) اگر ثخَاّین ثِ جبی تخویي ‪ ML‬در ثٌذ (‪ )a‬از تخویي ‪ MAP‬ثرای پبراهتر‬
‫ثب تَزیع ًرهبل‬
‫)‬
‫( ( ثبضذ‪ .‬رٍاثظ حبصل ثرای تخویي‬
‫استفبدُ کٌین ٍ‬
‫را هتغیری تصبدفی‬
‫( فرض کٌین‪ ،‬هغلَة است پیذا کردى تبثع ّذفی کِ قرار است ثیطیٌِ ضَد‪ّ .‬وچٌیي تبثع ّذف‬
‫حبصل را ثب تبثع ّسیٌِی ‪ SSE‬ثب جولِی هٌظنسبزی ‖ ‖ هقبیسِ کٌیذ‪.‬‬
‫داضتین ثِ ایي صَرت ثَد کِ اگرچِ ایي پبراهترّب ًسدیک ثِ صفر‬
‫‪ً 5( )c‬ورُ) اگر داًص پیطیٌی کِ راجع ثب پبراهترّبی‬
‫ّستٌذ‪ ،‬اهب ثِ دالیلی از قجل ثِ ثعضی از پبراهترّب اجبزُ داضتي هحذٍدُی گستردُتری دادُ ثبضین ٍ ثِ عجبرت دیگر پراکٌذگی‬
‫هقذار پبراهترّبی‬
‫تعییي ضذُ ثبضذ‪ ،‬اثتذا تَزیع ) ( را هطخص ًوبییذ‪ .‬سپس‬
‫از عریق هقبدیر‬
‫تبثع ّذف هرثَط ثِ تخویي ‪ MAP‬را در ایي حبلت هطخص ًوبییذ‪.‬‬
‫‪ً 5( )d‬ورُ) فرض کٌیذ ‪ likelihood‬ضرعی‬
‫یب ثِعجبرت دیگر ًَیس حَل‬
‫)‬
‫( ثرخالف ثٌذ (‪ )a‬یک تَزیع الپالسیي‬
‫)‬
‫( ًَیسی ثب‬
‫تَزیع )‬
‫(‬
‫) )‬
‫( ((‬
‫در ًظر گرفتِ ضَد‪ .‬رٍاثظ حبصل ثرای تخویي‬
‫پبراهترّب را هطخص ًوبییذ‪ .‬در ایي حبلت تبثع ّسیٌِای کِ ثِ دًجبل کویٌِ کردى آى ّستین را هطخص ًوبییذ‪.‬‬
‫]یبدآٍری‪ pdf :‬تَزیع‬
‫الپالسیي )‬
‫(‬
‫فرض ضَد‬
‫[‬
‫‪ً 4( )e‬ورُ) هطخص ًوبییذ استفبدُ از چِ رٍیکرد آهبری هعبدل ثب ‪ SSE‬ثب جولِی هٌظنسبزی ‖ ‖ خَاّذ ضذ‪:‬‬
‫‪ML‬‬
‫‖ ‖‬
‫‪)/‬‬
‫)(‬
‫(‬
‫)(‬
‫‪∑.‬‬
‫) (‬
‫هعبدل ثَدى را از عریق رٍاثظ ًطبى دّیذ‪.‬‬
‫]یبدآٍری‪:‬‬
‫)‬
‫∑(‬
‫‖ ‖[‬
‫‪ً 3( )f‬ورُ) استفبدُ از جولِ هٌظنسبزی ‖ ‖ (در ثٌذ ‪ )e‬در هقبیسِ ثب ‖ ‖ (در ثٌذ ‪ )b‬چِ تبثیری در پبراهترّبی‬
‫حبصل‬
‫هیتَاًذ ایجبد کٌذ؟‬
‫‪( )g‬اختیبری‪ً 5 :‬ورُ) در حبلتیکِ در هسبلِی رگرسیَى ثِ دًجبل حذاقل کردى هیبًگیي قذر هغلق خغب‬
‫ثْتریي تبثع رگرسیَى‬
‫) (‬
‫را پیذا کٌیذ‪.‬‬
‫‪( )-‬‬
‫‪,‬‬
‫ثبضین‪.‬‬