‫نيوسبل اول ‪92-93‬‬
‫يبدگيری هبشين ‪( 44-777‬گروه دوم)‬
‫هدرس‪ :‬سليوبنی‬
‫تورين سری سوم‪ :‬دستهبند درخت تصوين و تئوری يبدگيری‬
‫نوره‪5+64 :‬‬
‫هوعد تحويل‪ 5 :‬آذر ‪( 92‬قبل از ‪ 72‬ظهر)‬
‫سوال ‪ 24( 7‬نوره)‪ :‬درخت تصوين (‪)Decision tree‬‬
‫‪ .1.1‬فشض کٌیذ‬
‫ًقغِ غیش ّوپَضاى دس هشتغ ٍاحذ ]‪( [0 1]×[0 1‬فضای ٍيژگی دٍ تؼذی تا ٍيژگیّای پیَستِ دس تاصُ‬
‫]‪ )1‬تا تشچسة‬
‫‪[0‬‬
‫ٍ – دس اختیاس داسيذ‪ّ .‬وچٌیي فشض کٌیذ دس ساخت دسخت تصوین تتَاى دس عَل يک هسیش اص يک‬
‫ٍيژگی چٌذيي تاس استفادُ کشد‪.‬‬
‫‪ً 3( .a‬وشُ) ثاتت کٌیذ دسختی تا ػوق حذاقل‬
‫ٍخَد داسد کِ هیتَاًذ دادُّا سا تِ دسستی دستِتٌذی‬
‫ًوايذ‪( .‬تَخِ داضتِ تاضیذ کِ دس ّش گشُ دستِتٌذی تِ صَست تايٌشی تا استفادُ اص يک آستاًِ اًدام هیپزيشد)‬
‫‪ً 2( .b‬وشُ) يک هثال ضاهل‬
‫ضاهل‬
‫ًقغِ دس فضای تؼشيف ضذُ اسائِ دّیذ کِ کَچکتشيي دسخت تصوین تشای آىّا‪،‬‬
‫گشُ داخلی تاضذ‪.‬‬
‫‪ .2.1‬اگش دس ساخت دسخت تصوین دٍدٍيی تِ خای اًتخاب گشُ تا تیطتشيي )‪ ،Information Gain (IG‬اص تیي گشُّای تا‬
‫‪ IG>0‬يکی سا تِ صَست تصادفی اًتخاب کٌین‪:‬‬
‫‪ً 3( .a‬وشُ) ًطاى دّیذ دس ّش يک اص تشگّای دسخت حذاقل يک دادُی آهَصش قشاس خَاّذ گشفت‪.‬‬
‫‪ً 3( .b‬وشُ) دس صَستی کِ‬
‫دادُ آهَصش داضتِ تاضین‪ ،‬حذاکثش تؼذاد تشگّای دسخت ساختِ ضذُ چیست؟‬
‫ًتیدِ سا تا حالتیکِ اص تیطتشيي ‪ IG‬تشای اًتخاب گشُ استفادُ هیکشدين‪ ،‬هقايسِ ًوايیذ‪.‬‬
‫‪ .3.1‬دادُّای آهَصش صيش سا دس ًظش تگیشيذ‪ :‬دس ايي هدوَػِ ّش دادُ يک اسثابتاصی تا ٍيژگیّای سًگ‪ ،‬اًذاصُ ٍ صذای‬
‫هطخص است کِ هَسد ػالقِ تَدى يا ًثَدى آى اص ًظش يک کَدک تشچسة خَسدُ است‪:‬‬
‫‪Like‬‬
‫‪Yes‬‬
‫‪yes‬‬
‫‪Yes‬‬
‫‪No‬‬
‫‪No‬‬
‫‪Yes‬‬
‫‪Yes‬‬
‫‪Yes‬‬
‫‪volume‬‬
‫‪loud‬‬
‫‪quiet‬‬
‫‪quiet‬‬
‫‪loud‬‬
‫‪loud‬‬
‫‪loud‬‬
‫‪quiet‬‬
‫‪loud‬‬
‫‪size‬‬
‫‪medium‬‬
‫‪medium‬‬
‫‪small‬‬
‫‪large‬‬
‫‪medium‬‬
‫‪small‬‬
‫‪small‬‬
‫‪medium‬‬
‫‪Color‬‬
‫‪red‬‬
‫‪red‬‬
‫‪red‬‬
‫‪red‬‬
‫‪red‬‬
‫‪blue‬‬
‫‪blue‬‬
‫‪blue‬‬
‫‪1‬‬
‫‪2‬‬
‫‪3‬‬
‫‪4‬‬
‫‪5‬‬
‫‪6‬‬
‫‪7‬‬
‫‪8‬‬
‫‪ً 3( .a‬وشُ) تا هحاسثِ هؼیاس تصوینگیشی ‪ IG‬هطخص ًوايیذ کذام ٍيژگی دس سيطِ اًتخاب هیضَد؟‬
‫‪ً 3( .b‬وشُ) دسخت سا تا استفادُ اص الگَسيتن ‪ ID3‬تکویل کٌیذ‪.‬‬
‫‪ً 3( .4.1‬وشُ) دس صهاى استفادُ اص الگَسيتن ‪ ID3‬يک سٍش هٌاسة تشای تشخَسد تا هدوَػِ دادُّايی کِ هقاديش تشخی اص‬
‫ٍيژگیّای تؼذادی اص دادُّا هَخَد ًیست هؼشفی ًوايیذ‪.‬‬
‫سوال ‪ 24( 2‬نوره)‪ :‬تئوری يبدگيری (‪)Learning theory‬‬
‫‪ .1.2‬فشض کٌیذ دادُّا دس يک فضای ٍيژگی دٍتؼذی ٍاقغ ضذُ تاضٌذ‪ .‬تشای فضاّای فشضیِ صيش تؼذ ‪ VC‬سا هطخص کٌیذ‪:‬‬
‫‪ً 4( .a‬وشُ) دايشُّايی تا هشکض ٍ ضؼاع دلخَاُ (داخل دايشُ تشچسة هثثت ٍ تیشٍى آى تشچسة هٌفی)‬
‫‪ً 4( .b‬وشُ) تیضی دلخَاُ (داخل تیضی تشچسة هثثت ٍ تیشٍى آى تشچسة هٌفی)‬
‫‪ً 6( .2.2‬وشُ) فشض کٌیذ دستِتٌذ‬
‫دس يک فضای ٍيژگی دٍتؼذی تا استفادُ اص قاًَى‬
‫تشچسة سا هطخص ًوَدُ ٍ دستِتٌذی سا اًدام دّذ‪ .‬چٌاىچِ تذاًین دقت ايي دستِتٌذ سٍی ًوًَِّای آهَصش‬
‫‪99%‬‬
‫تَدُ است‪ ،‬دس ّش يک اص دٍ حالت صيش هطخص کٌیذ کِ کافی است چٌذ دادُی آهَصش دس هدوَػِی آهَصش‬
‫تِکاسگشفتِ ضذُ تاضذ کِ دستِتٌذ تا احتوال ‪ 95%‬سٍی تَصيغ اصلی دادُّا ًیض دقت ‪ 98%‬داضتِ تاضذ‪:‬‬
‫‪ .a‬هقاديش ‪ٍ ، ،‬‬
‫‪.b‬‬
‫‪ٍ ، ،‬‬
‫فقظ تتَاًٌذ اػذاد صحیح دس تاصُ ]‪ [0, 99‬تاضٌذ‪.‬‬
‫تتَاًٌذ هقاديشی حقیقی داضتِ تاضٌذ‪.‬‬
‫‪ً 6( .3.2‬وشُ) هدوَػِ‬
‫سا دس ًظش تگیشيذ کِ 〉‬
‫〈‬
‫‪ .‬هدوَػِ‬
‫يک هدوَػِ خْاًی‬
‫تايی اص‬
‫هتغیش تاضذ‪ .‬تشای هثال‬
‫خَاًذُ هیضَد اگش ضاهل تواهی اًتسابّای هوکي تِ اصای ّش صيش هدوَػِ‬
‫هدوَػِ صيش کِ دس آى‬
‫است سا دس ًظش تگیشيذ‪:‬‬
‫ايي هدوَػِ‪ ،‬يک هدوَػِ خْاًی )‪ً (4,2‬یست‪ .‬صيشا تشای ّوِی ) ( صٍج هتغیش 〉‬
‫اًتسابّای هوکي تِ ايي صٍج ًیست‪ .‬دس ٍاقغ تشای 〉‬
‫〈 ضاهل 〉‬
‫〈ٍ〉‬
‫〈‪ ،‬هدوَػِ‬
‫ضاهل تواهی‬
‫〈 ًیست‪ ،‬اگشچِ تشای اًتخابّای‬
‫دٍتايی ديگش اص ٍيژگیّا ضاهل تواهی اًتسابّای هوکي است‪ .‬تشای ّویي هثال هدوَػِ ̅ تِ صَست صيش يک‬
‫هدوَػِ خْاًی )‪ (4,2‬است‪:‬‬
‫فشض کٌیذ کِ يک الگَسيتن داسين کِ تضویي هیکٌذ کِ هدوَػِ خْاًی‬
‫الگَسيتن سا هطخص ًوايیذ‪.‬‬
‫سا تَلیذ هیًوايذ‪ .‬هیضاى پیچیذگی ايي‬
‫سوال ‪ 24( :3‬نوره) پيبدهسبزی درخت تصوين‬
‫دس ايي سَال ّذف پیادُساصی الگَسيتن ‪ ٍ ID3‬تشسسی ػولکشد دسخت تصوین حاصل تش سٍی پايگاُدادُ هشتَط تِ هساتقِ‬
‫تطخیص تخلف دس تشاکٌصّای تاًکی‪ 1‬است‪ .‬ايي پايگاُ دادُ ضاهل ‪ 2112‬تشاکٌص تاًکی است کِ ّش تشاکٌص تا ‪ٍ 22‬يژگی‬
‫هطخص هیضَد ٍ ّوچٌیي تشای ّش تشاکٌص يک تشچسة ٍخَد داسد کِ هطخص هیکٌذ آيا تخلف تاًکی ّست يا ًِ‪ .‬تؼاسيف‬
‫ٍيژگیّای استفادُ ضذُ دس فايل ‪ Dataset_Info‬آهذُ است‪ .‬اص تیي ايي دادُّا تخطی تشای آهَصش ٍ تخطی تشای آصهَى دس ًظش‬
‫گشفتِ ضذُ کِ ضواسُ دادُّايی کِ تِ هٌظَس آصهَى ٍ آهَصش تايذ تِ کاس گشفتِ ضَد هطخص ضذُ است‪.‬‬
‫‪ً 7( .1.3‬وشُ) تا استفادُ اص هؼیاس تصوین )‪ ،Information Gain (IG‬الگَسيتن ‪ ID3‬سا پیادُ ساصی ًوايیذ‪.‬‬
‫‪ .2.3‬تشسسی ػولکشد ‪ ID3‬سٍی پايگاُ دادُی تخلف تاًکی‪:‬‬
‫‪ً 6( .a‬وشُ) تشای ٍيژگیّای راتا گسستِ اتتذا هقاديش هٌحصش تِ فشد سا تؼییي کٌیذ‪ّ .‬وچٌیي تشای ٍيژگیّای‬
‫پیَستِ اتتذا تا تَخِ تِ هحذٍدُی هقاديش ٍيژگی‪ ،‬گسستِساصی ٍيژگی سا اص عشيق تقسین تِ تؼذاد تاصُ اًدام‬
‫دّیذ‪ .‬سپس ًتايح الگَسيتن ‪ ID3‬سا تِ اصای تؼذاد تاصُّای هختلف تشای ٍيژگیّای پیَستِ تِ دست آٍسيذ‪.‬‬
‫‪ً 2( .b‬وشُ) تا تَخِ تِ ًتايح تِ دست آهذُ دس تٌذ (‪ )a‬تاثیش تؼذاد تاصُّا سا تش سٍی ػولکشد دسخت تصوین‬
‫تشسسی ًوايیذ‪.‬‬
‫‪ً 5( .c‬وشُ‪-‬اختیاسی) چٌاىچِ تؼذاد تاصُّای دس ًظش گشفتِ ضذُ تشای ٍيژگیّای پیَستِ اص قثل تؼییي ضذُ تاضذ‪.‬‬
‫يک سٍش هٌاسة تشای خلَگیشی اص تیصتشاصش (‪ )overfiting‬اسائِ ًوَدُ ٍ پیادُساصی کٌیذ‪ً .‬تايح ايي سٍش‬
‫سا سٍی دادُّای آهَصش ٍ آصهَى گضاسش ًوايیذ‪.‬‬
‫‪ً 5( .3.3‬وشُ) هطاتِ ‪ )a(2.3‬ايي تاس ًتايح سا دس حالتیکِ هؼیاس تصوینگیشی دس ‪:Gini index ،ID3‬‬
‫∑‬
‫تاضذ‪ ،‬تِ دست آٍسيذ ٍ تا ًتايح تِ دست آهذُ دس ‪ )a( 2.3‬هقايسِ کٌیذ‪.‬‬
‫‪http://araif.aut.ac.ir/AAIC2012/uploaded_files/Bank_Rules_en.docx‬‬
‫‪1‬‬