‫پشٍطُ پایاًی یادگیشی هاضیي‬
‫سٌاسیَ‬
‫ّش هٌغقِای تش سٍی صهیي‪ ،‬داستاًی تشای خَد داسد‪ .‬یکی اص هشهَصتشیي ٍ عجیة تشیي ایي هٌاعق‪،‬‬
‫هٌغقِای تِ ًام هشگ یا صًذگی هیتاضذ‪ .‬گفتِ هیضَد اکسیش جَاًی دس ایي ًاحیِ قشاس داسد‪ .‬تا کٌَى‬
‫اًساىّای صیادی تشای یافتي ایي اکسیش تِ ایي هٌغقِ گام تشداضتِاًذ اها ّیچ یک دیگش تاص ًگطتِ‬
‫اًذ‪ .‬دس چٌذ سال اخیش داًطوٌذاى تا تشسسی ایي ًاحیِ هشهَص تِ ایي ٍاقعیت دست یافتٌذ کِ ایي‬
‫ًاحیِ سوی هی تاضذ‪ .‬ایي سن دس الیِ ّای صیشیي صهیي قشاس داسد؛ اها اص آًجا کِ گسلّای تسیاسی دس‬
‫ایي ًاحیِ ٍجَد داسد‪ ،‬ایي سن تِ سغح صهیي ًفَر هی کٌذ‪ّ .‬وچٌیي هغالعات ًطاى هیدّذ هیضاى‬
‫سوی کِ دس ّشصهاى اص گسل ّا خاسج هیضَد هتفاٍت است‪.‬‬
‫فشؼ کٌیذ تشاساس گسلّا هیتَاى ایي ًاحیِ سا تا یک ضثکِ هاتشیسی ‪ n*n‬هذل کشد ٍ اکسیش‬
‫جَاًی دسیکی اص خاًِّای جذٍل قشاس داسد‪ .‬تشای ًوًَِ ضکل ‪ 1‬یک هذل ساصی اص ًاحیِ هیتاضذ‪.‬‬
‫‪15‬‬
‫‪14‬‬
‫‪13‬‬
‫‪12‬‬
‫‪11‬‬
‫‪10‬‬
‫‪9‬‬
‫‪8‬‬
‫‪7‬‬
‫‪6‬‬
‫‪5‬‬
‫‪4‬‬
‫‪3‬‬
‫‪2‬‬
‫‪1‬‬
‫ضکل ‪ :1‬هذل ساصی ًاحیِ‬
‫هیضاى سوی کِ اص ّش گسل دسّش صهاى تِ سغح صهیي ًفَر هی کٌذ یک هتغیشتػادفی تایک تَصیع‬
‫خاظ است کِ تشای ها ًاضٌاختِ است‪ .‬تِ عٌَاى ًوًَِ‪ ،‬تَصیع هتغیش تػادفی گسل هطخع ضذُ دس‬
‫ضکل ‪ 1‬هی تَاًذ تِ غَست صیش تاضذ‪.‬‬
‫هیضاى سن‬
‫احتوال‬
‫‪10‬‬
‫‪0.8‬‬
‫‪4‬‬
‫‪0.2‬‬
‫دس ایي پشٍطُ یک عاهل یادگیش‪ 1‬عشاحی خَاّیذ کشد کِ هیتَاًذ دس ایي ضثکِ حشکت کٌذ‪ .‬عاهل‬
‫یادگیش تایذ قادس تاضذ تا استفادُ اص الگَسیتن ّای یادگیشی تقَیتی هسیشی سا تِ خاًِای کِ اکسیش‬
‫جَاًی دس آى قشاسداسد پیذا کٌذ تِ عَسی کِ هیضاى سوی تَدى آى حذاقل تاضذ‪.‬‬
‫ًحَُی ساخت هٌغقِ هَسدًظش‬
‫‪ ‬عاهل یادگیش تا حشکت اص سٍی ّش گسل‪ ،‬هقذاس سن آى گسل دس آى لحظِ سا تِ عٌَاى پاداش‬
‫هٌفی دسیافت هیکٌذ‪.‬‬
‫‪ ‬تشًاهِ تایذ داسای ایي قاتلیت تاضذ کِ هحل اکسیش جَاًی ٍ ّوچٌیي هحل گسلّا تا احتواالت‬
‫هَسدًظش سا دس اتتذای اجشای تشًاهِ دسیافت ًوایذ‪ .‬تعذاد هقذاس‪-‬احتوالّای هَجَد تِ اصای ّش‬
‫گسل‪ ،‬عذدی غحیح هیاى ‪ 1‬تا ‪ 5‬است‪ّ .‬نچٌیي هقذاس سنّای هشتَط تِ ّش گسل تِ اصای ّش‬
‫احتوال عذدی غحیح تیي غفش تا ‪ 10‬هیتاضذ‪.‬‬
‫‪ )1 ‬تِ غَست یک فایل هتٌی ٍسٍدی‪ :‬تشًاهِ هیتَاًذ "هقادیش‪-‬احتواالت" تِ اصای ّش‬
‫گسل سا دس اتتذای اجشا اص یک فایل ٍسٍدی دسیافت ًوایذ‪ .‬خاًِّای جذٍل تِ غَست‬
‫ًطاىدادُ ضذُ دس ضکل ‪ 1‬ضواسُگزاسی هیضًَذ‪ .‬فشهت فایل ٍسٍدی تِ غَست صیش‬
‫است‪:‬‬
‫‪Learning Agent‬‬
‫‪1‬‬
‫اتعاد هٌغقِ‬
‫هحل اکسیش جَاًی‬
‫‪= n1‬تعذاد هکاى‬
‫گسل‬
‫اٍل‬
‫هقذاس اٍل احتوال اٍل‬
‫هقذاس دٍم احتوال دٍم‬
‫‪... ...‬‬
‫هقذاس ‪n1‬ام ام‪n1‬احتوال‬
‫‪= n2‬تعذاد هکاى‬
‫گسل‬
‫دٍم‬
‫هقذاس اٍل احتوال اٍل‬
‫هقذاس دٍم احتوال دٍم‬
‫‪... ...‬‬
‫هقذاس ‪n2‬ام ام‪n2‬احتوال‬
‫… …‬
‫تِ عٌَاى هثال هیتَاى تشای ضکل ‪ 1‬جذٍل صیش سا تِ عٌَاى ٍسٍدی دس ًظش گشفت‪:‬‬
‫(ّواىعَس کِ اص سٍی ضکل ًیض هطخع است‪ّ ،‬ش گسل سا هیتَاى تا ضواسُّای دٍ‬
‫خاًِی هجاٍسش ًوایص داد‪).‬‬
‫‪4‬‬
‫‪4‬‬
‫‪16‬‬
‫‪3‬‬
‫‪7‬‬
‫‪6‬‬
‫‪2‬‬
‫‪0.6‬‬
‫‪8‬‬
‫‪0.3‬‬
‫‪5‬‬
‫‪0.1‬‬
‫‪ )2 ‬تِ غَست گشافیکی‪ :‬هیتَاى تِ غَست گشافیکی دس اتتذای تشًاهِ هحل اکسیش‬
‫جَاًی ٍ ّنچٌیي احتواالت‪-‬هقادیش هشتَط تِ ّش گسل سا تعشیف کشد (هثال تا کلیک تش‬
‫سٍی ّش یال)‪.‬‬
‫یادگیشی تقَیتی‬
‫حالت‪ :2‬ضوا هیداًیذ دس ّشصهاى عاهل دس کذام هشتع است‪.‬‬
‫اقذام‪ :3‬تاال‪ ،‬پاییي‪ ،‬چپ ٍ ساست‪.‬‬
‫گزسّای حالت‪ :4‬گزسّای حالت قغعی هیتاضذ‪.‬‬
‫پاداش‪ :5‬تا ّش اقذام عاهل اص یکی اص گسلّا گزس هیکٌذ کِ پاداش آى هتٌاظش تا سوی است کِ اصآى‬
‫گسل تِ صهیي ًفَر هیکٌذ کِ تا تَجِ تِ تَصیع آى گسل تعییي هیضَد‪.‬‬
‫‪ : 6γ‬تػوینگیشی دس هَسد ضشیة گسستگی تستگی تِ تػوین ضوا داسد‪.‬‬
‫سَاالت‪:‬‬
‫سَال‪)1‬‬
‫‪2‬‬
‫‪State‬‬
‫‪Action‬‬
‫‪4‬‬
‫‪State transitions‬‬
‫‪5‬‬
‫‪Reward‬‬
‫‪6‬‬
‫‪Discount Factor‬‬
‫‪3‬‬
‫الف) سیاست‪ π 7‬سا تِ عٌَاى ٍسٍدی گشفتِ ٍ تا استفادُ اص سٍش ‪ first-visit MC‬تاتع اسصش‬
‫‪8‬‬
‫سا‬
‫تخویي تضًیذ‪.‬‬
‫ب) اص الگَسیتن ‪ 𝜖-soft on-policy Mont Carlo control‬تشای تذست آٍسدى تاتع اقذام‪-‬اسصش‬
‫تْیٌِ‬
‫استفادُ کٌیذ‪ّ .‬وچٌیي سیاست ‪ 𝜖-soft‬تْیٌِ‬
‫‪9‬‬
‫سا تذست آٍسیذ‪.‬‬
‫ضشط تَقف دس ایي سَال تعذاد ‪ّ episode‬ایی است کِ تایذ تَلیذ ضًَذ‪ .‬تشًاهِ هی تایست قادس تاضذ‬
‫آى سا تِ عٌَاى ٍسٍدی تگیشد‪.‬‬
‫سَال‪)2‬‬
‫الف) سیاست ‪ π‬سا تِ عٌَاى ٍسٍدی گشفتِ ٍ تا استفادُ اص سٍش )‪ TD(0‬تاتع اسصش‬
‫سا تخویي‬
‫تضًیذ‪.‬‬
‫ب) تا استفادُ اص سٍش عولگش‪-‬هٌتقذ‪ 10‬سیاست تْیٌِ سا تذست آٍسیذ‪ .‬تَجِ کٌیذ کِ هقادیش‬
‫استفادُ ضذُ دس ایي سٍش‪ ،‬هقادیشکًٌَی تاتع هقذاس ّستٌذ کِ تَسظ عولگش ٍ دس حیي اجشای سٍش‬
‫تِ سٍص هیضًَذ‪ .‬تَجِ کٌیذ دس ایي سٍش سیاست تْیٌِ‬
‫تا استفادُ اص سٍش ‪Gibbs‬‬
‫‪ softmax‬تَلیذ هیضَد‪.‬‬
‫ضشط تَقف دس قسوت(‪ )1‬ایي سَال تعذاد ‪ّ episode‬ایی است کِ تایذ تَلیذ ضًَذ‪ .‬تشًاهِ هی تایست‬
‫قادس تاضذ آى سا تِ عٌَاى ٍسٍدی تگیشد‪ .‬ضشط تَقف قسوت (‪ )2‬یک احتوال 𝛿 است کِ تیاًگش ایي‬
‫است کِ هسیشفعلی تا احتوال تیطتش اص 𝛿 تا تَجِ تِ سیاست تْیٌِ اًتخاب هیضَد‪.‬‬
‫گضاسش‬
‫گضاسش تایذ ضاهل هَاسد صیش تاضذ‪:‬‬
‫‪7‬‬
‫‪Policy‬‬
‫‪Value function‬‬
‫‪9‬‬
‫‪Action-value‬‬
‫‪10‬‬
‫هٌظَس سٍش ‪ actor-critic‬است‪ .‬جْت پیادُساصی ایي سٍش تِ سٍاتظ هَجَد دس غفحِ ‪142 ٍ141‬کتاب ‪ Sutton‬هشاجعِ ًواییذ‪.‬‬
‫‪8‬‬
‫‪ )1‬تَضیح دس ساتغِ تا پیادُ ساصی ٍ ًحَُ اجشا ضذى تشًاهِ‬
‫‪ )2‬خشٍجی ّش کذام اص سَاالت تا اًتخاب سیاستّای اٍلیِ ٍ ضشٍط تَقف هختلف هطخع‬
‫گشدد‪.‬‬
‫‪ )3‬خشٍجیّا سا تحلیل ٍ سٍشّا سا تا یکذیگش هقایسِ ًواییذ‪.‬‬
‫اًجام ٍ اسسال پشٍطُ‬
‫‪ ‬ایي پشٍطُ هیتایست تک ًفشُ اًجام ضَد‪.‬‬
‫‪ ‬هَعذ فشستادى پشٍطُ ساعت ‪ 23:55‬سٍص ‪ 1392/11/1‬هیتاضذ‪ .‬ایي پشٍطُ تِ غَست‬
‫حضَسی تحَیل گشفتِ هیضَد‪ .‬ساعت تحَیل ّش فشد هتعاقثا اعالم خَاّذ ضذ‪.‬‬
‫‪ ‬کذ ٍ هستٌذات پشٍطُ سا دس قالة یک فایل ‪ ZIP‬تا ًام ‪( ML92FP_STD.zip‬کِ ‪STD‬‬
‫ضواسُ داًطجَیی ضوا است) پیص اص پایاى هْلت‪ ،‬اسسال ًواییذ‪.‬‬
‫‪‬‬
‫فایل اسسالی هیتایست ضاهل دٍ پَضِ جذا تشای کذ(‪ ٍ )code‬گضاسش)‪ (report‬تاضذ‪.‬‬
‫‪ً ‬کتِ‪ :‬تِ ٍاسظ کاستشی تْتش (اص ًظش گشافیکی) ًوشُ اضافی تیطتشی تعلق خَاّذ گشفت!‬
‫آرام باش‪ ،‬تىکل کن‪ ،‬تفکر کن‪ ،‬سپس آستینها را باال بسن‪ ،‬آنگاه دستان‬
‫خداوند را می بینی کو زودتر از تى دست بو کار شده است‪.‬‬
‫نهج البالغه‬