‫ﺑﻪ ﻧﺎم ﺧﺪا‬
‫ﻧﯿﻤﺴﺎل اول ‪٩۴-٩۵‬‬
‫ﯾﺎدﮔﯿﺮی ﻣﺎﺷﯿﻦ ‪)۴٠-٧١٧‬ﮔﺮوه دوم(‬
‫ﻣﺪرس‪ :‬ﺳﻠﯿﻤﺎﻧ‬
‫ﺗﻤﺮﯾﻦ ﺳﺮی ﺷﺸﻢ‪ -‬ﮐﺎﻫﺶ ﺑﻌﺪ‪ ،‬ﺧﻮﺷﻪﺑﻨﺪی و ﯾﺎدﮔﯿﺮی ﺗﻘﻮﯾﺘ‬
‫ﻧﻤﺮه‪٩۵ :‬‬
‫ﻣﻮﻋﺪ ﺗﺤﻮﯾﻞ‪ ١۵ :‬دی ﺳﺎﻋﺖ ‪٢٣:۵٩‬‬
‫ﺳﻮال ‪ ٢٠)١‬ﻧﻤﺮه(‪PCA :‬‬
‫‪ ١٠) .١.١‬ﻧﻤﺮه( ﻓﺮض ﮐﻨﯿﺪ ‪ a1 , a2 , ..., ad′‬ﭘﺎﯾﻪﻫﺎی ‪ orthonormal‬ﻓﻀﺎی ﺧﻄ ِ ‪-d′‬ﺑﻌﺪی ﺑﺎﺷﻨﺪ ﮐﻪ ‪ .d′ < d‬ﻧﺸﺎن دﻫﯿﺪ ﻣﺘﻮﺳﻂ‬
‫ﻣﺠﺬورات ﺧﻄﺎ ‪ ١‬ﺑﯿﻦ ﯾ ﻧﻘﻄﻪی ‪-d‬ﺑﻌﺪی و ﺗﺼﻮﯾﺮ آن در ﻓﻀﺎی ‪-d′‬ﺑﻌﺪی ﺣﺪاﻗﻞ ﻣ ﺷﻮد اﮔﺮ‬
‫‪ .١‬ﭘﺎﯾﻪﻫﺎ ﺑﺮدارﻫﺎی وﯾﮋهی ﻣﺎﺗﺮﯾﺲ ﮐﻮوارﯾﺎﻧﺲ ) ‪ (Rx‬ﺷﻮﻧﺪ‪.‬‬
‫‪٢‬‬
‫‪ .٢‬زﯾﺮﻓﻀﺎی ‪-d′‬ﺑﻌﺪی ﻓﻀﺎﯾ ﺑﺎﺷﺪ ﮐﻪ ﺗﻮﺳﻂ ﺑﺮدارﻫﺎی وﯾﮋهی ﻣﺘﻨﺎﻇﺮ ﺑﺎ ﺑﺰرگﺗﺮﯾﻦ ﻣﻘﺎدﯾﺮ وﯾﮋهی ‪ Rx‬ﭘﻮﺷﺶ داده ﻣ ﺷﻮد‪.‬‬
‫راﻫﻨﻤﺎﯾ ‪ :‬ﺳﻌ ﮐﻨﯿﺪ ﺣﺪاﻗﻞ ﻣﯿﺎﻧ ﯿﻦ ﻣﺠﺬورات ﺧﻄﺎ را ﺑﺎ وﺟﻮد ﻣﺤﺪودﯾﺖ ‪ aTi ai = 1‬ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬
‫‪ ١٠) .٢.١‬ﻧﻤﺮه( ﻧﻘﺎط ‪ X1 , ..., XN‬را در ﻧﻈﺮ ﺑ ﯿﺮﯾﺪ‪ .‬رواﺑﻂ ﻣﺮﺑﻮط ﺑﻪ ‪ kernel PCA‬را ﺑﻪ ﻃﻮر ﮐﺎﻣﻞ از روی رواﺑﻂ ‪ PCA‬اﺳﺘﺨﺮاج ﮐﻨﯿﺪ و ﮔﺎمﻫﺎﯾ را‬
‫داﺷﺘﻦ ﻣﺎﺗﺮﯾﺲ ﻫﺴﺘﻪی ‪ K‬در روش ‪ kernel PCA‬ﻣﻮرد ﻧﯿﺎز اﺳﺖ‪ ،‬ﻣﺸﺨﺺ ﻧﻤﺎﯾﯿﺪ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﻣﯿﺎﻧ ﯿﻦ اﯾﻦ ‪N‬‬
‫ﺗﺒﺪﯾﻞﯾﺎﻓﺘﻪی دادهﻫﺎ ﺑﺎ∑ (‬
‫ﮐﻪ ﺑﺮای ﭘﯿﺪا ﮐﺮدن )‬
‫‪N‬‬
‫‪X‬‬
‫=‬
‫‪0‬‬
‫ﻧﻘﻄﻪ ﺑﺮاﺑﺮ ﺻﻔﺮ اﺳﺖ‬
‫‪ .‬ﻫﻤﭽﻨﯿﻦ ﺑﺮای ﺳﺎدﮔ ﻓﺮض ﮐﻨﯿﺪ ﭘﺲ از ﺗﺒﺪﯾﻞ ﻧﻘﺎط ﺑﻪ ﻓﻀﺎی ﻣﺮﺑﻮط ﺑﻪ ﻫﺴﺘﻪی ‪ ،K‬ﻣﯿﺎﻧ ﯿﻦ ﻧﻘﺎط ﺻﻔﺮ اﺳﺖ‬
‫‪n‬‬
‫‪n=1‬‬
‫∑(‬
‫)‬
‫‪N‬‬
‫‪.‬‬
‫‪n=1 Φ(Xn ) = 0‬‬
‫ﺳﻮال ‪ ٣۵)٢‬ﻧﻤﺮه(‪ :‬ﺧﻮﺷﻪﺑﻨﺪی‬
‫‪ ١۵) .١.٢‬ﻧﻤﺮه( ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﺷ ﻞﻫﺎ و ﺗﻮﺿﯿﺤﺎت زﯾﺮ‪ ،‬در ﻫﺮﯾ از ﺣﺎﻻت ‪ a‬ﺗﺎ ‪ e‬ﺗﻤﺎم اﻧﺘﺨﺎبﻫﺎی ﻣﻤ ﻦ ﺑﺮای ﻣﺮاﮐﺰ ﺧﻮﺷﻪﻫﺎ)ﭘﺲ از‬
‫ﻫﻤ ﺮاﯾ ( را ﻣﺸﺨﺺ ﮐﻨﯿﺪ‪ .‬ﺗﻮﺿﯿﺢ دﻫﯿﺪ ﻫﺮﯾ از اﻧﺘﺨﺎبﻫﺎﯾ ﮐﻪ ﺑﯿﺎن ﮐﺮدﯾﺪ‪ ،‬ﯾ ﮐﻤﯿﻨﻪی ﻣﺤﻠ ‪ ٣‬ﺑﺮای ﺗﺎﺑﻊ ﻫﺰﯾﻨﻪ اﺳﺖ ﯾﺎ ﯾ ﮐﻤﯿﻨﻪی‬
‫ﺳﺮاﺳﺮی ‪.۴‬‬
‫(‬
‫)‬
‫اﻟﻒ‪ ٣).‬ﻧﻤﺮه( ﺣﺎﻟﺖ دوﺧﻮﺷﻪای ‪ k = 2‬ﮐﻪ ﻧﻘﺎط ﺑﻪ ﺻﻮرت ﯾ ﻨﻮاﺧﺖ در ﯾ داﯾﺮه ﭘﺨﺶ ﺷﺪهاﻧﺪ‪.‬‬
‫(‬
‫)‬
‫ب‪ ٣).‬ﻧﻤﺮه( ﺣﺎﻟﺖ ﺳﻪﺧﻮﺷﻪای ‪ k = 3‬ﮐﻪ ﻧﻘﺎط ﺑﻪ ﺻﻮرت ﯾ ﻨﻮاﺧﺖ در دو داﯾﺮه ﺑﺎ ﺷﻌﺎع ﯾ ﺴﺎن ﭘﺨﺶ ﺷﺪهاﻧﺪ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﻓﺎﺻﻠﻪی‬
‫ﺑﯿﻦ ﻧﺰدﯾ ﺗﺮﯾﻦ ﻧﻘﺎط دو داﯾﺮه‪ ،‬از ﺷﻌﺎع داﯾﺮهﻫﺎ ﺑﺰرﮔﺘﺮ اﺳﺖ‪.‬‬
‫ج‪ ٣).‬ﻧﻤﺮه( ﻫﻤﺎن ﺣﺎﻟﺖ ب ﺑﺎ اﯾﻦ ﺗﻔﺎوت ﮐﻪ ﻓﺎﺻﻠﻪی ﺑﯿﻦ ﻧﺰدﯾ ﺗﺮﯾﻦ ﻧﻘﺎط دو داﯾﺮه‪ ،‬از ﺷﻌﺎع داﯾﺮهﻫﺎ ﮐﻮﭼ ﺘﺮ اﺳﺖ‪.‬‬
‫(‬
‫)‬
‫د‪ ٣).‬ﻧﻤﺮه( ﺣﺎﻟﺖ دوﺧﻮﺷﻪای ‪ k = 2‬ﮐﻪ ﻧﻘﺎط در دو ﺑﯿﻀ ﻣﺴﺎوی‪ ،‬ﺑﻪ ﺻﻮرت ﯾ ﻨﻮاﺧﺖ ﺗﻮزﯾﻊ ﺷﺪهاﻧﺪ‪.‬‬
‫‪Square Eror‬‬
‫‪١ Mean‬‬
‫‪minima‬‬
‫‪minima‬‬
‫‪٣ Local‬‬
‫‪٢ Span‬‬
‫‪۴ Global‬‬
‫‪١‬‬
‫(‬
‫)‬
‫ه‪ ٣).‬ﻧﻤﺮه( ﺣﺎﻟﺖ ﺳﻪﺧﻮﺷﻪای ‪ k = 3‬ﮐﻪ ﺷ ﻞ ﻣﺤﻮر ﺗﻘﺎرن دارد‪ .‬دو داﯾﺮهی ﺑﺎﻻ ﻣﺴﺎوی ﻫﺴﺘﻨﺪ‪ ،‬وﻟ ﻟﺰوﻣﺎً ﺑﺎ داﯾﺮهی ﭘﺎﯾﯿﻨ ﻣﺴﺎوی‬
‫ﻧﯿﺴﺘﻨﺪ‪ .‬ﻧﻘﺎط در ﮐﻞ ﺷ ﻞ ﯾ ﻨﻮاﺧﺖ ﺗﻮزﯾﻊ ﺷﺪهاﻧﺪ‪.‬‬
‫‪ ١٠) .٢.٢‬ﻧﻤﺮه( در اﯾﻦ ﺑﺨﺶ ﻣ ﺧﻮاﻫﯿﻢ ﺑﺎ ﻧﺤﻮهی ﻋﻤﻠ ﺮد روش ‪ EM‬ﺑﺮای ﻣﺪل ﻣﺨﻠﻮط ﮔﻮﺳ ‪ ۵‬آﺷﻨﺎ ﺷﻮﯾﻢ‪ .‬اﺳ ﺮﯾﭙﺖﻫﺎی ﻣﻮرد ﻧﯿﺎز اﯾﻦ‬
‫ﺑﺨﺶ ‪ ۶‬در ﭘﻮﺷﻪی ‪ Q.2.4‬ﺿﻤﯿﻤﻪ ﺷﺪه اﺳﺖ‪ .‬ﭘﺲ از اﺟﺮای ﻫﺮ اﺳ ﺮﯾﭙﺖ‪ ،‬ﺗﻌﺪادی ﻧﻤﻮﻧﻪ در ﻓﻀﺎی دوﺑﻌﺪی ﻧﺸﺎن داده ﻣ ﺷﻮد ﮐﻪ ﻣ ﺧﻮاﻫﯿﻢ‬
‫آنﻫﺎ را ﺧﻮﺷﻪﺑﻨﺪی ﮐﻨﯿﻢ‪ .‬ﻣﻨﺤﻨ ﻫﺎی رﻧ ‪ ،‬ﻧﺸﺎندﻫﻨﺪهی ﭘﺎراﻣﺘﺮﻫﺎی ﮐﻨﻮﻧ ﻫﺮ ﺟﺰء ‪ ٧‬ﻫﺴﺘﻨﺪ‪ .‬ﺑﺎ ﻫﺮ ﺑﺎر ﮐﻠﯿ روی ﺻﻔﺤﻪی ﻧﻘﺎط‪ ،‬ﯾ ﮔﺎم‬
‫از روش ‪ EM‬اﺟﺮا ﻣ ﺷﻮد‪.‬‬
‫اﻟﻒ‪ ٣).‬ﻧﻤﺮه( اﺳ ﺮﯾﭙﺖ ‪ run1.m‬را اﺟﺮا ﻧﻤﺎﯾﯿﺪ‪ .‬ﻣﺸﺎﻫﺪه ﻣ ﮐﻨﯿﻢ ﮐﻪ در واﻗﻊ دو ﺧﻮﺷﻪ دارﯾﻢ‪ ،‬اﻣﺎ ﯾ ﺟﺰء در ﻧﻈﺮ ﮔﺮﻓﺘﻪاﯾﻢ‪ .‬ﺑﺎ‬
‫ﮐﻠﯿ روی ﺗﺼﻮﯾﺮ‪ ،‬ﻣﺮاﺣﻞ را ﺗﺎ رﺳﯿﺪن ﺑﻪ ﻫﻤ ﺮاﯾ ﻣﺸﺎﻫﺪه ﮐﻨﯿﺪ‪ .‬آﯾﺎ ﻣﯿﺎﻧ ﯿﻦ ﺟﺰء ﺣﺎﺻﻞ روی ﻣﯿﺎﻧ ﯿﻦ ﯾ از ﺧﻮﺷﻪﻫﺎ ﻣ ﻧﺸﯿﻨﺪ؟ ﺑﺎ‬
‫ﺗﻮﺟﻪ ﺑﻪ اﯾﻦ ﮐﻪ ‪ EM‬ﺣﺪ ﭘﺎﺋﯿﻨ از درﺳﺖﻧﻤﺎﯾ ‪ ٨‬را ﺑﯿﺸﯿﻨﻪ ﻣ ﮐﻨﺪ‪ ،‬ﻧﺘﯿﺠﻪی ﻧﻬﺎﯾ را ﺗﺤﻠﯿﻞ ﻧﻤﺎﯾﯿﺪ‪ .‬در ﺧﻂ ‪ ١۶‬از اﺳ ﺮﯾﭙﺖ ‪،run1.m‬‬
‫ﻣ ﺗﻮاﻧﯿﺪ ﻣﯿﺎﻧ ﯿﻦ اوﻟﯿﻪی ﺟﺰء را ﺗﻐﯿﯿﺮ دﻫﯿﺪ‪ .‬آﯾﺎ ﺑﺎ ﺗﻐﯿﯿﺮ اﯾﻦ ﻣﻘﺪار ﻣ ﺗﻮان ﮐﺎری ﮐﺮد ﮐﻪ ﭘﺲ از ﻫﻤ ﺮاﯾ ‪ ،‬ﻣﯿﺎﻧ ﯿﻦ ﺟﺰء ﺑﺮاﺑﺮ ﻣﯿﺎﻧ ﯿﻦ‬
‫ﯾ از ﺧﻮﺷﻪﻫﺎ ﺑﺎﺷﺪ؟‬
‫ب‪ ٢).‬ﻧﻤﺮه( اﺳ ﺮﯾﭙﺖ ‪ run2.m‬را اﺟﺮا ﮐﻨﯿﺪ‪ .‬در اﯾﻨﺠﺎ ﺳﻪ ﺧﻮﺷﻪ و ﺳﻪ ﺟﺰء دارﯾﻢ‪ .‬ﻣﺮاﺣﻞ ‪ EM‬را ﺗﺎ رﺳﯿﺪن ﺑﻪ ﻫﻤ ﺮاﯾ اداﻣﻪ دﻫﯿﺪ‪.‬‬
‫آﯾﺎ ﭘﺲ از ﻫﻤ ﺮاﯾ ‪ ،‬ﺳﻪ ﺟﺰء واﻗﻌﺎً ﺗﻮزﯾﻊ ﺧﻮﺷﻪﻫﺎ را ﻣ دﻫﻨﺪ؟‬
‫ج‪ ٢).‬ﻧﻤﺮه( اﺳ ﺮﯾﭙﺖ ‪ run3.m‬را اﺟﺮا ﮐﻨﯿﺪ‪ .‬در اﯾﻨﺠﺎ دﻗﯿﻘﺎً ﻣﺠﻤﻮﻋﻪ ﻧﻘﺎط ﻗﺴﻤﺖ ﻗﺒﻞ را دارﯾﻢ‪ ،‬اﻣﺎ ﻣﻘﺎدﯾﺮ اوﻟﯿﻪی ﻣﯿﺎﻧ ﯿﻦ ﺟﺰءﻫﺎ‬
‫ﻣﺘﻔﺎوت اﺳﺖ‪ .‬ﻣﺮاﺣﻞ ‪ EM‬را ﺗﺎ رﺳﯿﺪن ﺑﻪ ﻫﻤ ﺮاﯾ اداﻣﻪ دﻫﯿﺪ‪ .‬ﺟﺰﺋ ﮐﻪ وارﯾﺎﻧﺴﺶ از ﺑﻘﯿﻪ ﮐﻤﺘﺮ اﺳﺖ‪ ،‬ﺣﺪوداً ﭼﻨﺪ ﻧﻘﻄﻪ را ﭘﻮﺷﺶ‬
‫ﻣ دﻫﺪ؟‬
‫د‪ ٣).‬ﻧﻤﺮه( ﻫﻤﺎﻧﻄﻮر ﮐﻪ در ﻗﺴﻤﺖ ج ﻣﺸﺎﻫﺪه ﮐﺮدﯾﻢ‪ ،‬ﯾ از ﻣﺸ ﻼت ‪ EM‬اﯾﺠﺎد ﺟﺰءﻫﺎی ﺑﺎ وارﯾﺎﻧﺲ ﮐﻢ ﺣﻮل ﺑﺮﺧ ﻧﻘﺎط اﺳﺖ‪.‬‬
‫ﻣ داﻧﯿﻢ ‪ EM‬درواﻗﻊ ﮐﺮان ﭘﺎﺋﯿﻨ از درﺳﺘﻨﻤﺎﯾ را ﺑﯿﺸﯿﻨﻪ ﻣ ﮐﻨﺪ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﺣﺪاﻗﻞ دو ﺟﺰء دارﯾﻢ‪ .‬ﻧﺸﺎن دﻫﯿﺪ اﮔﺮ ﯾ از ﺟﺰءﻫﺎ را ﺑﻪ‬
‫اﯾﻦ ﺻﻮرت در ﻧﻈﺮ ﺑ ﯿﺮﯾﻢ ﮐﻪ ﻣﯿﺎﻧ ﯿﻨﺶ روی ﯾ از ﻧﻘﺎط ﺑﺎﺷﺪ و وارﯾﺎﻧﺲ آن ﺑﻪ ﺻﻔﺮ ﻣﯿﻞ ﮐﻨﺪ‪ ،‬درﺳﺘﻨﻤﺎﯾ ﺑﻪ ﺑ ﻧﻬﺎﯾﺖ ﻣﯿﻞ ﻣ ﮐﻨﺪ‪.‬‬
‫آﯾﺎ وﻗﺘ ﻓﻘﻂ ﯾ ﺟﺰء دارﯾﻢ‪ ،‬اﯾﻦ اﺗﻔﺎق رخ ﻣ دﻫﺪ؟‬
‫‪ ١٠) .٣.٢‬ﻧﻤﺮه( در اﯾﻦ ﺗﻤﺮﯾﻦ ﻣ ﺧﻮاﻫﯿﻢ ﺑﺎ اﺳﺘﻔﺎده از ‪ EM‬ﭘﺎراﻣﺘﺮﻫﺎی ﻣﺪل ﻣﺨﻠﻮط ﺑﺮﻧﻮﻟ ‪ ٩‬را ﭘﯿﺪا ﮐﻨﯿﻢ ‪ .١٠‬ﻧﻤﻮﻧﻪﻫﺎ را ﺑﺎ ‪x1 , ..., xN‬‬
‫(‬
‫)‬
‫ﻧﺸﺎن ﻣ دﻫﯿﻢ‪ .‬ﻫﺮ ﻧﻤﻮﻧﻪ ﯾ ﺑﺮدار ﺑﺎﯾﻨﺮی ﺑﻪ ﻃﻮل ‪ D‬اﺳﺖ ‪ . xn ∈ {0, 1}D‬ﺧﺎﻧﻪی ‪-d‬ام از ‪ xn‬را ﺑﺎ ‪ xnd‬ﻧﺸﺎن ﻣ دﻫﯿﻢ‪ .‬ﻣﺪل ‪ K‬ﺗﺎ‬
‫ﺟﺰء دارد‪ .‬ﭘﺎراﻣﺘﺮ ﻫﺮ ﺟﺰء‪ ،‬ﺑﺮداری ﺑﻪ ﻃﻮل ‪ D‬اﺳﺖ ﮐﻪ ﺗﻤﺎم ﺧﺎﻧﻪﻫﺎی آن در ﺑﺎزهی ]‪ [0, 1‬ﻫﺴﺘﻨﺪ‪ .‬ﭘﺎراﻣﺘﺮ ﺟﺰء ‪-k‬ام را ﺑﺎ ‪ µk‬ﻧﺸﺎن ﻣ دﻫﯿﻢ‪.‬‬
‫ﺧﺎﻧﻪی ‪-d‬ام از ‪ µk‬را ﺑﺎ ‪ µkd‬ﻧﺸﺎن ﻣ دﻫﯿﻢ‪ .‬ﺟﺰﺋ ﮐﻪ ‪ xn‬ﺑﻪ آن ﺗﻌﻠﻖ دارد را ﺑﺎ ﺑﺮدار ‪ zn‬ﻧﺸﺎن ﻣ دﻫﯿﻢ‪ .‬اﮔﺮ ‪ xn‬ﺑﻪ ﺟﺰء ‪-k‬ام ﺗﻌﻠﻖ داﺷﺘﻪ‬
‫ﺑﺎﺷﺪ‪ ،‬آﻧ ﺎه ‪ znk = 1‬و درﻏﯿﺮ اﯾﻦ ﺻﻮرت ‪ .١١ znk = 0‬ﻧﻤﻮﻧﻪﻫﺎی ﺟﺰء ‪-k‬ام ﺑﻪ ﺻﻮرت زﯾﺮ ﺗﻮﻟﯿﺪ ﻣ ﺷﻮﻧﺪ‪:‬‬
‫‪D‬‬
‫∏‬
‫)‪(١‬‬
‫= )‪p(xn |znk = 1‬‬
‫) ‪µxkdnd (1 − µkd )(1−xnd‬‬
‫‪d=1‬‬
‫اﺣﺘﻤﺎل اﯾﻦ ﮐﻪ ﯾ‬
‫)‬
‫ﻧﻤﻮﻧﻪ از ﺟﺰء ‪-k‬ام ﺗﻮﻟﯿﺪ ﺷﻮد ﺑﺮاﺑﺮ ‪ λk‬اﺳﺖ ‪ . p(znk = 1) = λk‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ اﯾﻦ ﮐﻪ ﻧﻤﻮﻧﻪﻫﺎ ﻣﺴﺘﻘﻞ ﺗﻮﻟﯿﺪ ﻣ ﺷﻮﻧﺪ‪:‬‬
‫) ‪p(zn )p(xn |zn‬‬
‫)‪(٢‬‬
‫(‬
‫‪N‬‬
‫∏‬
‫= ) ‪p(z1:N ,x1:N |µ1:K , λ1:K‬‬
‫‪n=1‬‬
‫]‬
‫‪(1−xnd )znk‬‬
‫) ‪(1 − µkd‬‬
‫‪xnd znk‬‬
‫‪µkd‬‬
‫∏ ‪N‬‬
‫∏ ‪K‬‬
‫‪D‬‬
‫∏ []‬
‫‪n=1 k=1 d=1‬‬
‫‪λzknk‬‬
‫∏ ‪N‬‬
‫‪K‬‬
‫∏[‬
‫=‬
‫‪n=1 k=1‬‬
‫‪Mixture Model‬‬
‫‪mgrzes/code/gmmemfit.php‬‬
‫‪۵ Gaussian‬‬
‫‪۶ https://cs.uwaterloo.ca/‬‬
‫‪٧ Mixture‬‬
‫‪Component‬‬
‫‪٨ Likelihood‬‬
‫‪٩ Bernoulli Mixture Model‬‬
‫‪١٠ 9.3.3 from Bishop‬‬
‫‪١١ 1-of-K Coding‬‬
‫‪٢‬‬
‫اﻟﻒ‪ ٢).‬ﻧﻤﺮه( راﺑﻄﻪ ﻣﺮﺑﻮط ﺑﻪ ﮔﺎم ‪ E‬روش ‪ EM‬را ﻣﺸﺨﺺ ﮐﻨﻴﺪ‪.‬‬
‫ب‪ ٨).‬ﻧﻤﺮه( رواﺑﻂ ﺑﻪ روز رﺳﺎﻧ ﭘﺎراﻣﺘﺮﻫﺎی ﻣﺪل ) ‪ λ1:K‬و ‪ (µ1:K‬در ﮔﺎم ‪ M‬ﺑﺎ روش ‪ EM‬را ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬
‫ﺳﻮال ‪ ۴٠)٣‬ﻧﻤﺮه(‪ :‬ﯾﺎدﮔﯿﺮی ﺗﻘﻮﯾﺘ‬
‫‪ ٢۵) .١.٣‬ﻧﻤﺮه( ﻣﺪل ‪ MDP‬زﯾﺮ را در ﻧﻈﺮ ﺑ ﯿﺮﯾﺪ‪ .‬ﮐﻨﺶﻫﺎی ﻣﻤ ﻦ در ﻣﺪل ﭼﻬﺎر ﺟﻬﺖ ﺑﺎﻻ) ‪ ،(U‬راﺳﺖ)‪ ،(R‬ﭘﺎﯾﯿﻦ)‪ (D‬و ﭼﭗ)‪ (L‬اﺳﺖ‪.‬‬
‫در ﻫﺮ ﺣﺎﻟﺖ‪ ،‬ﮐﻨﺶﻫﺎی ﻣﻤ ﻦ در آن ﺣﺎﻟﺖ ﺑﺎ ﻓﻠﺶ و ﭘﺎداش درﯾﺎﻓﺘ ﺑﺎ ﻣﺘﻐﯿﺮ ‪ r‬در ﮐﻨﺎر آن ﻓﻠﺶ ﻧﻤﺎﯾﺶ داده ﺷﺪه اﺳﺖ‪.‬‬
‫ﻓﺮض ﮐﻨﯿﺪ ﮐﻪ دارﯾﻢ ‪. discount factor γ = 0.5‬‬
‫اﻟﻒ‪ ۵).‬ﻧﻤﺮه( ﺳﯿﺎﺳﺖ ﺑﻬﯿﻨﻪ ﺑﺮای اﯾﻦ ﻣﺪل ‪ MDP‬را ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬
‫‪١٢‬‬
‫ب‪ ٧).‬ﻧﻤﺮه( ﺑﺎ اﻋﻤﺎل روش ‪ Value Iteration‬ﻣﻘﺪار ﺣﺎﻟﺖ ‪ S3‬را ﭘﺲ از ‪ ١‬ﺗ ﺮار ‪ ٢ ،‬ﺗ ﺮار و ﺑ ﻧﻬﺎﯾﺖ ﺗ ﺮار ﻣﺤﺎﺳﺒﻪ ﮐﻨﯿﺪ‪.‬‬
‫ج‪ ٧).‬ﻧﻤﺮه( ﻣ داﻧﯿﻢ ﮐﻪ در ﮔﺎمﻫﺎی اﺻﻠ ﺣﻞ ‪ Bellman optimality equations‬در ﻃ ﺑﻪروزرﺳﺎﻧ ﺳﯿﺎﺳﺖﻫﺎ‪ ،‬در ﻫﺮ ﮔﺎم ﺳﯿﺎﺳﺖ‬
‫ﻣﺮﺣﻠﻪی از ﺑﻪروزرﺳﺎﻧ ﻣﻘﺎدﯾﺮ ﺳﯿﺎﺳﺖ ﻣﺮﺣﻠﻪی ﭘﯿﺸﯿﻦ ﺑﻪ دﺳﺖ ﻣ آﯾﺪ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﮐﻪ ﺗﺮﺗﯿﺐ ﮐﻨﺶﻫﺎ در زﻣﺎن ﺑﻪروزرﺳﺎﻧ ﺑﻪ ﺗﺮﺗﯿﺐ‬
‫ﺑﺎﻻ) ‪ ،(U‬راﺳﺖ)‪ ،(R‬ﭘﺎﯾﯿﻦ)‪ (D‬و ﭼﭗ)‪ (L‬اﺳﺖ‪ .‬اﮔﺮ ﺑﺎ ﺳﯿﺎﺳﺖ }‪ {S1 : D; S2 : R; S3 : U ; S4 : D; S5 : U ; S6 : D‬ﺷﺮوع‬
‫ﻧﻤﺎﺋﯿﻢ‪ ،‬ﺳﯿﺎﺳﺖﻫﺎی ﺑﻪ دﺳﺖ آﻣﺪه را ﭘﺲ از ‪ ١‬ﺗ ﺮار‪ ٢ ،‬ﺗ ﺮار و ‪ ٣‬ﺗ ﺮار ﺑﻨﻮﯾﺴﯿﺪ‪.‬‬
‫د‪ ۶).‬ﻧﻤﺮه( اﻟ ﻮرﯾﺘﻢ ‪ Q-learning‬را ﺑﺮای اﯾﻦ ‪ MDP‬درﻧﻈﺮ ﺑ ﯿﺮﯾﺪ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﮐﻪ ﻧﺮخ ﯾﺎدﮔﯿﺮی ‪ α = 0.5‬اﺳﺖ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﮐﻪ‬
‫ﺗﺮﺗﯿﺐ ﮐﻨﺶﻫﺎ ﺑﺮای اﻟ ﻮرﯾﺘﻢ در اﯾﻨﺠﺎ ﺑﻪ ﺗﺮﺗﯿﺐ ﺑﺎﻻ) ‪ ،(U‬راﺳﺖ)‪ ،(R‬ﭘﺎﯾﯿﻦ)‪ (D‬و ﭼﭗ)‪ (L‬اﺳﺖ‪.‬‬
‫‪ .١‬در ﺻﻮرﺗ ﮐﻪ اﯾﻦ ﻋﺎﻣﻞ از ﺣﺎﻟﺖ ‪ S3‬ﺷﺮوع ﺑﻪ ﺣﺮﮐﺖ ﻧﻤﺎﯾﺪ‪ ١٠ ،‬زوج اول )‪ (state،action‬ﻣﻼﻗﺎت ﺷﺪه را ﺑﻨﻮﯾﺴﯿﺪ‪.‬‬
‫‪ .٢‬ﭘﺲ از ‪ ١٠‬ﮐﻨﺶ اوﻟﯿﻪی ﺑﻪ دﺳﺖ آﻣﺪه در ﻗﺴﻤﺖ ﮔﺬﺷﺘﻪ‪ ،‬ﻣﻘﺪار ‪ Q‬ﺑﺮای زوج ) ‪ (S6 , U‬ﭼﻨﺪ ﺑﻪ دﺳﺖ ﻣ آﯾﺪ؟‬
‫‪ ١۵) .٢.٣‬ﻧﻤﺮه( ﯾ ﻣﺪل ‪ MDP‬ﺑﺎ ﺣﺎﻟﺖﻫﺎی }‪ {0, 1, 2, 3, 4‬در ﻧﻈﺮ ﺑ ﯿﺮﯾﺪ ﮐﻪ ﺣﺎﻟﺖ ‪ 4‬ﻣﺤﻞ ﺷﺮوع ﺣﺮﮐﺖ ﻋﺎﻣﻞ اﺳﺖ‪ .‬در ﻫﺮ ﯾ‬
‫از ﺣﺎﻟﺖﻫﺎی ‪ ،1 ≤ k‬ﻋﺎﻣﻞ ﺣﺮﮐﺖ ﻋﺎدی ‪ W‬ﺑﺎ اﺣﺘﻤﺎل ‪ P (k, W, k − 1) = 1‬دارد‪ .‬در ﺣﺎﻟﺖﻫﺎی ‪ ،2 ≤ k‬ﻋﺎﻣﻞ ﻣ ﺗﻮاﻧﺪ ﭘﺮﺷ ﺑﺎ‬
‫اﺣﺘﻤﺎل ‪ P (k, J, k − 2) = P (k, J, k) = 0.5‬ﻧﯿﺰ داﺷﺘﻪ ﺑﺎﺷﺪ‪ .‬ﺣﺎﻟﺖ ‪ 0‬ﯾ وﺿﻌﯿﺖ ﭘﺎﯾﺎﻧ ‪ ١٣‬اﺳﺖ‪ .‬ﭘﺎداش ﺗﻤﺎم ) ‪ (s, a, s′‬ﻫﺎ‪،‬‬
‫‪ R(s, a, s′ ) = (s − s′ )2‬اﺳﺖ‪ .‬ﻓﺮض ﮐﻨﯿﺪ ﮐﻪ دارﯾﻢ ‪. discount factor γ = 0.5‬‬
‫اﻟﻒ‪ ۵).‬ﻧﻤﺮه( )‪ V ∗ (2‬را ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬
‫ب‪ ۵).‬ﻧﻤﺮه() ‪ Q∗ (4, W‬را ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬
‫ج‪ ۵).‬ﻧﻤﺮه( در ‪ MDP‬ﻓﻮق ﻓﺮض ﮐﻨﯿﺪ ﺣﺎﻟﺖﻫﺎ ﻧﺎﻣﺘﻨﺎﻫ اﻧﺪ }‪ {4, 3, 2, 1, 0, −1, ...‬و ﻫﯿﭻ وﺿﻌﯿﺖ ﭘﺎﯾﺎﻧ ﻧﺪارﯾﻢ‪ .‬اﺣﺘﻤﺎﻻت و‬
‫ﭘﺎداشﻫﺎ را ﻧﯿﺰ ﻣﺎﻧﻨﺪ ﻗﺒﻞ ﻓﺮض ﮐﻨﯿﺪ‪ .‬آنﮔﺎه )‪ V ∗ (2‬را ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬
‫‪١٢ Iteration‬‬
‫‪state‬‬
‫‪٣‬‬
‫‪١٣ Terminal‬‬