‫به نام هستی بخش‬
‫تمرین اول‪ :‬مفاهیم اولیه و دستهبند بیز‬
‫تاریخ تحویل‪ :‬شنبه‪ 17 ،‬اسفند ‪29‬‬
‫مفاهیم اولیه آمار و احتماالت‬
‫‪.1‬‬
‫روی یک پارهخط به طول ‪ x‬به طور تصادفی و با توزیع یکنواخت یک نقطه انتخاب میکنیم تا دو پارهخط جدید تشکیل شود‪ .‬امید ریاضی طول پاره‪-‬‬
‫خط بزرگتر را به دست آورید‪.‬‬
‫‪.9‬‬
‫فرض کنید نقاط ‪ y1,…,yn‬به طور مستقل از یک توزیع پواسون با پارامتر ‪ ‬به دست آمدهاند‪ .‬لگاریتم درستنمایی را برای این نقاط بر اساس ‪‬‬
‫بنویسید‪.‬‬
‫‪ .3‬در صورتی که ‪ x‬و ‪ y‬و ‪ z‬سه متغیر تصادفی باشند‪ ،‬درستی یا نادرستی هریک از گزاره های زیر را با ذکر دلیل بیان کنید‪ X Y ( .‬به معنی استقالل دو‬
‫متغیر ‪ x‬و ‪ y‬است‪).‬‬
‫]‪E[ E[ X|Y ] ] = E[X‬‬
‫‪a.‬‬
‫) ] ‪var(X) = E[ var(X|Y ) ] + var( E[X|Y‬‬
‫‪b.‬‬
‫)‪P(X|Y) = P(X)  P(X  Y)=P(X)P(Y‬‬
‫‪c.‬‬
‫]‪X Y  var[X+Y] = var[X] + var[Y‬‬
‫‪d.‬‬
‫]‪X >1  E[X2-X]  var[X‬‬
‫‪e.‬‬
‫)‪P(X|Z) = P(X|Y,Z)  P(X,Y|Z) = P(X|Z) P(Y|Z‬‬
‫‪f.‬‬
‫= ])‪E[FX(X‬‬
‫‪g.‬‬
‫‪1‬‬
‫‪2‬‬
‫‪=0  XY‬‬
‫)𝑌‪𝐶𝑂𝑉(𝑋,‬‬
‫𝑌𝜎 𝑋𝜎‬
‫= 𝑌𝑋𝜌‬
‫مفاهیم اولیه جبرخطی‬
‫‪ .4‬در صورتی که ‪ X‬یک ماتریس ‪ nd‬باشد‪ ،‬مقادیر و بردارهای ویژه ماتریس ‪ XTX‬را بر اساس مقادیر و بردارهای ویژه ‪ XXT‬بنویسید‪.‬‬
‫‪.5‬‬
‫فرض کنید ‪ A‬ماتریسی ‪ mn‬با مرتبه ‪ r‬باشد‪.‬‬
‫الف) بعد هر یک از زیرفضاهای زیر را بنویسید‪.‬‬
‫زیرفضای ستونی یا )‪C(A‬‬
‫زیرفضای پوچ یا )‪N(A‬‬
‫زیرفضای ستونی ترانهاده یا )‪C(AT‬‬
‫زیرفضای پوچ ترانهاده یا )‪N(AT‬‬
‫ب) با جابجایی سطرها کدام یک از زیرفضاهای زیر تغییر می کنند؟‬
‫زیرفضای سطری یا )‪R(A‬‬
‫زیرفضای ستونی یا )‪C(A‬‬
‫زیرفضای پوچ یا )‪N(A‬‬
‫ج) ثابت کنید )‪ N(A‬و )‪ R(AT‬بر هم عمودند‪( .‬عمود بودن دو زیرفضا یعنی هر برداری از فضای اول بر هر برداری از فضای دوم عمود است‪).‬‬
‫‪h.‬‬
‫فاصله ماهاالنوبیس‬
‫‪.6‬‬
‫فرض کنید بردار ‪ x‬در فضای ویژگی از توزیع گاوسی چند متغیره )‪ N(,‬تبعیت می کند‪.‬‬
‫الف) رابطه فاصله اقلیدسی بین ‪ x‬و مرکز گاوسی ‪ ‬را بنویسید‪.‬‬
‫ب) رابطه فاصله ماهاالنوبیس بین ‪ x‬و ‪ ‬را بنویسید‪.‬‬
‫ج) رابطه ب را برای حالتی که ماتریس کواریانس قطری است به ساده ترین شکل ممکن ساده کنید‪.‬‬
‫د) در چه شرایطی فاصله اقلیدسی و ماهاالنوبیس با هم برابر خواهند بود؟‬
‫ه) در چه شرایطی بهتر است از فاصله ماهاالنوبیس استفاده شود؟ آیا شرایطی وجود دارد که در آن استفاده از فاصله اقلیدسی منطقیتر باشد؟‬
‫و) راهکاری برای محاسبه فاصله ماهاالنوبیس دو نقطه ‪ x1‬و ‪ x2‬در این توزیع از یکدیگر ارائه دهید‪ .‬در چه شرایطی این فاصله با فاصله اقلیدسی این دو‬
‫برابر خواهد بود؟‬
‫ی) وجود مقدار ویژه صفر برای ماتریس کواریانس گاوسی به چه معناست؟ این موضوع چه تاثیری بر فاصله ماهاالنوبیس یک نقطه تا مرکز گاوسی‬
‫مربوطه می گذارد؟‬
‫کالسبندی بر پایه احتمال‬
‫‪.7‬‬
‫در یک مساله کالس بندی دو کالسه ‪ ،‬هر یک از کالسها از یک توزیع نرمال با کواریانس برابر تبعیت می کنند‪.‬‬
‫الف) نشان دهید لگاریتم نسبت تشابه (‪ )likelihood ratio‬نسبت به بردار ویژگی ها خطی است‪.‬‬
‫ب) در صورتی که کواریانس کالس اول ‪ a‬برابر کواریانس کالس دوم باشد‪ ،‬مرز دو کالس را به ساده ترین شکل ممکن بنویسید‪.‬‬
‫‪.8‬‬
‫در یک مساله کالس بندی با ‪ c‬کالس کالس ‪ wmax‬را برای متغیر ‪ x‬در صورتی انتخاب می کنیم که‪:‬‬
‫𝑐 ≤ 𝑖 ≤ ‪𝑝(𝑤𝑚𝑎𝑥 |𝑥) ≥ 𝑝(𝑤𝑖 |𝑥) 1‬‬
‫الف) ثابت کنید‬
‫‪𝑐−1‬‬
‫𝑐‬
‫≤ )𝑟𝑜𝑟𝑟𝑒(𝑝‬
‫ب) یک حالت را که در آن نامساوی رابطه الف برقرار است مثال بزنید‪.‬‬
‫‪.2‬‬
‫در یک مساله کالس بندی دو کالسه توزیع هر ک الس از روابط زیر به دست می آید‪( .‬احتمال اولیه دو کالس با هم برابرند و ‪ 11 = 1‬و ‪ 12 = 5‬و‬
‫‪ 21 = 3‬و ‪). 22 = 1‬‬
‫‪𝑥2‬‬
‫‪1‬‬
‫‪𝑒− 2 ,‬‬
‫𝑥∀‬
‫𝜋‪√2‬‬
‫‪1‬‬
‫= ) ‪𝑝(𝑥|𝑤2‬‬
‫‪, −2 <𝑥 < 2‬‬
‫‪4‬‬
‫= ) ‪𝑝(𝑥|𝑤1‬‬
‫الف) کالسبندی که ریسک را کمینه میکند به دست آورید‪.‬‬
‫ب) ریسک کمینه را که این کالسبند به دست میدهد را به طور تقریبی محاسبه کنید‪.‬‬
‫ج) ‪ ‬چگونه باشد تا ‪ 𝜋2‬وجود داشته باشد که اگر احتمال اولیه ) ‪ 𝑝(𝑤2‬بیشتر از ‪ 𝜋2‬باشد‪ ،‬کالسبند همواره ‪ w2‬را به عنوان کالس بهینه انتخاب کند؟‬
‫مرز تصمیمگیری با فرض توزیعهای گاوسی‬
‫‪ .11‬در یک مساله کالسبندی دو کالسه‪ ،‬نمونه های هر کالس از یک توزیع گاوسی در فضای دو بعدی ویژگیها تبعیت میکند‪ .‬پارامترهای توزیع در هر‬
‫کالس به صورت زیر است‪:‬‬
‫‪𝑝(𝑤1 ) = 𝑝(𝑤2 ) = 0.5‬‬
‫‪1‬‬
‫‪],‬‬
‫‪2‬‬
‫‪1‬‬
‫‪−1‬‬
‫‪2‬‬
‫[ = ‪1 = [ ] , 2 = [ ] ,  1 =  2‬‬
‫‪0‬‬
‫‪0‬‬
‫‪1‬‬
‫الف) مرز به دست امده توسط کالسبند بیز را مشخص کنید‪.‬‬
‫ب) اگر ماتریس ضرر به صورت ]‪ 𝑙 = [0 1‬فرض شود‪ ،‬مرز تصمیمگیری چه تغییری میکند؟‬
‫‪0‬‬
‫‪2‬‬
‫ج) در صورتی که داشته باشیم ) ‪ 𝑝(𝑤1 ) = 2 𝑝(𝑤2‬مرز تصمیمگیری قسمت ب چه تغییری خواهد کرد؟‬
‫تمرین برنامه نویسی‬
‫‪ .11‬در یک مساله دستهبندی دو کالسه‪ ،‬برای نمونه های دوبعدی‪ ،‬یک تابع بنویسید که با دریافت بردار میانگین و ماتریس کواریانس هر دسته و با فرض‬
‫احتمال پیشین برابر برای دستهها‪ ،‬توزیع داده های دستهها و مرز بین دو دسته را برای دستهبند بیز نمایﺶ دهد‪ .‬برای چند میانگین و کواریانس‬
‫دلخواه‪ ،‬تصویر خروجی مشخص کننده توزیع دادهها و مرزها را درگزارش خود بیاورید‪.‬‬