‫تمرین سری دوم درس‬
‫تئوری اطالعات و کدینگ‬
‫موعد تحویل‪ 3 :‬آبان ‪33‬‬
‫سوال اول)‬
‫معنی عبارت زیر را به صورت دقیق ریاضی بنویسید‪:‬‬
‫‪equals‬‬
‫‪to the first order in the exponent.‬‬
‫سوال دوم)‬
‫‪ .1‬برای دنباله های تولیدی‬
‫به طول‬
‫از منبع‬
‫‪ ،‬سه مجموعه ‪ typical‬مختلف‪ ،‬به سه روش زیر‬
‫با توزیع‬
‫تعریف کنید (الزم نیست ‪ typical‬بودن مجموعه ها را ثابت کنید)‪:‬‬
‫‪ .a‬بر اساس احتمال تولید شدن هر کدام از رشته ها‪.‬‬
‫‪ .b‬بر اساس فاصله ‪ KL‬توزیع حاصل از فرکانس رشته (‬
‫‪ .c‬بر اساس فاصله‬
‫‪ .2‬نشان دهید اگر‬
‫و‬
‫از‬
‫‪ ،‬فاصله‬
‫دو زیر مجموعه از‬
‫) با توزیع‬
‫از‬
‫)‪.‬‬
‫(یعنی‬
‫و ‪ ...‬فاصله‬
‫باشند که‬
‫از‬
‫‪.‬‬
‫و‬
‫‪ ،‬آنگاه‬
‫‪.‬‬
‫‪ .3‬مجموعه‬
‫است (‬
‫را به عنوان زیرمجموعه ای با کمترین تعداد عضو از‬
‫در نظر بگیرید که احتمال آن بیشتر از‬
‫)‪ .‬با استفاده از قسمت باال ثابت کنید‬
‫‪to the first order in the exponent.‬‬
‫(راهنمایی‪ :‬از مجموعه ‪ typical‬ای که در قسمت ‪ 1.a‬تعریف کردید کمک بگیرید‪).‬‬
‫سوال سوم)‬
‫‪ .1‬قضیه ‪ Asymptotic Equipartition Property‬چیست؟‬
‫‪ .2‬فرض کنید می خواهیم یک بالک بزرگ که از یک منبع‬
‫تولید شده را با یک روش بهینه (مثل هافمن) کد کنیم‪.‬‬
‫چگونه قضیه ‪ AEP‬باعث اطمینان ما از تعداد بیت های الزم برای کد کردن این بالک می شود؟‬
‫سوال چهارم)‬
‫از انتهای فصل ‪ 3‬از ویرایش دوم کتاب ‪ 2 ،Cover‬مساله از مسائل زیر را به انتخاب خودتان حل کنید‪:‬‬
‫سوال های ‪2،،،،،3،12‬‬
‫سوال پنجم)‬
‫از انتهای فصل ‪ 11‬ویرایش دوم کتاب ‪ 2 ،Cover‬مساله از مسائل زیر را به انتخاب خودتان حل کنید‪:‬‬
‫سوال های ‪11 ،1، ،12 ،13 ،12 ،11 ،، ،3‬‬
‫الهی!‬
‫کار آن دارد که با تو کاری دارد‪.‬‬
‫یار آن دارد که چون تو یاری دارد‪.‬‬
‫مناجات نامه «خواجه عبداهلل انصاری»‬