‫تمرین اول درس تئوری اطالعات و کدینگ‬
‫زمان تحویل‪ 51 :‬مهر ‪39‬‬
‫سوال اول)‬
‫‪1.1‬‬
‫(‪ )Jensen inequality‬ثابت کنید اگر یک تابع محدب باشد و‬
‫همچنین ثابت کنید که اگر‬
‫احتمال یک‪[ ] ،‬‬
‫]) ( [‬
‫)] [ (‬
‫اکیدا محدب باشد‪ ،‬نامساوی باال نشاندهنده این است که با‬
‫(یعنی‬
‫یک متغیر تصادفی ثابت است)‪.‬‬
‫توجه‪ :‬این مساله را فقط برای حالتی که‬
‫‪1.1‬‬
‫یک متغیر تصادفی‪ ،‬آنگاه‪:‬‬
‫یک متغیر تصادفی گسسته است حل کنید‪.‬‬
‫(‪ )Information inequality‬با استفاده از نامساوی قسمت ‪ 1.1‬ثابت کنید که اگر ) ( و‬
‫) ( دو تابع توزیع احتمال روی مجموعه‬
‫باشند‪ ،‬آنگاه‪:‬‬
‫)‬
‫(‬
‫و تساوی فقط و فقط در صورتی رخ میدهد که برای تمام ها داشته باشیم ) (‬
‫‪1.1‬‬
‫با استفاده از قسمت ‪ 1.1‬ثابت کنید که برای هر دو متغیر تصادفی‬
‫و تساوی فقط و فقط زمانی رخ میدهد که‬
‫‪1.1‬‬
‫)‬
‫و‬
‫و‬
‫) (‬
‫‪،‬‬
‫(‬
‫مستقل باشند‪.‬‬
‫با استفاده از قسمت ‪ 1.1‬ثابت کنید اگر منبعی متغیر تصادفی‬
‫را تولید کند‪ ،‬و‬
‫مجموعهای گسسته با تعدادی محدود عضو باشد‪ ،‬آنگاه بیشترین آنتروپی منبع زمانی خواهد‬
‫بود که احتمال تولید تمام اعضای‬
‫‪1.1‬‬
‫با هم برابر باشد‪.‬‬
‫با استفاده از قسمت ‪ 1.1‬ثابت کنید اگر منبعی داشته باشیم که متغیر تصادفی‬
‫کند و منبع دیگری که متغیر تصادفی‬
‫منبع‬
‫را کم نمیکند‪.‬‬
‫را تولید میکند‪ ،‬آنگاه دانستن‬
‫را تولید می‪-‬‬
‫میزان آنتروپی‬
‫‪1.1‬‬
‫با استفاده از قاعده زنجیرهای برای آنتروپی‪ ،‬و قسمت ‪ 1.1‬ثابت کنید آنتروپی موجود در‬
‫مجموعه چند منبع‪ ،‬از مجموع آنتروپی موجود در تکتک این منابع کمتر‪-‬مساوی است‪ ،‬و‬
‫تساوی زمانی رخ میدهد که منابع از یکدیگر مستقل باشند‪.‬‬
‫‪1.1‬‬
‫آیا میتوانید سه متغیر تصادفی مثال بزنید که دو به دو از یکدیگر مستقل باشند‪ ،‬اما آنتروپی‬
‫مجموعه آنها‪ ،‬از جمع آنتروپی تکتک آنها کمتر باشد؟ (چرا این مثال ناقض قسمت ‪1.1‬‬
‫نیست؟)‬
‫‪1.1‬‬
‫(‪ )Log sum inequality‬با استفاده از قسمت ‪ ،1.1‬ثابت کنید که برای اعداد غیر منفی‬
‫داریم‪:‬‬
‫و‬
‫∑‬
‫∑‬
‫)‬
‫و تساوی فقط و فقط زمانی رخ میدهد که‬
‫(برای‬
‫‪1.1‬‬
‫)و‬
‫∑(‬
‫∑‬
‫مقداری ثابت باشد (دقت کنید که‬
‫‪،‬‬
‫‪).‬‬
‫با استفاده از قسمت ‪ 1.1‬و نامساوی ‪ ،Kraft‬ثابت کنید هر کدینگی که برای یک منبع ارائه‬
‫شود‪ ،‬متوسط طول آن حداقل برابر با آنتروپی آن منبع خواهد بود‪.‬‬
‫‪ 1.11‬منبعی‪،‬‬
‫را با توزیع احتمال ) (‬
‫تولید میکند‪ .‬میخواهیم کدینگی داشته باشیم که‬
‫متوسط طول آن برای هر سیمبل (نه ‪ )over block‬دقیقا برابر با ) (‬
‫باشد‪ .‬شرط الزم و‬
‫کافی برای وجود این کدینگ چیست؟‬
‫سوال دوم)‬
‫از بین سواالت زیر از فصل ‪ 1‬کتاب ‪ ،Cover‬چهار مساله را به دلخواه حل کنید‪( .‬البته توصیه می شود تمام‬
‫مسائل را برای خودتان حل کنید)‬
‫مسائل ‪11-11-11-11-11-11-1-1‬‬
‫سوال سوم)‬
‫کد چهارتایی همینگ را برای منبع زیر بدست آورید‪.‬‬
‫) (‬
‫سوال چهارم)‬
‫سوال ‪ 1‬از فصل ‪ 1‬کتاب ‪. Cover‬‬
‫سوال پنجم)‬
‫سه منبع داریم که اعضای مجموعه‬
‫را با احتمالهای ‪،‬‬
‫و‬
‫تولید میکنند‪ .‬شخصی برای دو منبع‬
‫اول ( و )‪ ،‬برای هر کدام یک ‪ encoder‬بهینه نوشته است‪ .‬می خواهیم یکی از این ‪ encoder‬ها را‬
‫بخریم و برای منبع‬
‫استفاده کنیم‪ .‬ما فقط توابع ‪ Q ،P‬و ‪ W‬را میدانیم‪ .‬کدام ‪ encoder‬را پیشنهاد‬
‫میکنید؟ چرا؟‬
‫به سینمای خزان ماجرای خود دیدم‬
‫شباب با چه شتابی به اسب زد مهمیز‬
‫«شهریار»‬