‫ﺗﻤﺮﯾﻦ ‪) ٩‬ﻓﺼﻞ ھﺸﺘﻢ ﮐﺘﺎب درﺳﯽ(‬
‫‪ -1‬ﻣﯿﺎﻧﮕﯿﻦ ﻣﺠﺬورات ﺧﻄﺎ‪ 1‬ﺑﺮاي ﺗﺨﻤﯿﻦﮔﺮ ) (‬
‫ﺑﺮاي ﭘﺎراﻣﺘﺮ‬
‫ﺑﻪ ﺻﻮرت زﯾﺮ اﺳﺖ‪:‬‬
‫] ) – ) ( ([‬
‫ﺛﺎﺑﺖ ﮐﻨﯿﺪ اﮔﺮ ‪ θ‬ﯾﮏ ﻣﺘﻐﯿﺮ ﺛﺎﺑﺖ و ﻧﺎﻣﻌﻠﻮم ﺑﺎﺷﺪ‪ ،‬ﻋﺒﺎرت ﺑﺎﻻ را ﻣﯽﺗﻮان ﺑﻪ ﺻﻮرت زﯾﺮ ﻧﻮﺷﺖ‪:‬‬
‫= ] ) – ) ( ([‬
‫=‬
‫) – ]) ( [ ( ‪( ( )) +‬‬
‫‪( ( )) +‬‬
‫)) ( (‬
‫‪ -2‬ﻓﺮض ﮐﻨﯿﺪ‬
‫ﻣﺘﻐﯿﺮﻫﺎي ﺗﺼﺎدﻓﯽ ﻣﺴﺘﻘﻞ از ﯾﮏ ﺗﻮزﯾﻊ ﺑﺎ ﭼﮕﺎﻟﯽ زﯾﺮ ﺑﺎﺷﻨﺪ‪:‬‬
‫‪,…,‬‬
‫≤‬
‫‪≤2‬‬
‫‪1‬‬
‫‪( ; ) = 3‬‬
‫‪0‬‬
‫‪−‬‬
‫‪. .‬‬
‫‪ (a‬ﺗﺨﻤﯿﻦ ﺑﯿﺸﺘﺮﯾﻦ درﺳﺖﻧﻤﺎﯾﯽ‪ 2‬را ﺑﺮاي ﭘﺎراﻣﺘﺮ‬
‫‪ (b‬ﻓﺮض ﮐﻨﯿﺪ ﭘﺎراﻣﺘﺮ‬
‫اﺣﺘﻤﺎل ﭘﯿﺸﯿﻦ‪ 3‬ﺑﻪ ﺻﻮرت زﯾﺮ دارد‪:‬‬
‫≥‬
‫‪. .‬‬
‫ﺗﺨﻤﯿﻦ‬
‫ﺑﯿﺎﺑﯿﺪ‪.‬‬
‫ﺑﺮاي ﭘﺎراﻣﺘﺮ‬
‫‪2‬‬
‫= )‬
‫; (‬
‫‪0‬‬
‫را ﺑﯿﺎﺑﯿﺪ‪.‬‬
‫‪1‬‬
‫)‪MSE (Mean Square Error‬‬
‫)‪MLE (Maximum Likelihood Estimation‬‬
‫‪3‬‬
‫‪prior‬‬
‫‪2‬‬
‫‪ -3‬ﻓﺮض ﮐﻨﯿﺪ‬
‫ﻧﻤﻮﻧﻪﻫﺎي ﺗﺼﺎدﻓﯽ ﻣﺴﺘﻘﻞ از ﯾﮏ ﺗﻮزﯾﻊ ﺑﺎ ﭼﮕﺎﻟﯽ زﯾﺮ ﺑﺎﺷﻨﺪ‪ ،‬ﮐﻪ‬
‫‪,…,‬‬
‫‪ j = 1, 2‬و‪: > 0‬‬
‫‪=1‬‬
‫‪≤ ,‬‬
‫‪1‬‬
‫≤‪0‬‬
‫= ) ‪( ; ,‬‬
‫‪≥ 0, = 2‬‬
‫‪. .‬‬
‫‪0‬‬
‫‪ (a‬ﺗﺨﻤﯿﻦ ﺑﯿﺸﺘﺮﯾﻦ درﺳﺖﻧﻤﺎﯾﯽ ﺑﺮاي ﭘﺎراﻣﺘﺮﻫﺎي ) ‪ ( ,‬را ﺑﯿﺎﺑﯿﺪ‪.‬‬
‫‪ (b‬اﮔﺮ ﻧﻤﻮﻧﻪﻫﺎي ﺗﺼﺎدﻓﯽ ﻣﺸﺎﻫﺪه ﺷﺪه ﺑﻪ ﺻﻮرت ‪ 1, 1, 1, 2, 2, 11‬ﺑﺎﺷﻨﺪ‪ ،‬ﻣﻘﺎدﯾﺮ ﺗﺨﻤﯿﻨﯽ ﺑﺮاي‬
‫) ‪ ( ,‬ﭼﻨﺪ ﺧﻮاﻫﺪ ﺑﻮد؟‬
‫‪ -4‬ﻓﺮض ﮐﻨﯿﺪ‬
‫‪,…,‬‬
‫‪>0‬‬
‫ﻧﻤﻮﻧﻪﻫﺎي ﺗﺼﺎدﻓﯽ ﻣﺴﺘﻘﻞ ﺑﺎ ﺗﻮزﯾﻊ ﯾﮑﺴﺎن زﯾﺮ ﺑﺎﺷﻨﺪ‪:‬‬
‫‪≤ ,‬‬
‫≤‬
‫‪1‬‬
‫‪( ; ) = 2‬‬
‫‪0‬‬
‫‪−‬‬
‫‪. .‬‬
‫ﻣﯽﺗﻮان ﺛﺎﺑﺖ ﮐﺮد ﺗﺨﻤﯿﻦﮔﺮ ) (‪ ℎ‬ﮐﻪ ﺑﯿﻦ ﺗﺨﻤﯿﻦﮔﺮﻫﺎي‬
‫وارﯾﺎﻧﺲ را دارد‪ ،‬ﺑﻪ ﺻﻮرت ﺿﺮﯾﺒﯽ از ) (‬
‫‪ -5‬ﻓﺮض ﮐﻨﯿﺪ‬
‫‪,…,‬‬
‫–‬
‫= ) ( اﺳﺖ‪ ℎ( ) .‬را ﺑﯿﺎﺑﯿﺪ‪.‬‬
‫ﻧﻤﻮﻧﻪﻫﺎي ﺗﺼﺎدﻓﯽ ﻣﺴﺘﻘﻞ ﺑﺎ ﺗﻮزﯾﻊ زﯾﺮ ﺑﺎﺷﻨﺪ‪:‬‬
‫‪>0‬‬
‫ﺑﺮاي ﺗﺨﻤﯿﻦﮔﺮ‬
‫ﺑﺮاي‬
‫=) ; (‬
‫) (‬
‫ﺑﺮاي‬
‫را ﺑﯿﺎﺑﯿﺪ‪.‬‬
‫‪ ،‬ﮐﻤﺘﺮﯾﻦ‬