The strong law of large numbers. Exercise 1. Let (Ω,Y,P) be a

 !"$#&%('*),+#.-0/13254687:9<;=9<>3?A@52BDCFEHGI@JB*@KMLNKM4PORQ8CSB&TJ2JUVBIWFX=Q5YZC*C[G\Q\2]4M^SBI4`_,a bdcebgf[h
KiQBIWKMWkjW[KM482Q\2<lY025WmTJ2Gen`opYq4,YrBILMLNODKMWFX&28C[25WFX&25W[4s25tI25W[4dQJUu2<B&TJ^v@525LiG(W&wIKMW&wD48G`;U
x KM4M^yˆ>zU†_da{X&2db|jc~Wm}€2VB]nkE<G(BIEVWFX&BILMG(LSo xt(BI^[E525K,EJB*2‚@Li2 Ki‘“Q’vQ\G(t\o]K,B 2j„ƒq2<X…TJG(WSQ54|BIW[4†@5254 x 2J25W]‡vBIWFXˆŠ‰ ‹„G(E
ŒŽ
’
–
_eˆZc
‘“’r_M”•c} b˜—“h ˆk™Sš›_M”•cœ
ž†EHG(tI2`4M^SBI4
Ÿs ¡‘“’q¢“} Œ £BIWFX`Ÿs g_P‘“’¤ Œ Fce¥<¢“} Œ „_¦ˆ ¤vFc9
§,¨ KMW[4ª©nkG(E`4M^[2:Q\2JTJG(WFX`CSBIE4MU~Q\254‚«[be_¬”•c~}­ˆk™qš¦_M”•c‚¤v€BIWFXYŠQ\2VKMWFX&28C[25WFX&25WmTJ2‰ ®
¯“°…±²D³
_|‘“’¤ Œ Fce´u}¶µ – b «[bi· ´ }
– «Vbu´ ¸¹ – «b ¼ «&» ¸½ – «Vb ¥ «¾»¥ ¸D¿ – «b ¥ «&»«FÉ ¸ – «[bM«&»«FÉÊ«FË
b
b,—*º »
b,—*º »
ÀHÁÃÂÅÄiÁÃÆHÇMÄ biÈ »eÈ É
ÀHÁÃÂgÄgÁÃÆHÇMÄ biÈ »¦È ÉÊÈ Ë
!"$#&%('*),+#vÌÍ/ÎBILiT5Y&LÅBI482Ÿu Å_|‘“’Ϥ Œ Fc ´ ¢8‰ §,¨ KMW[4ª©…YŠQ\2D4M^[22›ƒÊCFEJ2JQJQ5K|G(WÐB*@5G(tI2]BIWFX
KMWFX&28C[25WFX&25WmTJ2‰ ®
тÒiӛÔkÕPÖN×
’
’
Ÿ• ؑ“’S¢“}ٟÛÚ – b˜—“h ˆk™qš¦_M”•c8Üv} – b˜—“h >z_,a bPcz} Œ ͜
݄ޓßHÓ5ßàÓßáŠÒiâÍßJӝßJãFÕàärä“Ó5åàŠæ¦ÞFßJÔçÕeåèÕ,ޓßRã“ß<émÕ`äÍàÓÕ|êå\ã“ßRÒiÔÕ8åçërÓ<ÔÕDæåZì¾äírÕ8ßî
ã“åŠÕPÒiãqïRÕPÞ0àSÕ>z_da{brðRa•»c}£ ¥yñ ×=ÒiãFárßeäßJã“áSßJã“æÊßî
Ÿs ¡‘’ ¥ ¢“}ٟ Ú – b ˆk™Sš ¸ – b,—*º » ˆk™qšgòZ™ôó Ü } Œ  ¸ Œ _ Œ ¤ÙˆZcd[¥œ
݄ޓßHã ñ ×=ÖgÒiã“ߝàÓ<Ò|ÕÅ×
Ÿ• Å_|‘“’¤ Œ Fc¦¥H¢0}õŸ• ö‘’ ¥ ¢[¤£÷ Œ SŸs ¡‘“’q¢ ¸ _ Œ Fce¥s} Œ „_¦ˆø¤v0c5œ
ù ÖªÕeßHÓ<ã0àqÕPÒªú\ßJÖNׅÒgã“Õ,Ó5å&áFí&æÊßãFß\ûüÓHàã“áråZìýú5àÓ<Ò¬à ñ Ö,ßHÔø«0b“}­ˆk™SšF¤vàã“áÕPޓßHã
Ÿ• Å_|‘“’¤ Œ Fc ¥ ¢“}õŸÛÚ – b « b…¥ ¸ – b,—*º » «0b¬«q»<Üv} Œ „_¦ˆø¤Fc9
ñ ßæàSíIÔ5ß Ÿ• þ« b ¥ ¢“}ٟs Å_¦ˆV¤£÷5Fcˆk™Sš ¸  ¥ ¢0}€„_¦ˆø¤v0cû~ÞSÒiÖ,ß
Ÿ• Ø«[be«&»J¢“}üŸs ˜ˆk™qš|òZ™ôóz¤͈k™qš“¤͈™ôó ¸ [¥H¢“}ÿ‡qœ
݄ޓßzÔßæÊåZã“á Sí&ßJÔÕPÒ,å\ãpÒiÔ ZíÔkÕ3à{ì]àSÕ<Õ8ßJÓå ,æ5à(Ó5ß eí
Ö •æÊå&íIãFÕPÒgãSï u݄ޓßzìß\ÕPޓå&áíIԛÒiãSï
Õ,ޓßz«[b¬Ôsû~åZÓ ŠÔøû~ßJÖiÖ |åZÓuÕ,ޓßërã0à(Ö Sí&ßJÔÕPÒdåZã ñ ßÊæ5àSíIԝß~Ÿs Ø«[b8«&»Ê«0ÉÊ«FË ¢“}ۇ{Ò [<9 ô9“9màÓ5ß
áŠÒgÔkÕ,Òiã“æ\Õ ªÕ,Þ“ß SíIÒ,æ .ûà5×èÕ8åÔ5ßÊßDÕPÞrÒgÔ:ÒiÔpÕ8å=íIÔ5ßDÕ,Þ“ß ,àŠæ\Õ:ÕPÞ0àqÕ:ÕPÞ“ß |åŠíIÓpú5àÓ<Ò¬à ñ ÖdßJÔ
àÓßuÒgã“árßeäßJãFárßJãFÕàã“áԝå:Ÿs Ø«[be«&»«FÉÊ«FËN¢F}ٟ• Ø«[bª¢˜Ÿu þ«&»Z¢˜Ÿs Ø«0ɏ¢˜Ÿ• Ø«0Ëd
¢ {à(ã“áyŸs Ø« ¼b «q»J¢F}ۇ
҄›9 …àÓßáŠÒiÔÕPÒgã“æZÕàãFáÏԝå
Ÿ• g_P‘“’¤ Œ Fc8´J¢F}õŸ µ – b «[b · ´ ! } – b Ÿ• þ«]b ´ ¢ ¸è¿ – b,—*º » Ÿs þ«]b ¥ «¾» ¥ ¢“}
Œ _N„_¦ˆø¤v0c ´ ¸ _¦ˆø¤v0cd ´ c ¸€½ Œ _ Œ ¤ÙˆZcd ¥ _¦ˆø¤vFc ¥ œ
"$#&%(')+*&, -/.0214356#17.982: ;<>=?;&@AB<C@&D
EGFHD;&<JIK=KLINMJILINOQPK<C@DRSOT <JIUNMSV
RC<JTWDX<JYNZO[<JINU]\  ‡D;(<^IMSILIO_PK<C@DRJO[I?`VaYbOQTc@ ANOQI
>z_dF  *\ cce Ÿ• føF ¢hgJr\ œ
!"$#&%('*),+#jÍi /ž†EHG(tI2c" BIE*k G(t6, Q{KMWm2<lYSBILNKM4PO@OTJG(oCSBIEKMW&w4M^[2 E›BIWFX&G(o t(BIE5K,B*@Li2lF
x KM4M^4M^[2VKMWFXIK|T<BI4eG(E`E›BIWFX&G(o t(BIEK,B*@Li2Gen`4M^[2p25tI25W[4
mo
” n?Fy_¬”•c  \pŠœ
!"$#&%('*),+]# q„+/ ruOB5C*CFLNO(KMW&]w "ŽBIE k*G(6t , QKMWm2<lYSBILNKM4PO=4eGR4M^[2DEH2JQ5YqLN4MQ…Gen4d^[2CFEH25t\K|G(Y*Q
2›ƒq25EHT5KiQ\2sCFEHG(tI2`4M^SBI4†4M^[25EH2p2›ƒôKiQ54dQB…TJG(WSQ54ªBIW[t4 s Q\Gp4d^SBI4
> 6 u ‘“K’ g Œ ¤= u w v ? e v ´ s Œ ¥ nkG(E¾BILML ŒŽ ˆôœ
§,¨ KMW[4ªy© xª{K z x ^[25WDKiQ{_|‘“’„¤ Œ 0c ´ ÙŒ ´ v ´ | xªKM{K z~}]^[25W]O*G(YDY*Q\l2 "BIE k*G(6t , QøKMWm2<lYrBILNKM4,O\U
x Ñ$^Så\BIÓ 4†àBIÖiEHÖ02V”OŠG(û~Y]ß:w&Þ[G(àŠKMú\W&ß wD48GYŠQ\2B(QVO*G(Y&EVE›BIWFX&G(o t(BIEK,B*@Li2JtU F | ®
Fy_¬”•c  \Sˆ €9‚ ƒ„…€J† ?f ‡Wˆ _¬”•c59
û~ޓßHã“æß ñ ×ÕPޓߕäåZÔ<Ò|ÕPÒ|úZÒ|ÕÅ×ä“Ó5å5äßJÓÕÅ×å~ß<éIä~ßÊæZÕ|àSÕPÒdåZã
Ÿsf F ¢  Ÿ•‰ \rˆ €9‚ ƒ„…€J† ?f ‡Wˆ ¢FŠ} \>_‹F  \*cœ
Œ:ߝê|àÓ<ÓHàãSï*ÒgãSïAÕ,ÞrÒiÔ`ï*Ò|úZßJÔ àÓ ŠåI7ú Ž ÔpÒiãF_ß Sí*àÖgÒªÕÅ?× ×ämӝßZú\Ò,å&íÔß<é0ßHÓ5æJÒgÔ5ßpŸ• Å_|‘“’¤
ŒFà(c Ó ´ &~¢ åIe6ú Ž Ô{s Òg㓌 _ß ¥ Sí*|àåZÓ=ÖgÒªÕÅà×ŽãÛÕeaå àärFÿä“Ó5} å5äm_|ӛ‘“ÒM’àSÕ8¤ ~ß s Fc 㓴 å&û~Õ]ÒªÕ,ár]Þ ß8ä~\yßH}ã“áŠÒiãq´ ï ´ åZûã ߌ Þ0à*úZß Ý„Þ“ßJãàärämÖN×SÒiãSï
Œ
Œ v
> >6 u ‘“J’ g Œ ¤v u w v ? } > 6 _P‘“’¤ Œ Fce´ ‘ v ´ Œ ´ ? e v ´ s Œ ¥ œ
“’ MMJ”jYB<J•”–<—@[@ ANO˜NTWOQR?DMJ`N;[™lMSTW”9;ANOQOQ@aOQIK@ D@ZOQU ¨ G x oBIW[OjtI2JQDBIEH24M^[25EH2
KMWÐ4M^[2ÏX&2JT5KMoBIL†2›ƒÊCSBIWSQ5K|G(W GenDBE<BIWFX&G(oýW[Yqo@525E |›š ANO_TWOJœ<JZ
@ ANMJ`NPSA–™lOžUNDUNI6Ÿ…@
`N;WO+@ AD;&INMC@<C@DMSI7œ™ Oa;W@`NUNDOQU/@ ANO+; <JV^˜NZO;˜B<C•_Op7 } ؇q9kˆZc(™(D
@ Av;¡YO_DIP¢@ ANO
£lMJTO_Z“¤L¥<JZPSO_YNT<<JIN…
U >ç}‘¦G§>¨>©GªEt™ OUNOQ«BIOE¬MSuT   ˆ[@ AOO­RSOQI9@a{b®YK=
a bm} m>¯/° þ‡S9kˆ\cln ¯ b$}²±?Šp 9
™(ANOQTO ¯ b“D; @AN:O d@A$UNDPJD@ DI¢@ANO&UNOQ•_DVž<JZO­³˜B<JI;DMJI$MJE ¯ œ@ANO_I$@ AO_;O[O­RSOQI9@;2<JTO
Va`@ `B<JZZ=žDINUO_˜O_INUNOQIK@´©
!"$#&%('*),+#j͵ /+ø% 2JT<BILML[4M^SBI44M^[2nEH2<lY[25WmT5OGenÍjtI2JQ{KMW4d^[2„jEHQ54 Œ X&2JT5KMoBILICFLÅB&TJ2JQGen
B=W[Y&o@525E ¯o° þ‡S9kˆZcpKiQDX&25WmG(482<X@O·\¶ ’[‰¸Í5 Q5KMW&wvO*G(Y&EEH2JQ5Y&LN4dQønEHG(o 4M^[2:CFEH25t\K|G(Y*Q
2›ƒq25EHT5KiQ\2JU$CFEHG(tI2`4M^SBI4†4M^[25EH2p2›ƒôKiQ54dQVBRTJG(WSQ54ªBIW[4t
s Q\G4d^SBI4
¦§>¨ m>¯¹° þ‡S9kˆZcln u Z¶ ’r_ ¯ c‚¤Ùˆqg ˆk‡ u  ÷9º É p+e‘¾s ÷(´ É g Œ ¥snkG(EVBILML Œ œ
gÒ ã“æß+¶\’[_ ¯ c:} ˆ g Œ¼ ’b˜—“h ˆk™qš¦_ ¯ c:}‘“’r_ ¯ cWg Œ àã“áR>z_,a bPc:}½¦§>¨_da{b,c} ˆ>gqˆ\‡ûß
Þ0à*ú\ß
¦G§>¨ m>¯¹° ؇S9ˆZcln u ¶\’[_ ¯ c‚¤Ùˆgqˆ\‡ u wv p`} > 6>u ‘“’Kg Œ ¤ u wv ? e ´ s ¥ œ
v Œ
¾åI~
û ZíIÔkÕøÕ|Cà &ß v }÷ º É !"$#&%('*),+j# ¿Í+/ %ø2JT<BILML04M^SBI4 x 2CFEJG(tI2<·X xeB(QJQ5Y&opKMW&w4M^[2¾2JQ54,KMoBI4e2„nEHG(o4d^[2CFEH25t\K|G(Y*Q
2›ƒq25EHT5KiQ\2 z4M^SBI4
¦§>¨ m>¯/° ؇q9kˆZlc n9¶\’[_ ¯ Gc À ˆ gqˆ\‡vB(Q Œ À Á²p:} ˆôœ
»
„‹ G(EopYqLÅBI482BIWFX¾CFEJG(tI2yBÏo]G(EH2:w&25Wm25E<BIL3EH2JQ5Y&LN4{TJG(WmTJ25EW[KMW&w]4d^[2¾E›BIWFX&G(o t(BIE5K,B*@Li2JQ
‘“’X&2djWm2<XKMW4M^[2jEHQ54ø2›ƒq25EHT5KiQ\2‰ §,¨ KMW[4ª©øQ54|BIO…T<BILNo^ ®
݄ޓßÏïqßJã“ßHÓJàÖ Ó5ßHÔkíIÖ|Õ`ÒgÔvÕ,Þ0àSÕ8îøÒ _,a b,cebif[hyÒiÔDàãèÒiãrërãSÒªÕeßDԝ_ß Sí&ßJãFæßå {ì…írÕ<íôàÖiÖN×
Ògã“árßeäßJãFárßJãFÕ ß\úZßJãFÕ,Ô5îzû~ÒªÕ,Þ=>z_da{’ bPcu}ü¹ |åZÓ:àÖiÖ́:û~ÞFßJÓ5ßsÒiÔ{Ô5åZì…ßë&éFßÊáæåZãSÔkÕªà(ã“Õ
ñ ßZÕªû~ßßHã‡Dàã“á=ˆyà(ã“áϑ“’¾} ¼ b˜—“h ˆk™Sš†ÕPÞFßJã
>_|‘“+’ À vàÔ Œ À ÁÙc~}­ˆôœ
ÅߕämÓ5åIúZßÒªÕ ñ ×=ãFå&ÕPÒgãSïRÕPÞ0àqÕeîíIԛÒiãSï=ÕPÞFßVßHÔkÕ,Òiì]àSÕeßVû~ß{Þ0à*úZßVárßJӛҪúZßÊáämӝßZú\Ò,åŠíIÔ<ÖN×ôî
– Ä > >6 u ‘“J’ g Œ ¤v u  9÷ º É ? ews¾÷(´ É – Ä Œ º&2¥ ÅwÁÛ9
’\—“h
’\—“h
ԝåôî ñ ×.ÕPޓß{ërӛÔkÕ  åZӝßJÖiê Æ~àãFÕeßHÖiÖgÒmÖ,ßHìDì]àŠî
– Ä > 6 u ‘“K’ g Œ ¤v u  9÷ º É |åZÓuÒgãrërãrÒ|ÕeßJÖNׅì]àãI× Œ ? }ۇS9
’\—“h
àãFá
mÇ
” n&‘“’r_M”•c g Œ À 7 pȂÊ} É É m ” u ‘“’r_¬”•c g Œ ¤ u  ÷ º É |åZÓuÒgãrërãrÒ|ÕeßJÖN×ì]àãI× Œ p
ԝåôî[ԛÒiã“æÊßVÕPޓß{æå&íã“Õ|à ñ ÖdßVíIãrÒdåZã=å $ãFíIÖgÖmԝßZÕPԕÒiԕãFíIÖgÖ,î$ÕPޓß{ßZú\ßJãFÕøÕPÞ0àSՂ‘“K’ g Œ árå&ßJԛ 㠎ÃÕ
æÊåZãFúZßJÓ¦ïSßyÕeå vÞ[àÔzämÓ5å ñ à ñ ÒiÖgÒªÕÅ¢× Ë(ßHÓ5?å