¨ ˙ us ¨ ¸um ¨ Entropisi ile S¨ozcuklerin ¨ Izd Obeklenmesi Is¸ık Barıs¸ Fidaner Bilgisayar M¨uhendisli˘gi B¨ol¨um¨u ¨ ˙Istanbul Bo˘gazic¸i Universitesi, [email protected] Ali Taylan Cemgil Bilgisayar M¨uhendisli˘gi B¨ol¨um¨u ¨ ˙Istanbul Bo˘gazic¸i Universitesi, [email protected] ¨ Ozet Entropi toplas¸ması (ET) algoritmasını bir edebiyat metnindeki s¨ozc¨uklerin o¨ beklenmesine uygulamaktayız. ET, o¨ g˘ e k¨umelerinde parc¸alılı˘gı niceleyebilen izd¨us¸u¨ m entropisi (˙IE) fonksiyonunu en k¨uc¸u¨ k yapan hasis bir toplas¸ma yordamıdır. Metin, uygulamada bir o¨ zellik atamasına, s¨ozc¨uklerin metnin paragraflarında bulunmalarını temsil eden bir biles¸imsel nesneye indirgenmektedir. Deney sonuc¸ları indirgeme ve basitli˘gine ra˘gmen ET’nin metindeki s¨ozc¨ukler arasında belirgin ilis¸kilerin yakalanmasında kullanıs¸lı oldu˘gunu g¨ostermektedir. Python’da yazılan bu yordam, REBUS adıyla bir o¨ zg¨ur yazılım olarak yayınlanmıs¸tır. 1 Giris¸ Do˘gal dil is¸leme (DD˙I) problemleri, dillerde bulunan c¸ok c¸es¸itli incelik ve mu˘glaklıklar dolayısıyla ¨ yandan, s¨ozl¨u ve yazılı diller ortak zeminimizi olus¸turdu˘gundan, bu birc¸ok zorluk ic¸ermektedir. Ote problemlerin farklı alanlardaki insanlara tanıtılması m¨umk¨und¨ur. Bu zorluklara jenerik istatistiksel kavramlarla yaklas¸ılması o¨ zellikle elveris¸lidir, c¸u¨ nk¨u bu kavramlar biyoenformatik gibi bas¸ka zorlu alanlarda da de˘gerlendirilebilecektir. Bu makale, bir edebiyat metnindeki s¨ozc¨ukleri o¨ bekleyerek, yakın zamanda tanıtılmıs¸ [1] entropi toplas¸ması (ET) algoritmasının kullanımını o¨ rneklemektedir. G¨uncel DD˙I y¨ontemlerini izleyerek metinlerde temel o¨ g˘ elerin s¨ozc¨ukler oldu˘gunu varsaymaktayız [2, 3]. Ayrıca metin c¸o¨ z¨umlemesine basitles¸tirilmis¸ bir yaklas¸ım olarak, dizisel sıralamaları g¨ozardı etmekte, paragrafları birer s¨ozc¨uk k¨umesi, metnin tamamını bir paragraf k¨umesi saymaktayız. Geleneksel istatistiksel c¸o¨ z¨umlemede bu verideki s¨ozc¨uk k¨umelerinin paragraflardaki es¸-bulunmaları birles¸ik olasılıklar cinsinden form¨ule edilir. Bu olasılıksal form¨ulasyon parametrik-olmayan Bayesci modeller kullanılarak sınırsız sayıda s¨ozc¨ug˘ e genis¸letilebilir [4]. Fakat biz farklı bir ac¸ıdan yaklas¸maktayız: s¨ozc¨uk k¨umelerinin izd¨us¸u¨ m entropilerini (˙IE) hesaplayarak bunları—metindeki s¨ozc¨ukler arasında anlamlı korelasyonları bulmak ic¸in—entropi toplas¸ması (ET) denilen o¨ bekleme algoritmasında kullanmaktayız. ˙Ilis¸kili istatistiksel kavramları [1] yine kısaca de˘gerlendirece˘giz. Makalenin devamında, girdi verisinin o¨ zellik atamalarıyla nasıl temsil edildi˘gini, izd¨us¸u¨ m entropileriyle nasıl nicelendi˘gini ve entropi toplas¸masıyla nasıl o¨ beklendi˘gini tanımlamakta, bir yandan da deney yordamını tarif etmekteyiz. Makalenin sonunda sunulan sonuc¸larda, algoritmamızın girdi metnindeki s¨ozc¨ukler arasındaki c¸es¸itli anlamlı ilis¸kileri yakalayabildi˘gini g¨ostermekteyiz. ˙Izd¨us¸u¨ m entropisini es¸-bulunma ile kars¸ılas¸tırmalı olarak ele alan ek bir tartıs¸maya Ek A’da yer verilmis¸tir. 2 Girdi metni ve temsil edilis¸i Girdi metni olarak James Joyce’un Ulysses’ini1 (1922) sec¸tik. Bu metin 7437 paragraftan olus¸makta ve 29327 ayrı s¨ozc¨uk ic¸ermektedir. Bizim bilmek istedi˘gimizse hangi s¨ozc¨uklerin hangi paragraflarda bulundu˘gundan ibarettir. Bu bilgi S¸ekil 1’de alttaki s¨ozc¨uk o¨ g˘ elerini u¨ stteki paragraf o¨ g˘ elerine ba˘glayan iki taraflı bir c¸izge ile belirtilmis¸tir. n ayrı s¨ozc¨uk ic¸eren herhangi bir metni temsil eden o¨ zellik ataması s¸o¨ yle tanımlanacaktır: Bir o¨ g˘ e k¨umesi [n] = {1, 2, . . . , n}’nin bir o¨ zellik ataması 1 Bu romanın tam metnine http://www.gutenberg.org/ebooks/4300 adresinden eris¸ilebilir. 1 B1 B2 B3 B4 ... B|F | Entropi: H(F ) = ... P|F | i=1 |Bi | n log |Bni | ˙Izd¨us¸u¨ m: P ROJ(F, S) = {B ∩ S}B∈F \{∅} ... ˙Izd¨us¸u¨ m entropisi: H(P ROJ(F, S)) a b c d e f g h x S¸ekil 1: Metni temsil eden o¨ zellik atamasındaki her blok bir paragrafı temsil eder. F = {B1 , . . . , B|F | } s¸unu sa˘glayan bir c¸oklu-k¨umedir: b¨ut¨un i ∈ {1, . . . , n} ic¸in Bi ⊂ [n] ve Bi 6= ∅. Bu tanımlamadaki bloklar B1 , . . . , B|F | girdi metnindeki paragrafları temsil edecektir. S¸ekil 1’de verilen tanımlamalara bakınız. Entropi F ’nin blokları bakımından o¨ g˘ elerin parc¸alılı˘gını ¨ gelerin yarıya yakınını ic¸eren bloklar entropiye en y¨uksek katkıyı yapar. F ’nin S’ye niceler. O˘ izd¨us¸u¨ m¨u F ’nin kapsamını bu altk¨umeyle kısıtlar, b¨oylece bu belirli altk¨umeye odaklanan bir s¨uzgec¸ is¸levi g¨or¨ur. ˙Izd¨us¸u¨ m entropisi F ’yi belirli bir altk¨umeye izd¨us¸u¨ rerek bu altk¨ume ic¸in parc¸alılı˘gı hesaplar (Bkz. [1]). Bir altk¨umenin izd¨us¸u¨ m entropisi d¨us¸u¨ kse, o¨ g˘ elerinin entropik korelasyonu vardır deriz. Bir a o¨ g˘ esinin izd¨us¸u¨ m b¨uy¨ukl¨ug˘ u¨ |P ROJ(F, {a})| onu ic¸eren blokların sayısıdır. Bizim durumumuzda, a bir s¨ozc¨ug˘ u¨ belirtir, izd¨us¸u¨ m b¨uy¨ukl¨ug˘ u¨ yse s¨ozc¨ug˘ u¨ n bulundu˘gu paragraf sayısıdır. ¨ kumelerinin ¨ 3 S¨ozcuk o¨ beklenmesi Ulysses indirgenmis¸ olsa da, o¨ zellik ataması c¸ok fazla s¨ozc¨uk ic¸ermektedir. C ¸ o¨ z¨umleme ic¸in y¨onetilebilir b¨uy¨ukl¨ukte s¨ozc¨uk k¨umelerine ihtiyac¸ vardır. S¨ozc¨uklerin izd¨us¸u¨ m b¨uy¨ukl¨uklerini (bulundukları paragraf sayılarını) 10, 11, 12-13, 15-17, 20-25, 30-39, 40-59, 60-149 ve 150-7020 menzillerinde ¨ kısıtlayarak 9 k¨ume olus¸turulur. Ozellik ataması bu s¨ozc¨uk k¨umelerinin her birine izd¨us¸u¨ r¨ul¨ur, bu izd¨us¸u¨ r¨ulm¨us¸ o¨ zellik atamalarının her birinde ET c¸alıs¸tırılır. ET algoritmasının is¸leyis¸ kodu s¸o¨ yledir: Entropi Toplas¸ması Algoritması: 1. Altk¨umeleri Ψ ← {{1}, {2}, . . . , {n}} alarak bas¸la. 2. H(P ROJ(F, Sa ∪ Sb )) entropisini en k¨uc¸u¨ k yapan {Sa , Sb } ⊂ Ψ altk¨ume ikilisini bul. 3. Altk¨umeleri Ψ ← (Ψ\{Sa , Sb }) ∪ {Sa ∪ Sb } olarak g¨uncelle. 4. E˘ger |Ψ| > 1 ise 2’ye git. 5. ˙Ikili c¸atallanmalar ic¸in sec¸ilmis¸ en k¨uc¸u¨ k entropi de˘gerlerini g¨osteren bir dendrogram c¸izdir. ET, her bir s¨ozc¨uk k¨umesi ic¸in, o¨ g˘ eler arasındaki entropik korelasyonları g¨osteren bir dendrogram u¨ retir. Dendrogramlar, hiyerars¸ik o¨ bekleme algoritmalarının sonuc¸larını g¨ostermekte sıklıkla kullanılan s¸emalardır [1, 5]. Bu yordamın Ulysses ic¸in u¨ retti˘gi dendrogramlar Ek B’de incelenebilir. Saptanan entropik korelasyonların c¸es¸itlili˘gini sergilemek u¨ zere, ET dendrogramlarındaki bazı s¨ozc¨uk c¸iftleri Tablo 1’de g¨osterilmis¸tir. Bu korelasyonlar c¸ok c¸es¸itli semantik ilis¸kilere is¸aret etmekFarklılıklar: C ¸ ekimler: I˙fadeler: black – white his – he ah – sure hand – eyes south – north her – she ay – eh face – head dame – joy then – now me – my darling – perfume cup – tea females – period us – our thank – please plate – fork former – latter came – went red – green female – male eve – adam you – I four – five nine – eleven them – their thy – thou hear – heard looking – looked smile – smiled pouring – pour ireland – irish S¸eyler: window – seen food – eating Figurler: ¨ girl – sweet wife – world woman – behind ocean – level job – business gentleman – friend waves – waters sell – trade gentlemen – friends river – boat slice – quantity priest – quietly moon – stars family – memory reverend – blessed birds – fly grass – fields road – city system – distance christ – jew human – live Tablo 1: ET dendrogramlarının yakaladı˘gı entropik korelasyonları o¨ rnekleyen s¨ozc¨uk c¸iftleri 2 tedir: black-white, south-north zıt anlamlıdır; then-now, former-latter, came-went kars¸ıt anlamlıdır; female-male, Eve-Adam, you-I kars¸ılıklılık belirtir; red-green renklerdir; four-five, nine-eleven niceliklerdir; his-he, her-she, me-my, us-our, them-their, thy-thou farklı adılların c¸ekimleridir; hearheard, looking-looked, smile-smiled, pouring-poured farklı eylemlerin c¸ekimleridir; ireland-irish bir ulusun c¸ekimidir. ˙Ifadelere, s¸eylere ve fig¨urlere ait bazı di˘ger ba˘glamsal korelasyonlara da tabloda yer verilmis¸tir. Entropik korelasyonlar ilginc¸ bir anlam menzilini kapsamaktadır. Sonuc¸ olarak, bu c¸alıs¸mada, verilen bir metnin paragraflarına entropi toplas¸ması uygulayarak bu metnin s¨ozc¨ukleri arasındaki entropik korelasyonları g¨orselles¸tiren bir metin c¸o¨ z¨umlemesi aracı gelis¸tirdik, ve bu yordamı bir o¨ zg¨ur yazılım olarak REBUS adıyla yayınladık [6]. Bir edebiyat metnindeki s¨ozc¨ukleri bu aracı kullanarak o¨ bekledik ve b¨oylece bu yordamın yararlılı˘gını g¨osterdik. ˙ us ¨ ¸um ¨ entropisinin anlamı uzerine ¨ Ek A: Izd ˙Izd¨us¸u¨ m entropisi (˙IE), biles¸imsel veri k¨umelerindeki belirgin o¨ g˘ e-odaklı ilis¸kilerin kes¸fedilmesi ic¸in kullanıs¸lı bir yol g¨osterici ilkedir. Fakat bu nicelik, geleneksel istatistiksel y¨ontemlerden oldukc¸a farklı bir anlam tas¸ımaktadır. Dolayısıyla bu b¨ol¨umde, izd¨us¸u¨ m entropisinin anlamını, olasılıksal modellemede benzer amac¸lar ic¸in kullanılan bilindik bir nicelikle, o¨ g˘ elerin es¸-bulunması ile kars¸ılas¸tırmalı olarak tartıs¸mak istiyoruz. Bu niceliklerin 2 ve 3 o¨ g˘ e ic¸in aldıkları de˘gerlerin gerc¸ekles¸tirimleri S¸ekil 2’de g¨osterilmis¸tir. ˙Ilk olarak, [1]’de is¸aret edildi˘gi gibi, b¨ut¨un o¨ g˘ elerin es¸-bulundukları blokları puanlayan es¸-bulunmanın tas¸ıdı˘gı pozitif anlamın aksine; ˙IE, bu o¨ g˘ eleri b¨ol¨up parc¸alayan blokların cezalandırılması olarak negatif bir anlam tas¸ır. ˙Ikinci olarak, es¸-bulunma yalnızca o¨ g˘ elerin hepsini ic¸eren bloklarda sıfırdan-farklıdır. ˙IE ise hem b¨ut¨un o¨ g˘ eleri ic¸eren bloklarda hem de b¨ut¨un o¨ g˘ eleri dıs¸layan bloklarda sıfırdır; yalnızca kısmi ic¸erimlerde sıfırdan-farklıdır, yani bazı o¨ g˘ eleri ic¸erirken bazı di˘ger o¨ g˘ eleri dıs¸layan bloklarda sıfırdan-farklıdır. B¨oylece ˙IE o¨ g˘ elerin herhangi bir kısmının o¨ rt¨us¸t¨ug˘ u¨ bloklara kendisini ayarlayabilen esnek bir nicelik olurken, es¸-bulunma yalnızca o¨ g˘ elerin hepsinin o¨ rt¨us¸t¨ug˘ u¨ bloklara kendisini ayarlayabilen katı bir niceliktir. ¨ gelerin es¸-bulunması O˘ P i [S ⊂ Bi ] a∈B 0 a∈B 0 b∈B 1 0 0 S = {a, b} 0 1 a∈B 0 1 log 3 3 1 a∈B 0 0 0 ˙Izd¨us¸u¨ m entropisi H(P ROJ(F, S)) b∈B 0 1 log 2 2 1 2 log 3 3 2 1 log 3 1 log 2 2 1 0 c∈B S = {a, b, c} S = {a, b} 2 log 3 3 2 0 b∈B 0 b∈B 1 log 3 3 1 2 log 3 3 2 3 1 0 c∈B S = {a, b, c} S¸ekil 2: 2 ve 3 o¨ g˘ e ic¸in es¸-bulunma ve izd¨us¸u¨ m entropisi de˘gerlerinin kars¸ılas¸tırılması B¨ut¨un o¨ g˘ elerinin izd¨us¸u¨ m b¨uy¨ukl¨ukleri aynı olan bir S o¨ be˘gimiz oldu˘gunu varsayalım. E˘ger bu o¨ g˘ eler onları ic¸eren hic¸bir blokta o¨ rt¨us¸m¨uyorlarsa, o¨ be˘gin ˙IE’si en y¨uksek de˘geri alacaktır: izd¨us¸u¨ m b¨uy¨ukl¨uklerinin toplamı c¸arpı log|S||S| . E˘ger bu o¨ g˘ eler onları ic¸eren blokların hepsinde o¨ rt¨us¸u¨ yorlarsa, ˙IE tanımı gere˘gi sıfır olacaktır. Ayrıca, o¨ g˘ eler arasında olacak fazladan herhangi bir o¨ rt¨us¸me, izd¨us¸u¨ m b¨uy¨ukl¨ukleri sabit tutuldu˘gunda, o¨ be˘gin ˙IE’sini d¨us¸u¨ recektir. Dolayısıyla izd¨us¸u¨ m entropisinin d¨us¸u¨ k olması, o¨ g˘ elerin izd¨us¸u¨ m b¨uy¨ukl¨uklerine g¨oreli olarak, o¨ bekteki o¨ g˘ eler arasında daha y¨uksek bir o¨ rt¨us¸meye is¸aret edecektir. D¨us¸u¨ k izd¨us¸u¨ m entropisinin is¸aret etti˘gi bu o¨ g˘ e-odaklı o¨ rt¨us¸meyi ifade etmek ic¸in, ic¸erildikleri bloklarda bu o¨ g˘ elerin entropik korelasyonu vardır deriz. ˙IE’nin entropi toplas¸masında nasıl bir is¸lev g¨ord¨ug˘ u¨ n¨u anlamak ic¸in, tek bir s¨ozc¨uk c¸ifti u¨ zerindeki etkisini inceleyelim. Tam olarak 10 paragrafta bulunan s¨ozc¨ukler k¨umesinden bir c¸ift s¨ozc¨ug˘ u¨ m¨uz oldu˘gunu varsayalım. Bu durumda biliriz ki (1) iki s¨ozc¨ug˘ u¨ n de izd¨us¸u¨ m b¨uy¨ukl¨ug˘ u¨ 10’dur, (2) es¸-bulunma iki s¨ozc¨ug˘ u¨ birden ic¸eren blokları sayacaktır, (3) ˙IE bu s¨ozc¨uklerden sadece bir tanesini ic¸eren blokları sayacaktır. Bu belirli durum ic¸in, iki nicelik birbiriyle do˘gru orantılıdır: es¸bulunmanın 1 miktarda artması ˙IE’yi log 2 miktarda d¨us¸u¨ recektir. Bu durum onları pratikte es¸de˘ger kılar. Fakat e˘ger bu s¨ozc¨uklerin 20-25 gibi farklı izd¨us¸u¨ m b¨uy¨ukl¨ukleri varsa, izd¨us¸u¨ mleri daha genis¸ olan s¨ozc¨uklerin bulundu˘gu kısmi ic¸erimler daha fazla olur; es¸-bulunma bu blokları g¨ozardı edecektir, ama izd¨us¸u¨ m entropisi ‘gereksiz yere’ bulunan o¨ g˘ eleri cezalandırmak ic¸in bu blokları sayabilir. 3 bed open mouth new am perhaps knew sun remember better morning woman behind bad mind things feel once without along great near call mrs give people year king death born work music body ireland irish son called heard hear saw something wife world dead men yet sea may die find today letter end turn grey land lay it's that's cunningham martin power citizen bloody five four book walked what's you're professor cried zoe i'll mean haines ned answered three hands private ten women didn't between water watch second both corner done days times brought dignam bob friend gentleman point across bloom's stephen's passed light paper money gold arms lenehan lord past dublin upon these mulligan buck 0.00 answer mine ask order court fact matter cup tea shillings someone different figure hell art bello fat beauty she's bright turning fall won't alf laughing paddy tom smiled smile daughter wall bridge line used married write myself evening cold walking boots dog talking brother play short arm next met molly suppose nice ought wanted enough hope fine knows comes meet flower given milk child makes silver teeth royal school ladies hot run heavy somewhere room number set rather others late blind road city really sitting leave warm children getting question nature simply felt found lovely hard holy fire wind lot anyhow business job earth chap human live often hold together fair among country taking speak herself gerty sad touch lambert quickly cissy began six around couldn't idea fell soft saying neck doing waiting walk drink boylan blazes can't horse followed small bread since cut silent alone above thanks change beside hour care soul held free ear believe nose present c pass silk least person public general office large rest laid part trousers quick points crawford myles o'molloy ay eh forth bring low blood dollard simon church mary bronze deasy Ek B: Ulysses ic¸in entropi toplas¸ması dendrogramları2 projection sizes 150-7020 144 words in 7020 blocks the in of to and his he a it is that was bloom mr said with on for him her she me my all at had but or an not as would first some well don't know just little say right sir yes never could only why has come so who were which says stephen what did about too will we here are your they one old two do this put away life let poor last look still our us john long god voice himself name day those before under other more father how house can go must night get way round by from out up their them over down no have be there man o after back see if when like street into time where now then good off hand eyes face head asked dedalus again through very its went came you i 0.00 2 0.05 0.10 0.15 lynch table slowly fingers miss read red green gave hair word heart words mother another half looking looked though being while every any than kind even quite moment been young left made thing own such also years having j most place thought lady form case should hat took turned tell lost blue de boy henry dear seen window course think many feet girl sweet eye high black white door against each stood pocket forward far side full lips towards air want fellow got best bit always nothing does take make ben big sure ah gone there's few anything wouldn't show joe i'm home coming wait till he's going same might much love told because ever dark wonder keep foot bed open mouth new am perhaps knew sun remember better morning woman behind bad mind things feel once without along great near call mrs give people year king death born work music body ireland irish son called heard hear saw something wife world projection sizes 60-149 235 words in 5277 blocks breen cap car kelleher corny certain glass passing whose leopold master conmee p s letters lane drew saint rose true shall brown breath whole answer mine ask order court fact matter cup tea shillings someone different figure hell art bello fat beauty she's bright turning fall won't alf laughing paddy tom smiled smile daughter wall bridge line used married write myself evening cold walking boots dog talking brother 0.02 0.04 0.06 projection sizes 40-59 215 words in 3727 blocks Bu deneye ait b¨ut¨un sonuc¸lar ve Python kodu REBUS websitesinde bulunabilir [6]. 4 alone above thanks change beside hour care soul held free ear believe nose present c pass silk least person public general office large rest laid part trousers quick points crawford myles o'molloy ay eh forth bring low blood dollard simon church mary bronze deasy try yellow 0.00 0.01 0.02 0.03 0.04 0.05 projection sizes 30-39 245 words in 3446 blocks milly cross catch devil throw singing wish dying running cry twice damn skirt rock press sing places understand outside skin gentlemen friends else wrong close race certainly broke man's field waves waters family memory sight blessed during means stands aside sign shoulder pray kinch card wants husband either account almost seven yourself help shirt kiss real themselves smell itself fear standing sleep dress top inside hotel south north act lower talk thinking hynes funeral trying stick la wrote stuck ad florry kitty wyse quiet jesus forget pay calls sailor square jack boys ring finger youth middle floor shut thank please less paris double song sister probably cat loudly marion ball girls sent clean making fresh trouble lifted holding slow bent stopped sat virag gently kennedy george reverend crown carriage d b m bella cowley douce law female male Kaynaklar [1] Fidaner, I. B. & Cemgil, A. T. (EN: 2013) Summary Statistics for Partitionings and Feature Allocations. In ¨ ¨ Advances in Neural Information Processing Systems, 26; (TR: 2014) B¨ol¨unt¨uler ve Ozellik Atamaları ic¸in Ozet ˙Istatistikleri. C¸evrimic¸i: http://fidaner.wordpress.com/science [2] Wood, F., Archambeau, C., Gasthaus, J., James, L. F. & Teh, Y.W. (2011) The Sequence Memoizer. Communications of the ACM, 54(2):91-98. [3] Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S. & Dean, J. (2013) Distributed Representations of Words and Phrases and their Compositionality. In Advances in Neural Information Processing Systems, 26. [4] Teh, Y. W. (2006) A hierarchical Bayesian language model based on Pitman-Yor processes. In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics (ACL-44). Association for Computational Linguistics, Stroudsburg, PA, USA, 985-992. [5] Eisen, M. B., Spellman, P. T., Brown, P. O., & Botstein, D. (1998) Cluster analysis and display of genomewide expression patterns. Proceedings of the National Academy of Sciences, 95(25):14863-14868. [6] Fidaner, I. B. & Cemgil, A. T. (2014) REBUS: entropy agglomeration of text. Published under GNU General Public License. Online: http://fidaner.wordpress.com/science/rebus/ 5
© Copyright 2024 Paperzz