EDGE Datasetsを用いたテキストマイニング～タグの持つ意味とその利用～自己紹介（学外の方のために） ● ● ● ● 経済学研究科の超駄目院生 web掲示板やブログなどの文字情報から消費者の生の声を取り入れて統計的に分析する「テキストマイニング」というのを専門にしているのかもしれない実は・・・ニコニコ動画やlivedoorクリップを普段は使っていません。システム等について認識違いがあればご指摘いただけると幸いです今回は学部生等のために「思いつきから実際の分析に至る手順」と「スライド発表するときの注意点」も盛り込もうとしたら余計煩雑に・・・ EDGE Datasetsとは？ ● 学術研究目的でまとまったデータを必要とされている方のために、研究用データセットを用意しました。 livedoor クリップで公開設定になっているユーザデータの URL, タグ, 作成時刻などを csv ファイルにまとめたものを用意しています。（公式サイトより転載させていただきました） ● EDGE Datasetsを使って分析してみよう！データの中身今回の流れ ● ● ● ● ● ● ● タグ分析の（思いつきの）モチベーション：ヒットしやすいタグを見つけよう！タグとは何か？タグの性質を検討した後のモチベーション：ジャンルを繋ぐようなタグを見つけようタグを分析しよう！分析ツール「共起ネットワーク」の説明分析結果今後の展望今タグ分析が熱い！ ● ● ● ● ニコニコ動画などではタグ検索がデフォルト装備。ユーザーはタグを辿って様々な動画に辿り着く Gmailもフォルダではなくタグでメールを管理先行研究もある（配付資料参照）アクセスを伸ばせるタグが見つかるかも！？今回のタグ分析の（思いつきの）目的：注目を集めやすいスーパータグを見つけたい！タグを分析しよう！でもその前に・・・ ● ● ● タグと一口に言っても色々あるんじゃない？ニコニコ動画もlivedoorクリップもタグって単語を使っているけど、意味するものは同じかな？どうも違う気がするぞ？分析する前に、問題点を整理して何を導きたいかはっきりさせるぜ！まず、ニコニコ動画とlivedoorクリップのタグシステムの違いを把握しよう！タグについて本気出して考えてみる ● ● そもそもタグって何の為につけるの？フォルダとの違いは？利点は？整理・ラベルとして活用できる ● ● ● フォルダ式ではどのフォルダに入れるか迷う場合がある。タグ式ならば、データが該当するタグの全てを付与すればよい正しいタグが張られることにより、検索効率アップそれだけかな？タグの意義はもう一つあるのでは？ ● 新しい出会いを誘発することができる ● ● ● 好みのタグを辿って行くことにより、ジャンルを超えた思いがけぬ出会いが生まれる。ジャンルだけで分類していると、既知のジャンルにとどまりがち私の誘発ケース：聴くのは「平沢進」という人の音楽だけ→タグ：平沢進を辿っていたら、初音ミクの平沢曲カバーが→さらに辿ると初音ミクの「自転車に乗って」という曲が→この曲は「お願いデーモン！」という15年前のドラマの主題歌だった→試験を差し置いてドラマ鑑賞する羽目に。普段なら古いドラマを見る輩ではない本稿ではこの誘発に焦点を置くタグに求められる性質(1)信頼性 ● 信頼性：「爆笑動画」というタグがつけられていても、その内容が実際は寒かったりすると、そのタグは信頼されなくなる ● ● ニコ動：一つの動画につきタグの個数が上限10個。それ以上タグをつける場合は、以前のタグを上書きするしかない。結果、信頼性の乏しいタグは淘汰されていくため、タグの信頼性を維持できる livedoor：同じURLに対しても各ユーザーが個別にタグをつけるため、信頼性を考慮していない。淘汰もないタグに求められる性質(2)誘発性 ● 誘発性：一つのオブジェクト（サイトや動画）に（関連はあるが）ジャンルを超えたタグが張られることによって、ウィキペディアのように芋づる式に捜索範囲を広げていくことができることと定義する ● ● ニコニコ動画：前述の誘発ケースなど livedoor：クリップしたURLを整理・検索しやすくするためだけに付与するものなので、誘発性は無い。「思いがけぬ出会い」は外部から持ち込まれるもの。クリップした本人がタグをつけ、そのタグを見るのは本人だけというlivedoorのシステムでは新たな出会いは生まれない誘発性のあるタグシステムとは？ ● ● ● ● ジャンルを超えてつけられる（ニコニコ動画では「才能の無駄遣い」など）淘汰がある「タグ職人」「タグ理解」という概念「タグつけるのって楽しい！＞＜」と思えること（良いタグをつけようという誘因が働くこと）誘発性のあるタグシステムはコミュニケーションツールとして機能するのでは？タグによるコミュニケーション ● ● ● ● ある音楽系の動画に「コッペパン」なる謎のタグと「タグ職人」というタグがつけられていたその動画で確かに空耳で「コッペパン」と聞こえる箇所があってかなり笑ったその瞬間「タグ理解」というコメントの嵐。「タグ職人」と褒め称えるコメントも多数閲覧者もタグを意識するし、タグつける人も見られることをはっきり意識している前述の内容を踏まえて、再検討 ● ● ● ● ● 思いつき段階でのスーパータグとは「アクセス数を伸ばしやすいキャッチーなタグ」のことタグの意義を検討した結果、「異なるジャンルを繋ぎ、ユーザーの興味・関心を誘発する」ようなタグをスーパータグと定義する。ニコニコ動画にはスーパータグが存在するようだが、livedoorにも存在するのだろうか？「スーパータグはどれか」を調べる前に「スーパータグが存在するかどうか」を調べないといけないさぁ、やることがはっきりしてきたぞ！問題提起 ● ● ● どうも誘発性のあるスーパータグが存在するシステムはハッピーなようだ。ユーザーは普段と違ったジャンルに出会えてハッピー。その結果、普段買わないものを買ったりしてくれることもあるので運営側もハッピー。同じジャンルだけだと、パイの奪い合いに限界がある livedoorのタグシステムでスーパータグは発生するのだろうか？まずはスーパータグが存在するかを検証してみよう！スーパータグを見つけよう！ ● ● ● ● どうやれば見つけられるかな？ツールは色々あるけど、どれも一長一短。万能ツールはない自分の能力と検証したいことがはっきりしていればツールを選択できるし、その分析ツールを使う妥当性も主張できる今回は共起ネットワークを使うぜ！なぜなら、「スーパータグは異なるジャンルをつなぐ存在である」と仮定しているため、それを視覚的に表したいからスーパータグを検証するためのツール～共起ネットワーク～ ● ● ● ● ● 共起ネットワークとは Jaccard係数媒介中心性詳細は配付資料ちょっとここから難しい話するかも。すまんこったスーパータグは媒介中心性が高く、異なるジャンルを繋ぐ存在であると考えられる共起ネットワークとは？ ● ● 共起関係を視覚的にわかりやすいようネットワーク形式で表現した図共起関係 ● ● ● あるテキストに、複数のキーワードが同時に出現する程度を調べること amazonの「これ買った人はこっちも買ってるよ」ってシステムを思い浮かべてみると理解しやすい Jaccard係数（共起指標） ● 単語「X」と「Y」の単独での出現数を|X|、|Y|、どちらか一方が出現した回数を|X∪Y|、両方が出現した回数を| X∩Y|とする。どちらかが出現したうち、何回同時に出現するかで、|X∩Y|/|X∪Y|で求める媒介中心性とは？ ● ● ● ● その対象がどれくらい全体の連結に貢献しているかの程度を表すある人が色んなグループの架け橋となっている場合、その人の媒介中心性は高いと表現する注意：媒介中心性が高い≠沢山の人と繋がっている（ただし、そういう傾向はあるかも）スーパータグは媒介中心性が高く、様々なジャンルを連結していると想定するコミュニティ抽出法とは ● ● ● ● ● ネットワーク全体から、高密度にリンクされた「コミュニティ」を見つける、「切断法」という類の手法媒介中心性の高い単語は様々なコミュニティをつなぐ架け橋の役割を持つ媒介中心性の高いノードを除去するとネットワークが分割されるとする分割された各々のネットワークをコミュニティであると考えてコミュニティを抽出するニコニコ動画でやってみると「才能の無駄遣い」などのスーパータグがジャンルの架け橋となり、それを除去すれば各ジャンルに分かれるはず（今回はデータが無くてそこまで分析していない、残念）媒介中心性・コミュニティ抽出法の図説 ● ● 媒介中心性の高さを色で表現。水<白<紫で高い例として下図を参照。左右にコミュニティが存在し、それを橋渡しする紫の丸。紫の丸は高い媒介中心性を持つ。紫の丸を除去すれば、ネットワークは二分され、コミュニティを浮き上がらせる利用したデータ ● 2008年ベストエントリ上位20から6つ選択 ● エクセルのデータを見やすくする5つの簡単なテクニック ● 驚きのExcel 超早技ベスト15　これは便利！ ● PowerPointテンプレートサイトいろいろ ● ● ● 『無料＋ブラウザ』で全部やってしまおう。webジェネレーターとサービス50個まとめ英語の勉強したい人はiknowよりESL Podcast聞こうぜ幕末の古写真風このデータを採用した理由 1.人気エントリ 2.ジャンルが異なる ● スーパータグの要件が「ジャンルを超えてつけられること」「つけられるとアクセス数が伸びる（誘発する）こと」だったためにこのようにした（※）注意 ● データの採用基準をはっきり述べないと、都合の良いよう恣意的にデータを選択したと捉えられてしまう ● この採用理由は果たして妥当か？ ● 今回選択したデータは採用基準と本当にマッチしているか？共起ネットワークを作ってみた ● ● 描画アルゴリズムはSpring Embedder。各単語にバネが生えていて、共起関係があるものは引っ張り合い、関係のないものは反発し合うとする。それで各単語の位置が落ち着いたものが出力結果もっと詳しく言うとFruchterman and Reingold の改良版力指向アルゴリズム ● ● ● これは熱力学と実践空手を組み合わせた全く新しい・・・詳細は省略させて頂きます出力結果は次のスライド分析結果の検討 ● ● ● ● ジャンル毎に完全分離しているのが見て取れる架け橋が見事に無い！つまりスーパータグが無い！これでは既存のジャンルに閉じこもったまま・・・ Jaccard係数0.1で算出。これはかなり甘い（リンクが繋がりやすい）基準。それにも関わらずこの結果 livedoorクリップに誘発性はあるのか ● ● ● あるあ・・・ねーよｗｗｗ、サーセンｗｗｗ残念な分析結果になぜこんなことになったかをしっかり検討すれば、どのようなタグシステムであれば誘発性を高める事が出来るかが判明する可能性は高いなぜlivedoorクリップに誘発性がないのか？ ● 見せるつもりがない ● ● ● タグつけることは「作業」。楽しいものではない。ニコニコ動画だとチャット、奪い合いの興等があり、コミュニケーションツールとして利用可能そもそも自分だけのためにつけている淘汰がない ● ● タグ上限や上書きなどのシステムがない淘汰にはそれなりのユーザー数が必要。ニコニコだと人気動画には数千～万人規模のクリップがある。 livedoorでは人気トピックでもだいたい二桁程度結　論 ● ● タグと一口に言っても色々ある淘汰があり、タグそのものがコミュニケーションツールとして機能するものをここでは「ニコニコ型」、単なる整理符号でしかないものを「ラベル型」タグと名付ける。livedoorはラベル型 ● livedoorのシステムに関して、タグの誘発性は低い ● livedoorもっとがんばれ！おわりに ● どのようなタグシステムであれば誘発性を高めることが出来るか考えてみると面白い ● ● これが出来れば第2第3のニコ動を君の手で作れるかも誘発性の高いタグを見つける手法は？ ● 本稿では媒介中心性とコミュニティ抽出法を採用した。これが本当に妥当かどうかは検証しなければならない。また、もっと良い手法がある可能性も追記 ● ● ● ● ● ● この類の発表は、本来ならばニコニコ動画のデータも分析して比較しなければならない。ニコ動のデータが公式で公開されてないから難しいデータさえあれば・・・データさえあれば・・・データさえあればなぁ・・・データさえ公開されていればもっと面白いこと出来るのになぁ・・・もっと勉強したい！という方のために ● ● わかりやすくてお手頃価格の日本語書籍を紹介ネットワーク理論 ● ● ● テキストマイニング ● ● ネットワーク科学の道具箱（コミュニティ抽出法等掲載）実践ネットワーク分析事例で学ぶテキストマイニングデータマイニング ● 図解よくわかるデータマイニング自力で分析したい！と言う方のために ● ● ● テキストマイニングの市販ソフトは数百万円市販ソフトはとても手が出ないので、フリーソフトとその使い方を説明した書籍を紹介 TTM：テキストマイニング用ソフト ● ● ● http://mtmr.jp/ttm/　←からダウンロード解説書は今春発行予定。みんな買ってね♡ フリーで高性能な分析ツール「R」を使おう ● ● ● Rによるデータサイエンスデータマイニング入門（豊田秀樹氏の方） Rによるテキストマイニング入門