LibraHack後の Lib H k後のスクレイピングを考えるふるかわだいすけ/mogya.com ふるかわだすけふるかわだいすけフリーランスWEBエンジニアジ http://mogya.com/ http://mogya com/ Twitter: @mogya 自己紹介 http://oasis.mogya.com/ モバイラーズオアシススクレイピングしまくり LibraHack 岡崎市立中央図書館事件今日のテーマどんな事件だったかわかりやすく説明してみるデスノートを例にして ※権利関係が微妙なので画像は削除デスノートを拾ったのでデスノートプリンタを作ったら ※権利関係が微妙なので画像は削除死神に怒られた岡崎市立中央図書館事件 2010年3月頃、市民から同図書館のウェブサイトの蔵書検索システムに対し、接続が出来ないと苦情があり、その後もウェブサイトの閲覧が困難になる事態が相次いだ。同年4月15日に同図書館が迷惑なアクセスを受けていると愛知県警岡崎署に被害届を提出し、5月25日にアクセスを行っていた男性が蔵書検索システムに高頻度のリクエストを故意に送り検索システムに、高頻度のリクエストを故意に送りつけたとして偽計業務妨害容疑で逮捕された。 Wikipediaによる説明スクレイピングが悪い！とはならなかったまずは一安心万一サーバを落として逮捕された時に万サバを落として逮捕された時に「あの岡崎図書館でも落ちないように作ってあたとえば当性を主張きんじなあった」といえば正当性を主張できるんじゃないか？保守的な教訓 • 1アクセス / 10分 • クッキー対応 • 取得したデータをキャッシュする取得したデタをキシする • userAgentで連絡先を明示する g • robot.txtに従う if modified since • if-modified-since 望ましい機能つくってみた #{WGET} -x -N N -P P "#{CACHE "#{CACHE_DIR}" DIR}" --useragent="#{userAgent}" "#{uri}" • -x ディレクトリを作る • -N タイムスタンプ(If-Modified-Since) • -P キャッシュのディレクトリを指定デ • --load-cookies "#{COOKIE_FILE}" • --save-cookies save cookies "#{COOKIE #{COOKIE_FILE} FILE} • --keep-session-cookies wgetにおまかせ • キャッシュファイルの場所 /tmp/WgetScraper/oasis.mogya.com/test.txt?a=b&c=d ↓ filename = "#{uri_obj.host}#{uri_obj.path} filename = filename+"?"+ filename+ ? + uri uri_obj.query obj query なにげに苦労したところ期待：/tmp/WgetScraper/gis.emap.ne.jp/standard/13125010/ssactl.htm?GO.x=13&GO.y=2&X p jp/ / / y _shop p _id=40000&X_cancel_url=http%3A%2F%2Fwww.sej.co.jp%2F / p/ g p /g 結果：/tmp/WgetScraper/gis.emap.ne.jp/standard/13125010/ssactl.htm?GO.x=13&GO.y=2&X_shop _id=40000&X_cancel_url=http:%2F%2Fwww.sej.co.jp%2F ↓ filename = filename filename+"?"+ ? URI.encode( URI.decode(uri_obj.query), /[^-_.! *'()a-zA-Z¥d;?:@&=+$,¥[¥]]/n) 微妙な違いあとでブログにあげておきます http://mogya.com/ http://mogya com/ Twitter: @mogya まとめ