Programming ブラウザ操作自動化ツール『Selenium』を試す
だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。Python環境でもpipで簡単にSeleniumをイ...
スクレイピング
Programming 
興味 第2回Webスクレイピング勉強会の資料
オイラ行けなかったんだけど、第2回Webスクレイピング勉強会@東京（全3回）の資料がいくつかアップされてるので貼っておく。
Programming Webスクレイピングの勉強会に行ってきた
ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。第1回Webスクレイピング勉強会＠東京昨今、オープンデータ運動の影響で、RDFデータで...
Programming Mechanizeで要認証Webサイトをスクレイピング
セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPytho...
Google App Engine PythonのHTML・XMLパーサー『BeautifulSoup』
パーサーなんだけど、まあ、スクレイピングに使いますよね。BeautifulSoupBeautiful Soupはpythonで動作するHTMLとXMLのパーサーです。Beautiful Soupはパースしたツリーの操作、検索、変更を簡単に、...
Programming スクレイピング
PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。そう思ったきっか...