Programming ブラウザ操作自動化ツール『Selenium』を試す
だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。 Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。 Python環境でもpipで簡単にSelenium...
スクレイピング
Programming 
興味 第2回Webスクレイピング勉強会の資料
オイラ行けなかったんだけど、第2回Webスクレイピング勉強会@東京（全3回）の資料がいくつかアップされてるので貼っておく。
Programming Webスクレイピングの勉強会に行ってきた
ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。 第1回Webスクレイピング勉強会＠東京 昨今、オープンデータ運動の影響で、RDFデー...
Programming Mechanizeで要認証Webサイトをスクレイピング
セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。 Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPyth...
Google App Engine PythonのHTML・XMLパーサー『BeautifulSoup』
パーサーなんだけど、まあ、スクレイピングに使いますよね。 BeautifulSoup Beautiful Soupはpythonで動作するHTMLとXMLのパーサーです。Beautiful Soupはパースしたツリーの操作、検索、変更を簡単...
Programming スクレイピング
PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。 別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。 そう思ったき...