スクレイピング

Programming

ブラウザ操作自動化ツール『Selenium』を試す

だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。 Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。 Python環境でもpipで簡単にSeleni...
2017.12.20 0
興味

第2回Webスクレイピング勉強会の資料

オイラ行けなかったんだけど、第2回Webスクレイピング勉強会@東京(全3回)の資料がいくつかアップされてるので貼っておく。
2014.09.23 0
Programming

Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。 第1回Webスクレイピング勉強会@東京 昨今、オープンデータ運動の影響で、R...
2014.12.13 0
Programming

Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。 Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPyt...
2014.12.07 0
Google App Engine

PythonのHTML・XMLパーサー『BeautifulSoup』

パーサーなんだけど、まあ、スクレイピングに使いますよね。 BeautifulSoup Beautiful Soupはpythonで動作するHTMLとXMLのパーサーです。Beautiful Soupはパースしたツリーの操作、検索、変更を...
2017.12.13 0
Programming

スクレイピング

PaaSを触り始めてから1番やってみたかったことと言えば、Webサイトのスクレイピング。 別に攻撃するつもりじゃ無くて、マッシュアップしたWeb上の情報を上手く可視化すれば、色んな考察が得られるんじゃないかと期待しているから。 そう思っ...
2015.06.27 0