セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry Pi 2を買いました
Seleniumを使ったFXや株の自動取引
OpenCVで平均顔を作るチュートリアル
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Theia：オープンソースのStructure from M...
PythonでBlenderのAdd-on開発
WordPress on Google App Engine...
サンプルコードにも間違いはある？
SONY製のニューラルネットワークライブラリ『NNabla』
Unity ARKitプラグインサンプルのチュートリアルを読...
FCN (Fully Convolutional Netwo...
ManuelBastioniLAB：人体モデリングできるBl...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
MPFB2：Blenderの人体モデリングアドオン
Boost オープンソースライブラリ
Kornia：微分可能なコンピュータービジョンライブラリ
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Python2とPython3
オープンソースのロボットアプリケーションフレームワーク『RO...
動的なメモリの扱い
OpenFace：Deep Neural Networkによ...
Quartus II
Composition Rendering：Blenderに...
Runway ML：クリエイターのための機械学習ツール
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
PGGAN：段階的に解像度を上げて学習を進めるGAN
プログラムによる景観の自動生成
WordPressプラグインによるサイトマップの自動生成
オープンソースの物理ベースGIレンダラ『appleseed』
Multi-View Environment：複数画像から3...
Dlib：C++の機械学習ライブラリ
Python for Unity：UnityEditorでP...
TeleSculptor：空撮動画からPhotogramme...
CycleGAN：ドメイン関係を学習した画像変換
UnityでShaderの入力パラメータとして行列を渡す
OpenGVのライブラリ構成
Raspberry Pi 2のGPIOピン配置
ROMOハッカソンに行ってきた
OpenCV 3.1のsfmモジュールを試す
openMVG：複数視点画像から3次元形状を復元するライブラ...
今年もSSII
ブログをGoogle App EngineからAmazon ...
コメント