セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
マルコフ連鎖モンテカルロ法
Gource：バージョン管理の履歴を可視化するツール
HD画質の無駄遣い
Unityの各コンポーネント間でのやり取り
動的なメモリの扱い
UnityのGameObjectの向きをScriptで制御す...
Google Chromecast
Alice Vision：オープンソースのPhotogram...
Boost オープンソースライブラリ
PyDataTokyo主催のDeep Learning勉強会
Russian3DScannerのトポロジー転送ツール『Wr...
Python2とPython3
OpenCVのfindEssentialMat関数を使ったサ...
OpenCV バージョン4がリリースされた！
iPhoneアプリ開発 Xcode 5のお作法
UnityでOpenCVを使うには？
WebGL開発に関する情報が充実してきている
VCG Library：C++のポリゴン操作ライブラリ
Mayaのプラグイン開発
オープンソースの顔認識フレームワーク『OpenBR』
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Google製オープンソース機械学習ライブラリ『Tensor...
Unityで学ぶC#
AmazonEC2のインスタンスをt1.microからt2....
iPhone x ロボットハッカソン～RomoのiPhone...
ブログの復旧が難航してた話
Swark：コードからアーキテクチャ図を作成できるVSCod...
OpenCV3.3.0でsfmモジュールのビルドに成功！
サンプルコードにも間違いはある？
WordPressの表示を高速化する
Multi-View Environment：複数画像から3...
WordPressのサーバ引っ越し方法を考える
Math.NET Numerics：Unityで使える数値計...
PythonでMayaのShapeノードプラグインを作る
SONYの自律型エンタテインメントロボット『aibo』
Kubric：機械学習用アノテーション付き動画生成パイプライ...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
pythonの機械学習ライブラリ『scikit-learn』
IronPythonを使ってUnity上でPythonのコー...
OpenVDB：3Dボリュームデータ処理ライブラリ
OpenCV 3.1のsfmモジュールを試す
Python.NET：Pythonと.NETを連携させるパッ...
コメント