セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
ブラウザ操作自動化ツール『Selenium』を試す
Webサイトのワイヤーフレームが作成できるオンラインツール
Faster R-CNN：ディープラーニングによる一般物体検...
OpenCVの三角測量関数『cv::triangulatep...
OpenCVで顔のモーフィングを実装する
オープンソースの取引プラットフォーム
OpenCVでiPhone6sのカメラをキャリブレーションす...
ZBrushのZScript入門
オープンソースの人体モデリングツール『MakeHuman』の...
SONYの自律型エンタテインメントロボット『aibo』
OpenCVの超解像(SuperResolution)モジュ...
Mayaのプラグイン開発
pythonの機械学習ライブラリ『scikit-learn』
Google App Engineのデプロイ失敗
OANDAのfxTrade API
bpy-renderer：レンダリング用Pythonパッケー...
3D復元技術の情報リンク集
書籍『仕事ではじめる機械学習』を読みました
WebGL開発に関する情報が充実してきている
Rerun：マルチモーダルデータの可視化アプリとSDK
Pythonの自然言語処理ライブラリ『NLTK(Natura...
openMVGをWindows10 Visual Studi...
3Dモデルを立体視で確認できるVRアプリを作っている
MVStudio：オープンソースのPhotogrammetr...
ManuelBastioniLAB：人体モデリングできるBl...
オープンソースの物理ベースGIレンダラ『appleseed』
OpenCV 3.1のsfmモジュールのビルド再び
konashiのサンプルコードを動かしてみた
ニューラルネットワークで画像分類
WordPressのテーマを自作する
まだ続くブログの不調
Dlib：C++の機械学習ライブラリ
UnityからROSを利用できる『ROS#』
TensorFlowでCGを微分できる『TensorFlow...
UnityのMonoBehaviourクラスをシングルトン化...
フォトンの放射から格納までを可視化した動画
Web経由でRaspberry PiのGPIOを操作したい
OpenMesh：オープンソースの３Dメッシュデータライブラ...
Super Resolution：OpenCVの超解像処理モ...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Point Cloud Utils：Pythonで3D点群・...
PythonでBlenderのAdd-on開発
コメント