セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
NeuralNetwork.NET：.NETで使えるTens...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
為替レートの読み方 2WAYプライス表示
OpenMVS：Multi-View Stereoによる3次...
UnityからROSを利用できる『ROS#』
ROSでガンダムを動かす
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Managing Software Requirements...
ブログをGoogle App EngineからAmazon ...
BlenderでPhotogrammetryできるアドオン
Webスクレイピングの勉強会に行ってきた
UnityでARKit2.0
頭蓋骨からの顔復元と進化過程の可視化
ManuelBastioniLAB：人体モデリングできるBl...
Boost オープンソースライブラリ
OpenCVの三角測量関数『cv::triangulatep...
OpenVDB：3Dボリュームデータ処理ライブラリ
UnityでPoint Cloudを表示する方法
機械学習で遊ぶ
OpenCVでiPhone6sのカメラをキャリブレーションす...
オープンソースの顔の動作解析ツールキット『OpenFace』
ブラウザ操作自動化ツール『Selenium』を試す
Kornia：微分可能なコンピュータービジョンライブラリ
OpenSfM：PythonのStructure from ...
OpenCVでPhotoshopのプラグイン開発
WordPressの表示を高速化する
オープンソースのロボットアプリケーションフレームワーク『RO...
TeleSculptor：空撮動画からPhotogramme...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
オープンソースの物理ベースGIレンダラ『appleseed』
KelpNet：C#で使える可読性重視のディープラーニングラ...
MVStudio：オープンソースのPhotogrammetr...
手を動かしながら学ぶデータマイニング
OpenCV 3.1のsfmモジュールのビルド再び
HD画質の無駄遣い
Mitsuba 2：オープンソースの物理ベースレンダラ
Kubric：機械学習用アノテーション付き動画生成パイプライ...
UnityのMonoBehaviourクラスをシングルトン化...
書籍『OpenCV 3 プログラミングブック』を購入
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
マルコフ連鎖モンテカルロ法
コメント