セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenCVのバージョン3が正式リリースされたぞ
スクレイピング
Raspberry Pi 2のGPIOピン配置
WordPressの表示を高速化する
RSSフィードを読込んで表示するWordpressプラグイン...
C++始めようと思うんだ
Google App EngineでWordPress
PythonでMayaのShapeノードプラグインを作る
Konashiを買った
OpenMVSのサンプルを動かしてみる
UnityのAR FoundationでARKit 3
BlenderでPhotogrammetryできるアドオン
C++の抽象クラス
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Verilog HDL
Python2とPython3
KelpNet：C#で使える可読性重視のディープラーニングラ...
株式会社ヘキサドライブの研究室ページ
AmazonEC2のインスタンスをt1.microからt2....
ニューラルネットワークで画像分類
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
OpenCVの三角測量関数『cv::triangulatep...
JavaScriptとかWebGLとかCanvasとか
Quartus II
UnityでShaderの入力パラメータとして行列を渡す
SVM (Support Vector Machine)
Python拡張モジュールのWindows用インストーラー配...
Cartographer：オープンソースのSLAMライブラリ
PythonのHTML・XMLパーサー『BeautifulS...
ArUco：OpenCVベースのコンパクトなARライブラリ
頭蓋骨からの顔復元と進化過程の可視化
Pythonの自然言語処理ライブラリ『NLTK(Natura...
SONYの自律型エンタテインメントロボット『aibo』
OpenCV 3.3.0 contribのsfmモジュールの...
OpenCVでPhotoshopのプラグイン開発
Faster R-CNN：ディープラーニングによる一般物体検...
OpenCV 3.1とopencv_contribモジュール...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
オープンソースのロボットアプリケーションフレームワーク『RO...
Unityで学ぶC#
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Unity MonoBehaviourクラスのオーバーライド...
コメント