セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
網元AMIで作ったWordpressサイトのインスタンスをt...
仮想関数
Raspberry Piでセンサーの常時稼働を検討する
定数
Cartographer：オープンソースのSLAMライブラリ
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Seleniumを使ったFXや株の自動取引
WordPress on Windows Azure
OpenCV 3.1のsfmモジュールを試す
WordPress on Google App Engine...
Russian3DScannerのトポロジー転送ツール『Wr...
ManuelBastioniLAB：人体モデリングできるBl...
Dlib：C++の機械学習ライブラリ
Blender 2.8がついに正式リリース！
BGSLibrary：OpenCVベースの背景差分ライブラリ
法線マップを用意してCanvas上でShadingするサンプ...
AndroidもopenGLも初心者さ (でもJavaは知っ...
iPhoneアプリ開発 Xcode 5のお作法
OpenCVの顔検出過程を可視化した動画
Mean Stack開発の最初の一歩
Iridescence：プロトタイピング向け軽量3D可視化ラ...
フォトンの放射から格納までを可視化した動画
オープンソースの取引プラットフォーム
オープンソースの顔の動作解析ツールキット『OpenFace』
プログラムによる景観の自動生成
WordPressプラグインの作り方
Web経由でRaspberry PiのGPIOを操作したい
UnityでTweenアニメーションを実装できる3種類の無料...
Unityで学ぶC#
MB-Lab：Blenderの人体モデリングアドオン
Unity ARKitプラグインサンプルのドキュメントを読む
ブログをGoogle App EngineからAmazon ...
Point Cloud Utils：Pythonで3D点群・...
UnrealCLR：Unreal Engineで.NET C...
Live CV：インタラクティブにComputer Visi...
MPFB2：Blenderの人体モデリングアドオン
PythonでMayaのShapeノードプラグインを作る
ROMOハッカソンに行ってきた
UnityのAR FoundationでARKit 3
Composition Rendering：Blenderに...
Amazon Web ServicesでWordPress
Model View Controller
コメント