セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry Pi
Unityからkonashiをコントロールする
OpenCVで顔のモーフィングを実装する
WordPress on Google App Engine...
Unreal Engineの薄い本
OpenCV 3.1のsfmモジュールを試す
AfterEffectsプラグイン開発
クラスの基本
OANDAのfxTrade API
JavaScriptとかWebGLとかCanvasとか
libigl：軽量なジオメトリ処理ライブラリ
COLMAP：オープンソースのSfM・MVSツール
MVStudio：オープンソースのPhotogrammetr...
Unityで学ぶC#
書籍『ゼロから作るDeep Learning』で自分なりに学...
Composition Rendering：Blenderに...
C++の抽象クラス
OpenVDB：3Dボリュームデータ処理ライブラリ
TensorFlowでCGを微分できる『TensorFlow...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
OpenGVのライブラリ構成
konashiのサンプルコードを動かしてみた
WordPressプラグインの作り方
Polyscope：3Dデータ操作用GUIライブラリ
為替レートの読み方 2WAYプライス表示
スクレイピング
Mitsuba 3：オープンソースの研究向けレンダラ
Model View Controller
MPFB2：Blenderの人体モデリングアドオン
Gource：バージョン管理の履歴を可視化するツール
UnityでShaderの入力パラメータとして行列を渡す
Mayaのプラグイン開発
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
VCG Library：C++のポリゴン操作ライブラリ
Theia：オープンソースのStructure from M...
ROSの薄い本
iPhoneアプリ開発 Xcode 5のお作法
R-CNN (Regions with CNN featur...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Math.NET Numerics：Unityで使える数値計...
FreeMoCap Project：オープンソースのマーカー...
Raspberry Piでセンサーの常時稼働を検討する
コメント