セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry Pi
Unityからkonashiをコントロールする
OpenCVで顔のモーフィングを実装する
WordPress on Google App Engine...
Unreal Engineの薄い本
OpenCV 3.1のsfmモジュールを試す
AfterEffectsプラグイン開発
クラスの基本
OANDAのfxTrade API
JavaScriptとかWebGLとかCanvasとか
libigl:軽量なジオメトリ処理ライブラリ
COLMAP:オープンソースのSfM・MVSツール
MVStudio:オープンソースのPhotogrammetr...
Unityで学ぶC#
書籍『ゼロから作るDeep Learning』で自分なりに学...
Composition Rendering:Blenderに...
C++の抽象クラス
OpenVDB:3Dボリュームデータ処理ライブラリ
TensorFlowでCGを微分できる『TensorFlow...
ManimML:機械学習の概念を視覚的に説明するためのライブ...
OpenGVのライブラリ構成
konashiのサンプルコードを動かしてみた
WordPressプラグインの作り方
Polyscope:3Dデータ操作用GUIライブラリ
為替レートの読み方 2WAYプライス表示
スクレイピング
Mitsuba 3:オープンソースの研究向けレンダラ
Model View Controller
MPFB2:Blenderの人体モデリングアドオン
Gource:バージョン管理の履歴を可視化するツール
UnityでShaderの入力パラメータとして行列を渡す
Mayaのプラグイン開発
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
VCG Library:C++のポリゴン操作ライブラリ
Theia:オープンソースのStructure from M...
ROSの薄い本
iPhoneアプリ開発 Xcode 5のお作法
R-CNN (Regions with CNN featur...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Math.NET Numerics:Unityで使える数値計...
FreeMoCap Project:オープンソースのマーカー...
Raspberry Piでセンサーの常時稼働を検討する

コメント