セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Amazon Web ServicesでWordPress
AndroidもopenGLも初心者さ (でもJavaは知っ...
OpenCV 3.1のsfmモジュールのビルド再び
UnrealCLR：Unreal Engineで.NET C...
Blendify：コンピュータービジョン向けBlenderラ...
UnityのAR FoundationでARKit 3
Webサイトのワイヤーフレームが作成できるオンラインツール
adskShaderSDK
Dlib：C++の機械学習ライブラリ
Live CV：インタラクティブにComputer Visi...
定数
まだ続くブログの不調
OpenCV
Pythonのソースコードに特化した検索エンジン『Nulle...
Accord.NET Framework：C#で使える機械学...
ドットインストールのWordPress入門レッスン
OpenCVで平均顔を作るチュートリアル
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
ブログの復旧が難航してた話
Polyscope：3Dデータ操作用GUIライブラリ
C++ 標準テンプレートライブラリ (STL)
オープンソースの取引プラットフォーム
Structure from Motion (多視点画像から...
Mayaのプラグイン開発
TorchStudio：PyTorchのための統合開発環境と...
Math.NET Numerics：Unityで使える数値計...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Google App Engine上のWordPressでA...
IronPythonを使ってUnity上でPythonのコー...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
BlenderでPhotogrammetryできるアドオン
スクラッチで既存のキャラクターを立体化したい
Point Cloud Utils：Pythonで3D点群・...
Unityで学ぶC#
Raspberry Pi 2のGPIOピン配置
JavaScriptとかWebGLとかCanvasとか
PythonでMayaのShapeノードプラグインを作る
Python for Unity：UnityEditorでP...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
Managing Software Requirements...
機械学習手法『Random Forest』
コメント