セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
BGSLibrary：OpenCVベースの背景差分ライブラリ
pythonもかじってみようかと
Google App EngineでWordPress
Amazon Web ServicesでWordPress
Seleniumを使ったFXや株の自動取引
Google Colaboratoryで遊ぶ準備
機械学習手法『Random Forest』
UnityのGameObjectの向きをScriptで制御す...
OpenCVで顔のランドマークを検出する『Facemark ...
Unity Scriptコーディング→Unreal Engi...
JavaScriptとかWebGLとかCanvasとか
html5のcanvasの可能性
Python.NET：Pythonと.NETを連携させるパッ...
OpenCV 3.3.0-RCでsfmモジュールをビルド
オープンソースの顔認識フレームワーク『OpenBR』
Konashiを買った
OpenCVの三角測量関数『cv::triangulatep...
ドットインストールのWordPress入門レッスン
python-twitterで自分のお気に入りを取得する
Mayaのプラグイン開発
SONYの自律型エンタテインメントロボット『aibo』
Google App Engine上のWordPressでA...
OpenCVのfindEssentialMat関数を使ったサ...
hloc：SuperGlueで精度を向上させたSfM・Vis...
TorchStudio：PyTorchのための統合開発環境と...
UnityのTransformクラスについて調べてみた
Math Inspector：科学計算向けビジュアルプログラ...
CycleGAN：ドメイン関係を学習した画像変換
オープンソースの人体モデリングツール『MakeHuman』の...
Webスクレイピングの勉強会に行ってきた
3分の動画でプログラミングを学習できるサイト『ドットインスト...
Python2とPython3
ROSでガンダムを動かす
Blender 2.8がついに正式リリース！
IronPythonを使ってUnity上でPythonのコー...
UnityのMonoBehaviourクラスをシングルトン化...
ブラウザ操作自動化ツール『Selenium』を試す
trimesh：PythonでポリゴンMeshを扱うライブラ...
C++ 標準テンプレートライブラリ (STL)
オープンソースの物理ベースGIレンダラ『appleseed』
Python for Unity：UnityEditorでP...
サンプルコードにも間違いはある？
コメント