セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
NeuralNetwork.NET：.NETで使えるTens...
OpenMVSのサンプルを動かしてみる
WordPressのテーマを自作する
このブログのデザインに飽きてきた
UnityプロジェクトをGitHubで管理する
Twitter APIのPythonラッパー『python-...
Mitsuba 2：オープンソースの物理ベースレンダラ
KelpNet：C#で使える可読性重視のディープラーニングラ...
OpenCVの顔検出過程を可視化した動画
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Managing Software Requirements...
AnacondaとTensorFlowをインストールしてVi...
Unityの薄い本
スクレイピング
オープンソースのロボットアプリケーションフレームワーク『RO...
pythonの機械学習ライブラリ『scikit-learn』
PyMC：Pythonのベイズ統計ライブラリ
Python.NET：Pythonと.NETを連携させるパッ...
GAN (Generative Adversarial Ne...
UnityでPoint Cloudを表示する方法
BlenderでPhotogrammetryできるアドオン
iOSデバイスのためのフィジカル・コンピューティングツールキ...
書籍『仕事ではじめる機械学習』を読みました
続・ディープラーニングの資料
ROSでガンダムを動かす
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Pythonのソースコードに特化した検索エンジン『Nulle...
OpenCVで平均顔を作るチュートリアル
WordPressプラグインによるサイトマップの自動生成
Boost オープンソースライブラリ
Composition Rendering：Blenderに...
Raspberry Pi
hloc：SuperGlueで精度を向上させたSfM・Vis...
Kornia：微分可能なコンピュータービジョンライブラリ
ROMOハッカソンに行ってきた
OpenCVでPhotoshopのプラグイン開発
UnityのTransformクラスについて調べてみた
R-CNN (Regions with CNN featur...
COLMAP：オープンソースのSfM・MVSツール
Super Resolution：OpenCVの超解像処理モ...
機械学習で遊ぶ
Pythonの自然言語処理ライブラリ『NLTK(Natura...
コメント