セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Manim：Pythonで使える数学アニメーションライブラリ
R-CNN (Regions with CNN featur...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
UnityのAR FoundationでARKit 3
OpenCV 3.3.0-RCでsfmモジュールをビルド
OpenMVSのサンプルを動かしてみる
Kubric：機械学習用アノテーション付き動画生成パイプライ...
openMVGをWindows10 Visual Studi...
Unity Scriptコーディング→Unreal Engi...
OpenCV バージョン4がリリースされた！
OpenCVでカメラ画像から自己位置認識 (Visual O...
このブログのデザインに飽きてきた
Composition Rendering：Blenderに...
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
Webスクレイピングの勉強会に行ってきた
Web経由でRaspberry PiのGPIOを操作したい
Google App Engine上のWordPressでA...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
続・ディープラーニングの資料
Super Resolution：OpenCVの超解像処理モ...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
スクラッチで既存のキャラクターを立体化したい
Faster R-CNN：ディープラーニングによる一般物体検...
viser：Pythonで使える3D可視化ライブラリ
Swark：コードからアーキテクチャ図を作成できるVSCod...
オープンソースの顔認識フレームワーク『OpenBR』
スクレイピング
SDカードサイズのコンピューター『Intel Edison』
OpenCV 3.3.0 contribのsfmモジュールの...
BlenderでPhotogrammetryできるアドオン
法線マップを用意してCanvas上でShadingするサンプ...
pythonの機械学習ライブラリ『scikit-learn』
OpenCVの顔検出過程を可視化した動画
DCGAN (Deep Convolutional GAN)...
WordPress on Windows Azure
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Russian3DScannerのトポロジー転送ツール『Wr...
サンプルコードにも間違いはある？
OpenCVのfindEssentialMat関数を使ったサ...
Raspberry Pi 2のGPIOピン配置
クラスの基本
コメント