セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
オープンソースのロボットアプリケーションフレームワーク『RO...
SVM (Support Vector Machine)
OpenCV 3.1とopencv_contribモジュール...
AnacondaとTensorFlowをインストールしてVi...
組み込み向けのWindows OS 『Windows Emb...
DCGAN (Deep Convolutional GAN)...
Raspberry PiでIoTごっこ
Live CV：インタラクティブにComputer Visi...
チャットツール用bot開発フレームワーク『Hubot』
手を動かしながら学ぶデータマイニング
SDカードサイズのコンピューター『Intel Edison』
ニューラルネットワークで画像分類
Raspberry PiのGPIOを操作するPythonライ...
C++始めようと思うんだ
SONYの自律型エンタテインメントロボット『aibo』
iOSデバイスのためのフィジカル・コンピューティングツールキ...
法線マップを用意してCanvas上でShadingするサンプ...
LuxCoreRender：オープンソースの物理ベースレンダ...
機械学習に役立つPythonライブラリ一覧
Google App Engine上のWordPressでF...
Google Chromecast
Unityからkonashiをコントロールする
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
ROSの薄い本
OpenCV 3.3.0-RCでsfmモジュールをビルド
Unityの薄い本
書籍『ROSプログラミング』
OpenCV 3.3.0 contribのsfmモジュールの...
Pythonの自然言語処理ライブラリ『NLTK(Natura...
Human Generator：Blenderの人体生成アド...
Kaolin：3Dディープラーニング用のPyTorchライブ...
ブログの復旧が難航してた話
Unity ARKitプラグインサンプルのドキュメントを読む
Kornia：微分可能なコンピュータービジョンライブラリ
OpenSfM：PythonのStructure from ...
Multi-View Environment：複数画像から3...
Math Inspector：科学計算向けビジュアルプログラ...
Geogram：C++の3D幾何アルゴリズムライブラリ
Mitsuba 3：オープンソースの研究向けレンダラ
Google App Engine上のWordPressでA...
タマムシっぽい質感
サンプルコードにも間違いはある？
コメント