セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
機械学習で遊ぶ
BlenderのPython環境にPyTorchをインストー...
Russian3DScannerのトポロジー転送ツール『Wr...
HD画質の無駄遣い
Unityの薄い本
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Mayaのプラグイン開発
OpenCVでiPhone6sのカメラをキャリブレーションす...
Pylearn2：ディープラーニングに対応したPythonの...
LuxCoreRender：オープンソースの物理ベースレンダ...
Raspberry Pi 2を買いました
OpenCVで動画の手ぶれ補正
OpenAR：OpenCVベースのマーカーARライブラリ
Faster R-CNN：ディープラーニングによる一般物体検...
Alice Vision：オープンソースのPhotogram...
html5のcanvasの可能性
OpenCVで顔のランドマークを検出する『Facemark ...
Kornia：微分可能なコンピュータービジョンライブラリ
Math.NET Numerics：Unityで使える数値計...
OpenCVの顔検出過程を可視化した動画
openMVGをWindows10 Visual Studi...
ディープラーニング
konashiのサンプルコードを動かしてみた
TeleSculptor：空撮動画からPhotogramme...
Google Colaboratoryで遊ぶ準備
ArUco：OpenCVベースのコンパクトなARライブラリ
OpenCV 3.3.0 contribのsfmモジュールの...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
PyMC：Pythonのベイズ統計ライブラリ
WordPressプラグインによるサイトマップの自動生成
WordPressのサーバ引っ越し方法を考える
Unity ARKitプラグインサンプルのドキュメントを読む
Boost オープンソースライブラリ
Model View Controller
UnityのAR FoundationでARKit 3
Structure from Motion (多視点画像から...
手を動かしながら学ぶデータマイニング
C++の抽象クラス
WinSCP
Windows10でPyTorchをインストールしてVSCo...
OpenCV 3.1とopencv_contribモジュール...
Unity ARKitプラグインサンプルのチュートリアルを読...
コメント