セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
第2回Webスクレイピング勉強会の資料
書籍『OpenCV 3 プログラミングブック』を購入
Unityで強化学習できる『Unity ML-Agents』
オープンソースの顔の動作解析ツールキット『OpenFace』
Raspberry Pi 2を買いました
Boost オープンソースライブラリ
Raspberry PiのGPIOを操作するPythonライ...
Multi-View Environment：複数画像から3...
HerokuでMEAN stack
Managing Software Requirements...
Kaolin：3Dディープラーニング用のPyTorchライブ...
Unityで学ぶC#
Model View Controller
UnityプロジェクトをGitHubで管理する
ArUco：OpenCVベースのコンパクトなARライブラリ
python-twitterで自分のお気に入りを取得する
定数
OpenCV 3.3.0 contribのsfmモジュールの...
Python2とPython3
書籍『ROSプログラミング』
AmazonEC2のインスタンスをt1.microからt2....
法線マップを用意してCanvas上でShadingするサンプ...
Google App Engine上のWordPressでA...
ブログが1日ダウンしてました
Mitsuba 3：オープンソースの研究向けレンダラ
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
Google製オープンソース機械学習ライブラリ『Tensor...
Google Chromecast
Raspberry Pi
OpenGVの用語
DCGAN (Deep Convolutional GAN)...
OpenCVの三角測量関数『cv::triangulatep...
C++ 標準テンプレートライブラリ (STL)
Unity ARKitプラグインサンプルのドキュメントを読む
Deep Fluids：流体シミュレーションをディープラーニ...
Rerun：マルチモーダルデータの可視化アプリとSDK
UnityでLight Shaftを表現する
OpenCV 3.1のsfmモジュールのビルド再び
オープンソースの顔認識フレームワーク『OpenBR』
Super Resolution：OpenCVの超解像処理モ...
Gource：バージョン管理の履歴を可視化するツール
Swark：コードからアーキテクチャ図を作成できるVSCod...
コメント