セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
機械学習手法『Random Forest』
PyTorch3D：3Dコンピュータービジョンライブラリ
Google App EngineでWordPress
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
科学技術計算向けスクリプト言語『Julia』
C++ 標準テンプレートライブラリ (STL)
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
Google Chromecast
書籍『OpenCV 3 プログラミングブック』を購入
WordPress on Windows Azure
OpenCV 3.1のsfmモジュールのビルド再び
openMVGをWindows10 Visual Studi...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
プログラムによる景観の自動生成
プログラミングスキルとは何か？
このブログのデザインに飽きてきた
UnityからROSを利用できる『ROS#』
OpenCV 3.3.0-RCでsfmモジュールをビルド
WordPressのサーバ引っ越し方法を考える
Blendify：コンピュータービジョン向けBlenderラ...
OpenSfM：PythonのStructure from ...
MPFB2：Blenderの人体モデリングアドオン
pythonもかじってみようかと
OpenCV 3.3.0 contribのsfmモジュールの...
Google App Engineのデプロイ失敗
Iterator
株式会社ヘキサドライブの研究室ページ
Google App Engine上のWordPressでA...
PGGAN：段階的に解像度を上げて学習を進めるGAN
Webスクレイピングの勉強会に行ってきた
機械学習で遊ぶ
UnityのTransformクラスについて調べてみた
Super Resolution：OpenCVの超解像処理モ...
Konashiを買った
Webサイトのワイヤーフレームが作成できるオンラインツール
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
PythonのHTML・XMLパーサー『BeautifulS...
OpenVDB：3Dボリュームデータ処理ライブラリ
Model View Controller
libigl：軽量なジオメトリ処理ライブラリ
コメント