セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
3Dモデルを立体視で確認できるVRアプリを作っている
HerokuでMEAN stack
法線マップを用意してCanvas上でShadingするサンプ...
PyMC：Pythonのベイズ統計ライブラリ
OpenCVのバージョン3が正式リリースされたぞ
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
Mean Stack開発の最初の一歩
OpenCVで顔のランドマークを検出する『Facemark ...
Mask R-CNN：ディープラーニングによる一般物体検出・...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
ZBrushのZScript入門
プログラムによる景観の自動生成
BlenderProc：Blenderで機械学習用の画像デー...
Live CV：インタラクティブにComputer Visi...
Python拡張モジュールのWindows用インストーラー配...
仮想関数
WordPress on Google App Engine...
Unity ARKitプラグインサンプルのチュートリアルを読...
2D→3D復元技術で使われる用語まとめ
iPhoneアプリ開発 Xcode 5のお作法
WordPressのテーマを自作する
Boost オープンソースライブラリ
OpenCV 3.1とopencv_contribモジュール...
Blendify：コンピュータービジョン向けBlenderラ...
Human Generator：Blenderの人体生成アド...
openMVGをWindows10 Visual Studi...
OpenCVでカメラ画像から自己位置認識 (Visual O...
SONY製のニューラルネットワークライブラリ『NNabla』
UnityのGameObjectの向きをScriptで制御す...
チャットツール用bot開発フレームワーク『Hubot』
WebGL開発に関する情報が充実してきている
OpenCVの三角測量関数『cv::triangulatep...
adskShaderSDK
AndroidもopenGLも初心者さ (でもJavaは知っ...
Mitsuba 3：オープンソースの研究向けレンダラ
IronPythonを使ってUnity上でPythonのコー...
TensorSpace.js：ニューラルネットワークの構造を...
MPFB2：Blenderの人体モデリングアドオン
Alice Vision：オープンソースのPhotogram...
Pythonのソースコードに特化した検索エンジン『Nulle...
WordPressのサーバ引っ越し方法を考える
Math.NET Numerics：Unityで使える数値計...
コメント