セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
フォトンの放射から格納までを可視化した動画
TensorFlowでCGを微分できる『TensorFlow...
ドットインストールのWordPress入門レッスン
SVM (Support Vector Machine)
iPhone・iPod touchで動作する知育ロボット『R...
FCN (Fully Convolutional Netwo...
html5のcanvasの可能性
OANDAのfxTrade API
OpenCVの三角測量関数『cv::triangulatep...
Kornia：微分可能なコンピュータービジョンライブラリ
Geogram：C++の3D幾何アルゴリズムライブラリ
OpenCV 3.1から追加されたSfMモジュール
FreeMoCap Project：オープンソースのマーカー...
Math Inspector：科学計算向けビジュアルプログラ...
bpy-renderer：レンダリング用Pythonパッケー...
ZBrushのZScript入門
OpenCV 3.3.0-RCでsfmモジュールをビルド
OpenCVで平均顔を作るチュートリアル
定数
Managing Software Requirements...
UnityでTweenアニメーションを実装できる3種類の無料...
今年もSSII
Raspberry PiのGPIOを操作するPythonライ...
UnityのMonoBehaviourクラスをシングルトン化...
WinSCP
ROSの薄い本
Google Chromecast
OpenCVでiPhone6sのカメラをキャリブレーションす...
チャットツール用bot開発フレームワーク『Hubot』
JavaScriptとかWebGLとかCanvasとか
Python.NET：Pythonと.NETを連携させるパッ...
スクレイピング
Caffe：読みやすくて高速なディープラーニングのフレームワ...
機械学習手法『Random Forest』
OpenAR：OpenCVベースのマーカーARライブラリ
Math.NET Numerics：Unityで使える数値計...
GoB：ZBrushとBlenderを連携させるアドオン
まだ続くブログの不調
Deep Fluids：流体シミュレーションをディープラーニ...
Pylearn2：ディープラーニングに対応したPythonの...
Unity MonoBehaviourクラスのオーバーライド...
Verilog HDL
コメント