セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
為替レートの読み方 2WAYプライス表示
Google App Engine上のWordPressでF...
UnityのMonoBehaviourクラスをシングルトン化...
RSSフィードを読込んで表示するWordpressプラグイン...
iPhoneアプリ開発 Xcode 5のお作法
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
UnityでLight Shaftを表現する
UnityプロジェクトをGitHubで管理する
PyTorch3D：3Dコンピュータービジョンライブラリ
オープンソースの顔の動作解析ツールキット『OpenFace』
オープンソースの顔認識フレームワーク『OpenBR』
AnacondaとTensorFlowをインストールしてVi...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
UnityでPoint Cloudを表示する方法
OpenCVでiPhone6sのカメラをキャリブレーションす...
クラスの基本
UnityでTweenアニメーションを実装できる3種類の無料...
SVM (Support Vector Machine)
Alice Vision：オープンソースのPhotogram...
Google App EngineでWordPress
OpenCV 3.1とopencv_contribモジュール...
UnityでShaderの入力パラメータとして行列を渡す
UnityのGameObjectの向きをScriptで制御す...
OpenCV 3.1のsfmモジュールのビルド再び
trimesh：PythonでポリゴンMeshを扱うライブラ...
Raspberry Pi
科学技術計算向けスクリプト言語『Julia』
Python拡張モジュールのWindows用インストーラー配...
Faster R-CNN：ディープラーニングによる一般物体検...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
手を動かしながら学ぶデータマイニング
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Structure from Motion (多視点画像から...
FCN (Fully Convolutional Netwo...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
Google製オープンソース機械学習ライブラリ『Tensor...
html5のcanvasの可能性
MB-Lab：Blenderの人体モデリングアドオン
Composition Rendering：Blenderに...
Cartographer：オープンソースのSLAMライブラリ
Unityの薄い本
iOSデバイスと接続して連携するガジェットの開発方法
コメント