セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
UnityのMonoBehaviourクラスをシングルトン化...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Raspberry Pi 2を買いました
書籍『仕事ではじめる機械学習』を読みました
動的なメモリの扱い
スクレイピング
Seleniumを使ったFXや株の自動取引
SONYの自律型エンタテインメントロボット『aibo』
bpy-renderer：レンダリング用Pythonパッケー...
TensorSpace.js：ニューラルネットワークの構造を...
Amazon Web ServicesでWordPress
Russian3DScannerのトポロジー転送ツール『Wr...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Structure from Motion (多視点画像から...
iPhone x ロボットハッカソン～RomoのiPhone...
adskShaderSDK
TeleSculptor：空撮動画からPhotogramme...
まだ続くブログの不調
PythonでMayaのShapeノードプラグインを作る
OpenCV バージョン4がリリースされた！
WordPressのテーマを自作する
PythonのHTML・XMLパーサー『BeautifulS...
機械学習手法『Random Forest』
OpenMVSのサンプルを動かしてみる
BlenderでPhotogrammetryできるアドオン
PythonでBlenderのAdd-on開発
マルコフ連鎖モンテカルロ法
ManuelBastioniLAB：人体モデリングできるBl...
Super Resolution：OpenCVの超解像処理モ...
ROSの薄い本
OpenCVでiPhone6sのカメラをキャリブレーションす...
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
UnrealCLR：Unreal Engineで.NET C...
UnityでShaderの入力パラメータとして行列を渡す
TensorFlowでCGを微分できる『TensorFlow...
為替レートの読み方 2WAYプライス表示
Gource：バージョン管理の履歴を可視化するツール
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Python for Unity：UnityEditorでP...
スクラッチで既存のキャラクターを立体化したい
AnacondaとTensorFlowをインストールしてVi...
Raspberry PiでIoTごっこ
コメント