セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenCVで顔のランドマークを検出する『Facemark ...
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
Gource：バージョン管理の履歴を可視化するツール
Raspberry Piでセンサーの常時稼働を検討する
iOSデバイスと接続して連携するガジェットの開発方法
konashiのサンプルコードを動かしてみた
Amazon Web ServicesでWordPress
Swark：コードからアーキテクチャ図を作成できるVSCod...
Web経由でRaspberry PiのGPIOを操作したい
OpenVDB：3Dボリュームデータ処理ライブラリ
pythonもかじってみようかと
ブラウザ操作自動化ツール『Selenium』を試す
機械学習に役立つPythonライブラリ一覧
Raspberry Pi 2を買いました
Google App Engine上のWordPressでF...
Alice Vision：オープンソースのPhotogram...
3Dグラフィックスの入門書
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Rerun：マルチモーダルデータの可視化アプリとSDK
OpenCVで平均顔を作るチュートリアル
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
クラスの基本
pythonの機械学習ライブラリ『scikit-learn』
オープンソースの物理ベースGIレンダラ『appleseed』
Unity MonoBehaviourクラスのオーバーライド...
ブログのデザイン変えました
Geogram：C++の3D幾何アルゴリズムライブラリ
BlenderProc：Blenderで機械学習用の画像デー...
TensorSpace.js：ニューラルネットワークの構造を...
オープンソースの顔の動作解析ツールキット『OpenFace』
Faster R-CNN：ディープラーニングによる一般物体検...
Webサイトのワイヤーフレームが作成できるオンラインツール
BlenderでPhotogrammetryできるアドオン
ManuelBastioniLAB：人体モデリングできるBl...
Boost オープンソースライブラリ
iPhone x ロボットハッカソン～RomoのiPhone...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
3Dモデルを立体視で確認できるVRアプリを作っている
Google App Engineのデプロイ失敗
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Seleniumを使ったFXや株の自動取引
サンプルコードにも間違いはある？
コメント