セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry PiでIoTごっこ
CGレンダラ研究開発のためのフレームワーク『Lightmet...
このブログのデザインに飽きてきた
WordPress on Windows Azure
Cartographer：オープンソースのSLAMライブラリ
Pylearn2：ディープラーニングに対応したPythonの...
C++の抽象クラス
Unityの薄い本
OpenSfM：PythonのStructure from ...
OpenCVで平均顔を作るチュートリアル
OpenCV バージョン4がリリースされた！
UnityプロジェクトをGitHubで管理する
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
iOSデバイスのためのフィジカル・コンピューティングツールキ...
PythonのHTML・XMLパーサー『BeautifulS...
OpenCVの三角測量関数『cv::triangulatep...
Mitsuba 3：オープンソースの研究向けレンダラ
Unity Scriptコーディング→Unreal Engi...
Theia：オープンソースのStructure from M...
Mayaのプラグイン開発
Google Colaboratoryで遊ぶ準備
OpenCV 3.1から追加されたSfMモジュール
続・ディープラーニングの資料
PyDataTokyo主催のDeep Learning勉強会
ROSの薄い本
手を動かしながら学ぶデータマイニング
ROSでガンダムを動かす
Super Resolution：OpenCVの超解像処理モ...
FreeMoCap Project：オープンソースのマーカー...
UnityでOpenCVを使うには？
ZScript
機械学習手法『Random Forest』
OpenCVで顔のランドマークを検出する『Facemark ...
Python.NET：Pythonと.NETを連携させるパッ...
Accord.NET Framework：C#で使える機械学...
Blendify：コンピュータービジョン向けBlenderラ...
WordPressプラグインによるサイトマップの自動生成
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Pythonのソースコードに特化した検索エンジン『Nulle...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
UnityからROSを利用できる『ROS#』
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
コメント