セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
UnityからROSを利用できる『ROS#』
UnityでTweenアニメーションを実装できる3種類の無料...
iPhone x ロボットハッカソン～RomoのiPhone...
cvui：OpenCVのための軽量GUIライブラリ
BlenderProc：Blenderで機械学習用の画像デー...
Twitter APIのPythonラッパー『python-...
Unity ARKitプラグインサンプルのチュートリアルを読...
UnrealCLR：Unreal Engineで.NET C...
iPhone・iPod touchで動作する知育ロボット『R...
ManuelBastioniLAB：人体モデリングできるBl...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
3Dグラフィックスの入門書
Raspberry Pi 2を買いました
PGGAN：段階的に解像度を上げて学習を進めるGAN
UnityでOpenCVを使うには？
HerokuでMEAN stack
オープンソースのロボットアプリケーションフレームワーク『RO...
BGSLibrary：OpenCVベースの背景差分ライブラリ
FCN (Fully Convolutional Netwo...
株式会社ヘキサドライブの研究室ページ
Pythonのソースコードに特化した検索エンジン『Nulle...
オープンソースの取引プラットフォーム
ブログが1日ダウンしてました
TeleSculptor：空撮動画からPhotogramme...
Math.NET Numerics：Unityで使える数値計...
openMVGをWindows10 Visual Studi...
OpenCV 3.3.0-RCでsfmモジュールをビルド
pythonの機械学習ライブラリ『scikit-learn』
Point Cloud Utils：Pythonで3D点群・...
ZBrushのZScript入門
ROSの薄い本
OpenCVの顔検出過程を可視化した動画
3分の動画でプログラミングを学習できるサイト『ドットインスト...
まだ続くブログの不調
CycleGAN：ドメイン関係を学習した画像変換
GoB：ZBrushとBlenderを連携させるアドオン
OpenCVのfindEssentialMat関数を使ったサ...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
定数
ブログをGoogle App EngineからAmazon ...
2D→3D復元技術で使われる用語まとめ
コメント