セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Unityの薄い本
Blendify:コンピュータービジョン向けBlenderラ...
OpenCV バージョン4がリリースされた!
UnityでARKit2.0
OpenCV 3.1のsfmモジュールのビルド再び
書籍『仕事ではじめる機械学習』を読みました
TorchStudio:PyTorchのための統合開発環境と...
オープンソースの顔認識フレームワーク『OpenBR』
PyTorch3D:3Dコンピュータービジョンライブラリ
網元AMIで作ったWordpressサイトのインスタンスをt...
科学技術計算向けスクリプト言語『Julia』
Mayaのプラグイン開発
Live CV:インタラクティブにComputer Visi...
hloc:SuperGlueで精度を向上させたSfM・Vis...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
ROMOハッカソンに行ってきた
pythonもかじってみようかと
UnityでOpenCVを使うには?
株式会社ヘキサドライブの研究室ページ
Konashiを買った
OpenGVの用語
OpenCVのバージョン3が正式リリースされたぞ
Python拡張モジュールのWindows用インストーラー配...
bpy-renderer:レンダリング用Pythonパッケー...
UnityでPoint Cloudを表示する方法
Google Chromecast
OpenCV 3.1のsfmモジュールを試す
CGレンダラ研究開発のためのフレームワーク『Lightmet...
OpenCVで平均顔を作るチュートリアル
Twitter APIのPythonラッパー『python-...
Google App Engineのデプロイ失敗
OpenCV3.3.0でsfmモジュールのビルドに成功!
OpenCV 3.3.0-RCでsfmモジュールをビルド
ブログのデザイン変えました
KelpNet:C#で使える可読性重視のディープラーニングラ...
TeleSculptor:空撮動画からPhotogramme...
OpenCVの顔検出過程を可視化した動画
OpenCV 3.1から追加されたSfMモジュール
組み込み向けのWindows OS 『Windows Emb...
Open3D:3Dデータ処理ライブラリ
Quartus II
OpenCVのfindEssentialMat関数を使ったサ...

コメント