セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Unityの薄い本
Blendify：コンピュータービジョン向けBlenderラ...
OpenCV バージョン4がリリースされた！
UnityでARKit2.0
OpenCV 3.1のsfmモジュールのビルド再び
書籍『仕事ではじめる機械学習』を読みました
TorchStudio：PyTorchのための統合開発環境と...
オープンソースの顔認識フレームワーク『OpenBR』
PyTorch3D：3Dコンピュータービジョンライブラリ
網元AMIで作ったWordpressサイトのインスタンスをt...
科学技術計算向けスクリプト言語『Julia』
Mayaのプラグイン開発
Live CV：インタラクティブにComputer Visi...
hloc：SuperGlueで精度を向上させたSfM・Vis...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
ROMOハッカソンに行ってきた
pythonもかじってみようかと
UnityでOpenCVを使うには？
株式会社ヘキサドライブの研究室ページ
Konashiを買った
OpenGVの用語
OpenCVのバージョン3が正式リリースされたぞ
Python拡張モジュールのWindows用インストーラー配...
bpy-renderer：レンダリング用Pythonパッケー...
UnityでPoint Cloudを表示する方法
Google Chromecast
OpenCV 3.1のsfmモジュールを試す
CGレンダラ研究開発のためのフレームワーク『Lightmet...
OpenCVで平均顔を作るチュートリアル
Twitter APIのPythonラッパー『python-...
Google App Engineのデプロイ失敗
OpenCV3.3.0でsfmモジュールのビルドに成功！
OpenCV 3.3.0-RCでsfmモジュールをビルド
ブログのデザイン変えました
KelpNet：C#で使える可読性重視のディープラーニングラ...
TeleSculptor：空撮動画からPhotogramme...
OpenCVの顔検出過程を可視化した動画
OpenCV 3.1から追加されたSfMモジュール
組み込み向けのWindows OS 『Windows Emb...
Open3D：3Dデータ処理ライブラリ
Quartus II
OpenCVのfindEssentialMat関数を使ったサ...
コメント