セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenCV 3.3.0 contribのsfmモジュールの...
Mitsuba 3：オープンソースの研究向けレンダラ
ニューラルネットワークで画像分類
Rerun：マルチモーダルデータの可視化アプリとSDK
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Kaolin：3Dディープラーニング用のPyTorchライブ...
OpenCVの顔検出過程を可視化した動画
網元AMIで作ったWordpressサイトのインスタンスをt...
Multi-View Environment：複数画像から3...
WordPressプラグインの作り方
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
WordPressプラグインによるサイトマップの自動生成
Caffe：読みやすくて高速なディープラーニングのフレームワ...
FreeMoCap Project：オープンソースのマーカー...
BGSLibrary：OpenCVベースの背景差分ライブラリ
3分の動画でプログラミングを学習できるサイト『ドットインスト...
pythonもかじってみようかと
BlenderでPhotogrammetryできるアドオン
Python2とPython3
openMVG：複数視点画像から3次元形状を復元するライブラ...
Mitsuba 2：オープンソースの物理ベースレンダラ
OpenCVのfindEssentialMat関数を使ったサ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
OpenCV 3.1のsfmモジュールを試す
pythonの機械学習ライブラリ『scikit-learn』
WinSCP
続・ディープラーニングの資料
機械学習手法『Random Forest』
Structure from Motion (多視点画像から...
第2回Webスクレイピング勉強会の資料
OpenMesh：オープンソースの３Dメッシュデータライブラ...
iPhoneアプリ開発 Xcode 5のお作法
Alice Vision：オープンソースのPhotogram...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
プログラムによる景観の自動生成
Unreal Engineの薄い本
スクレイピング
Deep Learningとその他の機械学習手法の性能比較
Unity ARKitプラグインサンプルのチュートリアルを読...
TorchStudio：PyTorchのための統合開発環境と...
仮想関数
プログラミングスキルとは何か？
コメント