セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Unreal Engineの薄い本
OpenCVで平均顔を作るチュートリアル
UnityでPoint Cloudを表示する方法
OpenAR：OpenCVベースのマーカーARライブラリ
Swark：コードからアーキテクチャ図を作成できるVSCod...
BGSLibrary：OpenCVベースの背景差分ライブラリ
WordPressのテーマを自作する
KelpNet：C#で使える可読性重視のディープラーニングラ...
スクラッチで既存のキャラクターを立体化したい
Google Chromecast
UnityプロジェクトをGitHubで管理する
UnrealCLR：Unreal Engineで.NET C...
OpenCVのバージョン3が正式リリースされたぞ
ブログの復旧が難航してた話
viser：Pythonで使える3D可視化ライブラリ
DensePose：画像中の人物表面のUV座標を推定する
機械学習で遊ぶ
Composition Rendering：Blenderに...
Open3D：3Dデータ処理ライブラリ
AndroidもopenGLも初心者さ (でもJavaは知っ...
Google XML Sitemap Generatorプラ...
Super Resolution：OpenCVの超解像処理モ...
BlenderでPhotogrammetryできるアドオン
SONY製のニューラルネットワークライブラリ『NNabla』
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Quartus II
C++ 標準テンプレートライブラリ (STL)
OpenCV
Alice Vision：オープンソースのPhotogram...
Raspberry Pi 2を買いました
CycleGAN：ドメイン関係を学習した画像変換
OpenSfM：PythonのStructure from ...
オープンソースの物理ベースGIレンダラ『appleseed』
Windows10でPyTorchをインストールしてVSCo...
C++始めようと思うんだ
OpenCVで顔のモーフィングを実装する
機械学習手法『Random Forest』
PyTorch3D：3Dコンピュータービジョンライブラリ
OpenMVS：Multi-View Stereoによる3次...
UnityのMonoBehaviourクラスをシングルトン化...
C++の抽象クラス
Live CV：インタラクティブにComputer Visi...
コメント