セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Dlib：C++の機械学習ライブラリ
RSSフィードを読込んで表示するWordpressプラグイン...
PGGAN：段階的に解像度を上げて学習を進めるGAN
ManuelBastioniLAB：人体モデリングできるBl...
ROSでガンダムを動かす
UnityでShaderの入力パラメータとして行列を渡す
OpenVDB：3Dボリュームデータ処理ライブラリ
WinSCP
Blender 2.8がついに正式リリース！
クラスの基本
TensorSpace.js：ニューラルネットワークの構造を...
OpenCV3.3.0でsfmモジュールのビルドに成功！
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
VCG Library：C++のポリゴン操作ライブラリ
konashiのサンプルコードを動かしてみた
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Google App Engineのデプロイ失敗
Theia：オープンソースのStructure from M...
Unityの各コンポーネント間でのやり取り
SDカードサイズのコンピューター『Intel Edison』
UnityでARKit2.0
Web経由でRaspberry PiのGPIOを操作したい
Windows10でPyTorchをインストールしてVSCo...
KelpNet：C#で使える可読性重視のディープラーニングラ...
書籍『ROSプログラミング』
SONY製のニューラルネットワークライブラリ『NNabla』
3分の動画でプログラミングを学習できるサイト『ドットインスト...
Live CV：インタラクティブにComputer Visi...
2D→3D復元技術で使われる用語まとめ
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Google App EngineでWordPress
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
Unreal Engineの薄い本
trimesh：PythonでポリゴンMeshを扱うライブラ...
C++の抽象クラス
Google製オープンソース機械学習ライブラリ『Tensor...
3Dモデルを立体視で確認できるVRアプリを作っている
ディープラーニング
AnacondaとTensorFlowをインストールしてVi...
スクレイピング
BlenderProc：Blenderで機械学習用の画像デー...
コメント