セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Kaolin：3Dディープラーニング用のPyTorchライブ...
Python for Unity：UnityEditorでP...
網元AMIで作ったWordpressサイトのインスタンスをt...
科学技術計算向けスクリプト言語『Julia』
hloc：SuperGlueで精度を向上させたSfM・Vis...
Point Cloud Utils：Pythonで3D点群・...
JavaScriptとかWebGLとかCanvasとか
Deep Learningとその他の機械学習手法の性能比較
Gource：バージョン管理の履歴を可視化するツール
PythonでMayaのShapeノードプラグインを作る
OpenGVの用語
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
OpenCV 3.1のsfmモジュールを試す
viser：Pythonで使える3D可視化ライブラリ
2D→3D復元技術で使われる用語まとめ
Managing Software Requirements...
GAN (Generative Adversarial Ne...
Kornia：微分可能なコンピュータービジョンライブラリ
Unityからkonashiをコントロールする
UnityプロジェクトをGitHubで管理する
HD画質の無駄遣い
DensePose：画像中の人物表面のUV座標を推定する
C++ 標準テンプレートライブラリ (STL)
Super Resolution：OpenCVの超解像処理モ...
Python拡張モジュールのWindows用インストーラー配...
ROMOハッカソンに行ってきた
UnityのMonoBehaviourクラスをシングルトン化...
iPhone x ロボットハッカソン～RomoのiPhone...
MB-Lab：Blenderの人体モデリングアドオン
MythTV：Linuxでテレビの視聴・録画ができるオープン...
FreeMoCap Project：オープンソースのマーカー...
C++の抽象クラス
geometry3Sharp：Unity C#で使えるポリゴ...
Unityで学ぶC#
UnityでShaderの入力パラメータとして行列を渡す
OpenVDB：3Dボリュームデータ処理ライブラリ
OpenCV バージョン4がリリースされた！
OpenCV 3.3.0-RCでsfmモジュールをビルド
Russian3DScannerのトポロジー転送ツール『Wr...
OpenCVの三角測量関数『cv::triangulatep...
まだ続くブログの不調
VCG Library：C++のポリゴン操作ライブラリ
コメント