セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
hloc：SuperGlueで精度を向上させたSfM・Vis...
タマムシっぽい質感
AnacondaとTensorFlowをインストールしてVi...
Raspberry Piでセンサーの常時稼働を検討する
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
TorchStudio：PyTorchのための統合開発環境と...
Human Generator：Blenderの人体生成アド...
WebGL開発に関する情報が充実してきている
3Dモデルを立体視で確認できるVRアプリを作っている
Unityからkonashiをコントロールする
OpenVDB：3Dボリュームデータ処理ライブラリ
OpenCV 3.3.0 contribのsfmモジュールの...
Python2とPython3
ディープラーニング
オープンソースの人体モデリングツール『MakeHuman』の...
UnityのMonoBehaviourクラスをシングルトン化...
オープンソースのロボットアプリケーションフレームワーク『RO...
Unityの薄い本
C++始めようと思うんだ
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Raspberry Pi 2を買いました
C++ 標準テンプレートライブラリ (STL)
OpenCV 3.1のsfmモジュールを試す
HD画質の無駄遣い
UnityでARKit2.0
OpenGVのライブラリ構成
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Raspberry PiのGPIOを操作するPythonライ...
Blendify：コンピュータービジョン向けBlenderラ...
ブラウザ操作自動化ツール『Selenium』を試す
Super Resolution：OpenCVの超解像処理モ...
WordPressの表示を高速化する
Live CV：インタラクティブにComputer Visi...
Unityで強化学習できる『Unity ML-Agents』
マルコフ連鎖モンテカルロ法
Quartus II
Theia：オープンソースのStructure from M...
UnityでOpenCVを使うには？
Seleniumを使ったFXや株の自動取引
PGGAN：段階的に解像度を上げて学習を進めるGAN
OpenMVS：Multi-View Stereoによる3次...
WordPressプラグインの作り方
コメント