セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Russian3DScannerのトポロジー転送ツール『Wr...
NeuralNetwork.NET：.NETで使えるTens...
TensorFlowでCGを微分できる『TensorFlow...
Pythonのソースコードに特化した検索エンジン『Nulle...
Mayaのプラグイン開発
AmazonEC2のインスタンスをt1.microからt2....
Google App Engineのデプロイ失敗
プログラムによる景観の自動生成
ArUco：OpenCVベースのコンパクトなARライブラリ
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Rerun：マルチモーダルデータの可視化アプリとSDK
オープンソースのロボットアプリケーションフレームワーク『RO...
Kornia：微分可能なコンピュータービジョンライブラリ
ブラウザ操作自動化ツール『Selenium』を試す
マルコフ連鎖モンテカルロ法
FreeMoCap Project：オープンソースのマーカー...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
PythonでBlenderのAdd-on開発
クラスの基本
WordPressプラグインの作り方
geometry3Sharp：Unity C#で使えるポリゴ...
openMVGをWindows10 Visual Studi...
Blendify：コンピュータービジョン向けBlenderラ...
Gource：バージョン管理の履歴を可視化するツール
viser：Pythonで使える3D可視化ライブラリ
Webスクレイピングの勉強会に行ってきた
OpenCVのバージョン3が正式リリースされたぞ
Google App EngineでWordPress
Kaolin：3Dディープラーニング用のPyTorchライブ...
Blender 2.8がついに正式リリース！
AnacondaとTensorFlowをインストールしてVi...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
OpenFace：Deep Neural Networkによ...
Deep Learningとその他の機械学習手法の性能比較
TensorSpace.js：ニューラルネットワークの構造を...
OpenVDB：3Dボリュームデータ処理ライブラリ
WordPress on Google App Engine...
Twitter APIのPythonラッパー『python-...
UnityのMonoBehaviourクラスをシングルトン化...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
SDカードサイズのコンピューター『Intel Edison』
Kubric：機械学習用アノテーション付き動画生成パイプライ...
コメント