セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
頭蓋骨からの顔復元と進化過程の可視化
UnityのMonoBehaviourクラスをシングルトン化...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
プログラムによる景観の自動生成
bpy-renderer：レンダリング用Pythonパッケー...
網元AMIで作ったWordpressサイトのインスタンスをt...
WordPress on Google App Engine...
UnityでTweenアニメーションを実装できる3種類の無料...
マルコフ連鎖モンテカルロ法
スクラッチで既存のキャラクターを立体化したい
Google Chromecast
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
UnityからROSを利用できる『ROS#』
OANDAのfxTrade API
Pythonのソースコードに特化した検索エンジン『Nulle...
Python2とPython3
pythonの機械学習ライブラリ『scikit-learn』
TensorSpace.js：ニューラルネットワークの構造を...
Live CV：インタラクティブにComputer Visi...
プログラミングスキルとは何か？
Managing Software Requirements...
第2回Webスクレイピング勉強会の資料
JavaScriptとかWebGLとかCanvasとか
OpenCV 3.1とopencv_contribモジュール...
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
Web経由でRaspberry PiのGPIOを操作したい
Mayaのプラグイン開発
WordPressプラグインの作り方
OpenMVS：Multi-View Stereoによる3次...
pythonもかじってみようかと
Accord.NET Framework：C#で使える機械学...
BGSLibrary：OpenCVベースの背景差分ライブラリ
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
ブログのデザイン変えました
2D→3D復元技術で使われる用語まとめ
Unityで強化学習できる『Unity ML-Agents』
Amazon Web ServicesでWordPress
viser：Pythonで使える3D可視化ライブラリ
UnityでOpenCVを使うには？
Deep Learningとその他の機械学習手法の性能比較
コメント