セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
UnityのMonoBehaviourクラスをシングルトン化...
libigl：軽量なジオメトリ処理ライブラリ
OpenCVの超解像(SuperResolution)モジュ...
OpenCV
Python拡張モジュールのWindows用インストーラー配...
Math Inspector：科学計算向けビジュアルプログラ...
PyMC：Pythonのベイズ統計ライブラリ
Seleniumを使ったFXや株の自動取引
WordPressのサーバ引っ越し方法を考える
頭蓋骨からの顔復元と進化過程の可視化
書籍『OpenCV 3 プログラミングブック』を購入
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
MythTV：Linuxでテレビの視聴・録画ができるオープン...
Unity Scriptコーディング→Unreal Engi...
OpenCV 3.1のsfmモジュールのビルド再び
機械学習に役立つPythonライブラリ一覧
OpenCV 3.1のsfmモジュールを試す
Mitsuba 2：オープンソースの物理ベースレンダラ
書籍『仕事ではじめる機械学習』を読みました
Unity MonoBehaviourクラスのオーバーライド...
Unityの薄い本
OpenCV 3.3.0-RCでsfmモジュールをビルド
html5のcanvasの可能性
Google製オープンソース機械学習ライブラリ『Tensor...
Deep Learningとその他の機械学習手法の性能比較
Amazon Web ServicesでWordPress
NeuralNetwork.NET：.NETで使えるTens...
Iterator
手を動かしながら学ぶデータマイニング
iOSデバイスと接続して連携するガジェットの開発方法
OpenCV 3.1とopencv_contribモジュール...
Verilog HDL
定数
RSSフィードを読込んで表示するWordpressプラグイン...
GAN (Generative Adversarial Ne...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
BlenderProc：Blenderで機械学習用の画像デー...
AnacondaとTensorFlowをインストールしてVi...
iPhone・iPod touchで動作する知育ロボット『R...
WordPressのテーマを自作する
PythonでBlenderのAdd-on開発
AndroidもopenGLも初心者さ (でもJavaは知っ...
コメント