セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
PyDataTokyo主催のDeep Learning勉強会
Accord.NET Framework：C#で使える機械学...
チャットツール用bot開発フレームワーク『Hubot』
Python拡張モジュールのWindows用インストーラー配...
OpenCVで顔のモーフィングを実装する
マルコフ連鎖モンテカルロ法
Composition Rendering：Blenderに...
WordPress on Windows Azure
機械学習手法『Random Forest』
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
WordPressプラグインによるサイトマップの自動生成
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
GoB：ZBrushとBlenderを連携させるアドオン
RSSフィードを読込んで表示するWordpressプラグイン...
Dlib：C++の機械学習ライブラリ
ZScript
オープンソースの顔認識フレームワーク『OpenBR』
為替レートの読み方 2WAYプライス表示
WordPress on Google App Engine...
UnityのMonoBehaviourクラスをシングルトン化...
AnacondaとTensorFlowをインストールしてVi...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Windows10でPyTorchをインストールしてVSCo...
Google製オープンソース機械学習ライブラリ『Tensor...
科学技術計算向けスクリプト言語『Julia』
サンプルコードにも間違いはある？
Cartographer：オープンソースのSLAMライブラリ
AmazonEC2のインスタンスをt1.microからt2....
OpenCV 3.1のsfmモジュールのビルド再び
Webスクレイピングの勉強会に行ってきた
ニューラルネットワークで画像分類
Deep Learningとその他の機械学習手法の性能比較
html5のcanvasの可能性
ドットインストールのWordPress入門レッスン
WebGL開発に関する情報が充実してきている
Google App Engine上のWordPressでF...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Python.NET：Pythonと.NETを連携させるパッ...
手を動かしながら学ぶデータマイニング
Unityからkonashiをコントロールする
Unityで学ぶC#
BlenderProc：Blenderで機械学習用の画像デー...
コメント