セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Gource：バージョン管理の履歴を可視化するツール
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
WordPressの表示を高速化する
Raspberry Pi 2のGPIOピン配置
クラスの基本
SONY製のニューラルネットワークライブラリ『NNabla』
BlenderでPhotogrammetryできるアドオン
konashiのサンプルコードを動かしてみた
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
マルコフ連鎖モンテカルロ法
書籍『ROSプログラミング』
Unityで学ぶC#
WordPressのサーバ引っ越し方法を考える
MB-Lab：Blenderの人体モデリングアドオン
AnacondaとTensorFlowをインストールしてVi...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
機械学習で遊ぶ
Raspberry PiでIoTごっこ
KelpNet：C#で使える可読性重視のディープラーニングラ...
Polyscope：3Dデータ操作用GUIライブラリ
オープンソースの物理ベースGIレンダラ『appleseed』
Blender 2.8がついに正式リリース！
網元AMIで作ったWordpressサイトのインスタンスをt...
ROMOハッカソンに行ってきた
C++の抽象クラス
SDカードサイズのコンピューター『Intel Edison』
OpenMVS：Multi-View Stereoによる3次...
OANDAのfxTrade API
機械学習に役立つPythonライブラリ一覧
ディープラーニング
ZBrushのZScript入門
SVM (Support Vector Machine)
LuxCoreRender：オープンソースの物理ベースレンダ...
フォトンの放射から格納までを可視化した動画
OpenMVSのサンプルを動かしてみる
Unity ARKitプラグインサンプルのチュートリアルを読...
html5のcanvasの可能性
IronPythonを使ってUnity上でPythonのコー...
オープンソースの取引プラットフォーム
UnityでARKit2.0
3分の動画でプログラミングを学習できるサイト『ドットインスト...
コメント