セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
NumSharp：C#で使えるNumPyライクな数値計算ライ...
iOSデバイスと接続して連携するガジェットの開発方法
AnacondaとTensorFlowをインストールしてVi...
OpenCVで動画の手ぶれ補正
Rerun：マルチモーダルデータの可視化アプリとSDK
Mean Stack開発の最初の一歩
OpenMesh：オープンソースの３Dメッシュデータライブラ...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
Faster R-CNN：ディープラーニングによる一般物体検...
Quartus II
OpenCVの顔検出過程を可視化した動画
iPhone・iPod touchで動作する知育ロボット『R...
VCG Library：C++のポリゴン操作ライブラリ
WordPress on Google App Engine...
MPFB2：Blenderの人体モデリングアドオン
Unityの薄い本
OpenCVで顔のランドマークを検出する『Facemark ...
チャットツール用bot開発フレームワーク『Hubot』
プログラムによる景観の自動生成
Konashiを買った
Russian3DScannerのトポロジー転送ツール『Wr...
OpenVDB：3Dボリュームデータ処理ライブラリ
ROMOハッカソンに行ってきた
Theia：オープンソースのStructure from M...
R-CNN (Regions with CNN featur...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Boost オープンソースライブラリ
Math Inspector：科学計算向けビジュアルプログラ...
Python.NET：Pythonと.NETを連携させるパッ...
Raspberry Pi 2を買いました
法線マップを用意してCanvas上でShadingするサンプ...
Kaolin：3Dディープラーニング用のPyTorchライブ...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
ブログが1日ダウンしてました
geometry3Sharp：Unity C#で使えるポリゴ...
OpenCVのバージョン3が正式リリースされたぞ
konashiのサンプルコードを動かしてみた
iPhoneアプリ開発 Xcode 5のお作法
openMVGをWindows10 Visual Studi...
Mask R-CNN：ディープラーニングによる一般物体検出・...
Point Cloud Utils：Pythonで3D点群・...
Amazon Web ServicesでWordPress
コメント