セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
書籍『ROSプログラミング』
R-CNN (Regions with CNN featur...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
OpenCVの三角測量関数『cv::triangulatep...
Blender 2.8がついに正式リリース！
AfterEffectsプラグイン開発
ArUco：OpenCVベースのコンパクトなARライブラリ
Raspberry PiでIoTごっこ
ROSの薄い本
WordPress on Windows Azure
BGSLibrary：OpenCVベースの背景差分ライブラリ
adskShaderSDK
オープンソースの顔認識フレームワーク『OpenBR』
ManuelBastioniLAB：人体モデリングできるBl...
スクレイピング
MVStudio：オープンソースのPhotogrammetr...
C++始めようと思うんだ
OpenAR：OpenCVベースのマーカーARライブラリ
マルコフ連鎖モンテカルロ法
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
WordPressのテーマを自作する
UnityのMonoBehaviourクラスをシングルトン化...
オープンソースの顔の動作解析ツールキット『OpenFace』
ROMOハッカソンに行ってきた
cvui：OpenCVのための軽量GUIライブラリ
Faster R-CNN：ディープラーニングによる一般物体検...
Russian3DScannerのトポロジー転送ツール『Wr...
Unityの薄い本
Rerun：マルチモーダルデータの可視化アプリとSDK
ZScript
為替レートの読み方 2WAYプライス表示
Google Chromecast
MB-Lab：Blenderの人体モデリングアドオン
viser：Pythonで使える3D可視化ライブラリ
bpy-renderer：レンダリング用Pythonパッケー...
Mayaのプラグイン開発
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
Raspberry Pi
UnityでOpenCVを使うには？
2D→3D復元技術で使われる用語まとめ
スクラッチで既存のキャラクターを立体化したい
ブラウザ操作自動化ツール『Selenium』を試す
コメント