セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Theia：オープンソースのStructure from M...
python-twitterで自分のお気に入りを取得する
Point Cloud Utils：Pythonで3D点群・...
cvui：OpenCVのための軽量GUIライブラリ
ブログをGoogle App EngineからAmazon ...
OpenCV バージョン4がリリースされた！
Model View Controller
WebGL開発に関する情報が充実してきている
まだ続くブログの不調
Rerun：マルチモーダルデータの可視化アプリとSDK
Runway ML：クリエイターのための機械学習ツール
OpenCV 3.1とopencv_contribモジュール...
UnityでOpenCVを使うには？
マルコフ連鎖モンテカルロ法
Twitter APIのPythonラッパー『python-...
Iterator
3Dモデルを立体視で確認できるVRアプリを作っている
UnityからROSを利用できる『ROS#』
AnacondaとTensorFlowをインストールしてVi...
MB-Lab：Blenderの人体モデリングアドオン
AndroidもopenGLも初心者さ (でもJavaは知っ...
Human Generator：Blenderの人体生成アド...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
Unity ARKitプラグインサンプルのチュートリアルを読...
FCN (Fully Convolutional Netwo...
Managing Software Requirements...
Math Inspector：科学計算向けビジュアルプログラ...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Python.NET：Pythonと.NETを連携させるパッ...
チャットツール用bot開発フレームワーク『Hubot』
ブログの復旧が難航してた話
pythonもかじってみようかと
Blendify：コンピュータービジョン向けBlenderラ...
Raspberry Pi
BlenderProc：Blenderで機械学習用の画像デー...
ブラウザ操作自動化ツール『Selenium』を試す
OpenVDB：3Dボリュームデータ処理ライブラリ
HD画質の無駄遣い
PGGAN：段階的に解像度を上げて学習を進めるGAN
Mayaのプラグイン開発
機械学習手法『Random Forest』
ManimML：機械学習の概念を視覚的に説明するためのライブ...
コメント