セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenMVSのサンプルを動かしてみる
頭蓋骨からの顔復元と進化過程の可視化
UnityのGameObjectの向きをScriptで制御す...
マルコフ連鎖モンテカルロ法
Mitsuba 2：オープンソースの物理ベースレンダラ
openMVGをWindows10 Visual Studi...
Deep Learningとその他の機械学習手法の性能比較
AndroidもopenGLも初心者さ (でもJavaは知っ...
Deep Fluids：流体シミュレーションをディープラーニ...
OpenCV
OpenMVS：Multi-View Stereoによる3次...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
OpenCVの超解像(SuperResolution)モジュ...
OpenCVで顔のモーフィングを実装する
OpenMesh：オープンソースの３Dメッシュデータライブラ...
BlenderのPython環境にPyTorchをインストー...
Boost オープンソースライブラリ
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
CGレンダラ研究開発のためのフレームワーク『Lightmet...
UnityでShaderの入力パラメータとして行列を渡す
Math Inspector：科学計算向けビジュアルプログラ...
Manim：Pythonで使える数学アニメーションライブラリ
Mayaのプラグイン開発
libigl：軽量なジオメトリ処理ライブラリ
UnityでTweenアニメーションを実装できる3種類の無料...
動的なメモリの扱い
WordPressの表示を高速化する
Cartographer：オープンソースのSLAMライブラリ
WinSCP
R-CNN (Regions with CNN featur...
iOSで使えるJetpac社の物体認識SDK『DeepBel...
PGGAN：段階的に解像度を上げて学習を進めるGAN
Runway ML：クリエイターのための機械学習ツール
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
PyDataTokyo主催のDeep Learning勉強会
定数
Google App Engine上のWordPressでA...
iPhoneアプリ開発 Xcode 5のお作法
組み込み向けのWindows OS 『Windows Emb...
C++の抽象クラス
Composition Rendering：Blenderに...
BGSLibrary：OpenCVベースの背景差分ライブラリ
コメント