セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
サンプルコードにも間違いはある？
Iridescence：プロトタイピング向け軽量3D可視化ラ...
OANDAのfxTrade API
Kubric：機械学習用アノテーション付き動画生成パイプライ...
3Dモデルを立体視で確認できるVRアプリを作っている
Math.NET Numerics：Unityで使える数値計...
ZBrushのZScript入門
書籍『ゼロから作るDeep Learning』で自分なりに学...
Unityの薄い本
Unityの各コンポーネント間でのやり取り
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
OpenSfM：PythonのStructure from ...
ドットインストールのWordPress入門レッスン
uvでWindows11のPython環境を管理する
OpenCV 3.1のsfmモジュールを試す
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
オープンソースの物理ベースGIレンダラ『appleseed』
スクレイピング
法線マップを用意してCanvas上でShadingするサンプ...
Dlib：C++の機械学習ライブラリ
CGレンダラ研究開発のためのフレームワーク『Lightmet...
AndroidもopenGLも初心者さ (でもJavaは知っ...
Konashiを買った
PythonでMayaのShapeノードプラグインを作る
COLMAP：オープンソースのSfM・MVSツール
網元AMIで作ったWordpressサイトのインスタンスをt...
Blendify：コンピュータービジョン向けBlenderラ...
PyMC：Pythonのベイズ統計ライブラリ
Boost オープンソースライブラリ
python-twitterで自分のお気に入りを取得する
JavaScriptとかWebGLとかCanvasとか
Polyscope：3Dデータ操作用GUIライブラリ
SVM (Support Vector Machine)
OpenCVで平均顔を作るチュートリアル
Webサイトのワイヤーフレームが作成できるオンラインツール
LuxCoreRender：オープンソースの物理ベースレンダ...
openMVG：複数視点画像から3次元形状を復元するライブラ...
OpenGVの用語
html5のcanvasの可能性
Unreal Engineの薄い本
UnityでLight Shaftを表現する
コメント