セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Runway ML：クリエイターのための機械学習ツール
ディープラーニング
Blender 2.8がついに正式リリース！
uvでWindows11のPython環境を管理する
プログラミングスキルとは何か？
BlenderのPython環境にPyTorchをインストー...
Python2とPython3
MB-Lab：Blenderの人体モデリングアドオン
Super Resolution：OpenCVの超解像処理モ...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
viser：Pythonで使える3D可視化ライブラリ
WordPressプラグインの作り方
iPhoneアプリ開発 Xcode 5のお作法
html5のcanvasの可能性
Google App EngineでWordPress
Unity Scriptコーディング→Unreal Engi...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
WebGL開発に関する情報が充実してきている
pythonの機械学習ライブラリ『scikit-learn』
OpenAR：OpenCVベースのマーカーARライブラリ
手を動かしながら学ぶデータマイニング
DensePose：画像中の人物表面のUV座標を推定する
Verilog HDL
ブログが1日ダウンしてました
Kaolin：3Dディープラーニング用のPyTorchライブ...
Web経由でRaspberry PiのGPIOを操作したい
ArUco：OpenCVベースのコンパクトなARライブラリ
Pylearn2：ディープラーニングに対応したPythonの...
BlenderでPhotogrammetryできるアドオン
OpenCV 3.1のsfmモジュールを試す
openMVG：複数視点画像から3次元形状を復元するライブラ...
ZBrushのZScript入門
ROSでガンダムを動かす
株式会社ヘキサドライブの研究室ページ
OpenCV 3.1とopencv_contribモジュール...
OpenCV 3.1から追加されたSfMモジュール
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
cvui：OpenCVのための軽量GUIライブラリ
OpenMesh：オープンソースの３Dメッシュデータライブラ...
LuxCoreRender：オープンソースの物理ベースレンダ...
Unityからkonashiをコントロールする
AmazonEC2のインスタンスをt1.microからt2....
コメント