セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
hloc：SuperGlueで精度を向上させたSfM・Vis...
UnityのGameObjectの向きをScriptで制御す...
KelpNet：C#で使える可読性重視のディープラーニングラ...
BGSLibrary：OpenCVベースの背景差分ライブラリ
uvでWindows11のPython環境を管理する
TorchStudio：PyTorchのための統合開発環境と...
Unity MonoBehaviourクラスのオーバーライド...
PyMC：Pythonのベイズ統計ライブラリ
Super Resolution：OpenCVの超解像処理モ...
オープンソースの取引プラットフォーム
第2回Webスクレイピング勉強会の資料
UnityでTweenアニメーションを実装できる3種類の無料...
BlenderでPhotogrammetryできるアドオン
iOSで使えるJetpac社の物体認識SDK『DeepBel...
頭蓋骨からの顔復元と進化過程の可視化
オープンソースのロボットアプリケーションフレームワーク『RO...
オープンソースの物理ベースGIレンダラ『appleseed』
Google XML Sitemap Generatorプラ...
3D復元技術の情報リンク集
OpenAR：OpenCVベースのマーカーARライブラリ
Raspberry Pi 2のGPIOピン配置
OpenCVで動画の手ぶれ補正
html5のcanvasの可能性
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
手を動かしながら学ぶデータマイニング
TeleSculptor：空撮動画からPhotogramme...
Deep Learningとその他の機械学習手法の性能比較
OpenCV 3.3.0 contribのsfmモジュールの...
R-CNN (Regions with CNN featur...
Kaolin：3Dディープラーニング用のPyTorchライブ...
仮想関数
Live CV：インタラクティブにComputer Visi...
機械学習に役立つPythonライブラリ一覧
cvui：OpenCVのための軽量GUIライブラリ
UnityでOpenCVを使うには？
SONY製のニューラルネットワークライブラリ『NNabla』
クラスの基本
MB-Lab：Blenderの人体モデリングアドオン
タマムシっぽい質感
Iterator
Point Cloud Utils：Pythonで3D点群・...
SONYの自律型エンタテインメントロボット『aibo』
コメント