セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
スクレイピング
openMVG：複数視点画像から3次元形状を復元するライブラ...
手を動かしながら学ぶデータマイニング
Unityで強化学習できる『Unity ML-Agents』
OpenCV 3.3.0 contribのsfmモジュールの...
GAN (Generative Adversarial Ne...
OpenCVで顔のモーフィングを実装する
続・ディープラーニングの資料
Unityの各コンポーネント間でのやり取り
UnityプロジェクトをGitHubで管理する
Google製オープンソース機械学習ライブラリ『Tensor...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
cvui：OpenCVのための軽量GUIライブラリ
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
IronPythonを使ってUnity上でPythonのコー...
Kornia：微分可能なコンピュータービジョンライブラリ
Live CV：インタラクティブにComputer Visi...
オープンソースの人体モデリングツール『MakeHuman』の...
UnityでARKit2.0
UnityのMonoBehaviourクラスをシングルトン化...
Python for Unity：UnityEditorでP...
Open3D：3Dデータ処理ライブラリ
Konashiを買った
HerokuでMEAN stack
Mask R-CNN：ディープラーニングによる一般物体検出・...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
PythonのHTML・XMLパーサー『BeautifulS...
ブログの復旧が難航してた話
BlenderProc：Blenderで機械学習用の画像デー...
libigl：軽量なジオメトリ処理ライブラリ
オープンソースの取引プラットフォーム
hloc：SuperGlueで精度を向上させたSfM・Vis...
BlenderでPhotogrammetryできるアドオン
OpenCVのバージョン3が正式リリースされたぞ
科学技術計算向けスクリプト言語『Julia』
動的なメモリの扱い
OpenCVでカメラ画像から自己位置認識 (Visual O...
Unity ARKitプラグインサンプルのドキュメントを読む
WordPressプラグインの作り方
VCG Library：C++のポリゴン操作ライブラリ
ROSの薄い本
コメント