セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
ZScript
Open3D：3Dデータ処理ライブラリ
MPFB2：Blenderの人体モデリングアドオン
ブログが1日ダウンしてました
Mitsuba 3：オープンソースの研究向けレンダラ
WordPressプラグインによるサイトマップの自動生成
UnityのMonoBehaviourクラスをシングルトン化...
Unityで強化学習できる『Unity ML-Agents』
konashiのサンプルコードを動かしてみた
ManimML：機械学習の概念を視覚的に説明するためのライブ...
Python for Unity：UnityEditorでP...
頭蓋骨からの顔復元と進化過程の可視化
TensorFlowでCGを微分できる『TensorFlow...
DCGAN (Deep Convolutional GAN)...
手を動かしながら学ぶデータマイニング
ディープラーニング
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
WordPress on Windows Azure
Super Resolution：OpenCVの超解像処理モ...
オープンソースのロボットアプリケーションフレームワーク『RO...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Multi-View Environment：複数画像から3...
Python拡張モジュールのWindows用インストーラー配...
Managing Software Requirements...
Google Chromecast
LuxCoreRender：オープンソースの物理ベースレンダ...
OpenCV 3.1とopencv_contribモジュール...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
AndroidもopenGLも初心者さ (でもJavaは知っ...
Mitsuba 2：オープンソースの物理ベースレンダラ
Live CV：インタラクティブにComputer Visi...
スクラッチで既存のキャラクターを立体化したい
OpenCVで動画の手ぶれ補正
python-twitterで自分のお気に入りを取得する
OpenCVの三角測量関数『cv::triangulatep...
PyDataTokyo主催のDeep Learning勉強会
Raspberry Pi 2を買いました
書籍『OpenCV 3 プログラミングブック』を購入
iPhoneアプリ開発 Xcode 5のお作法
Unityの薄い本
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
COLMAP：オープンソースのSfM・MVSツール
コメント