セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Cartographer：オープンソースのSLAMライブラリ
ディープラーニング
サンプルコードにも間違いはある？
Twitter APIのPythonラッパー『python-...
Google App Engine上のWordPressでA...
OpenCV バージョン4がリリースされた！
HerokuでMEAN stack
trimesh：PythonでポリゴンMeshを扱うライブラ...
NeuralNetwork.NET：.NETで使えるTens...
COLMAP：オープンソースのSfM・MVSツール
科学技術計算向けスクリプト言語『Julia』
UnityでLight Shaftを表現する
Mask R-CNN：ディープラーニングによる一般物体検出・...
OpenCV3.3.0でsfmモジュールのビルドに成功！
Unity Scriptコーディング→Unreal Engi...
OANDAのfxTrade API
Google XML Sitemap Generatorプラ...
UnityのMonoBehaviourクラスをシングルトン化...
Alice Vision：オープンソースのPhotogram...
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
PythonのHTML・XMLパーサー『BeautifulS...
為替レートの読み方 2WAYプライス表示
WordPressのサーバ引っ越し方法を考える
Google App Engine上のWordPressでF...
Deep Fluids：流体シミュレーションをディープラーニ...
Unreal Engineの薄い本
WordPress on Google App Engine...
BGSLibrary：OpenCVベースの背景差分ライブラリ
スクレイピング
Math Inspector：科学計算向けビジュアルプログラ...
PGGAN：段階的に解像度を上げて学習を進めるGAN
OpenCVの超解像(SuperResolution)モジュ...
今年もSSII
網元AMIで作ったWordpressサイトのインスタンスをt...
動的なメモリの扱い
ブログの復旧が難航してた話
Quartus II
RSSフィードを読込んで表示するWordpressプラグイン...
OpenCVの顔検出過程を可視化した動画
WordPressのテーマを自作する
Gource：バージョン管理の履歴を可視化するツール
Deep Learningとその他の機械学習手法の性能比較
コメント