セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Cartographer:オープンソースのSLAMライブラリ
ディープラーニング
サンプルコードにも間違いはある?
Twitter APIのPythonラッパー『python-...
Google App Engine上のWordPressでA...
OpenCV バージョン4がリリースされた!
HerokuでMEAN stack
trimesh:PythonでポリゴンMeshを扱うライブラ...
NeuralNetwork.NET:.NETで使えるTens...
COLMAP:オープンソースのSfM・MVSツール
科学技術計算向けスクリプト言語『Julia』
UnityでLight Shaftを表現する
Mask R-CNN:ディープラーニングによる一般物体検出・...
OpenCV3.3.0でsfmモジュールのビルドに成功!
Unity Scriptコーディング→Unreal Engi...
OANDAのfxTrade API
Google XML Sitemap Generatorプラ...
UnityのMonoBehaviourクラスをシングルトン化...
Alice Vision:オープンソースのPhotogram...
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
PythonのHTML・XMLパーサー『BeautifulS...
為替レートの読み方 2WAYプライス表示
WordPressのサーバ引っ越し方法を考える
Google App Engine上のWordPressでF...
Deep Fluids:流体シミュレーションをディープラーニ...
Unreal Engineの薄い本
WordPress on Google App Engine...
BGSLibrary:OpenCVベースの背景差分ライブラリ
スクレイピング
Math Inspector:科学計算向けビジュアルプログラ...
PGGAN:段階的に解像度を上げて学習を進めるGAN
OpenCVの超解像(SuperResolution)モジュ...
今年もSSII
網元AMIで作ったWordpressサイトのインスタンスをt...
動的なメモリの扱い
ブログの復旧が難航してた話
Quartus II
RSSフィードを読込んで表示するWordpressプラグイン...
OpenCVの顔検出過程を可視化した動画
WordPressのテーマを自作する
Gource:バージョン管理の履歴を可視化するツール
Deep Learningとその他の機械学習手法の性能比較

コメント