セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry PiでIoTごっこ
WordPressのテーマを自作する
書籍『OpenCV 3 プログラミングブック』を購入
pythonの機械学習ライブラリ『scikit-learn』
Webサイトのワイヤーフレームが作成できるオンラインツール
OpenCVでカメラ画像から自己位置認識 (Visual O...
RSSフィードを読込んで表示するWordpressプラグイン...
機械学習手法『Random Forest』
Pythonの自然言語処理ライブラリ『NLTK(Natura...
UnityプロジェクトをGitHubで管理する
PythonのHTML・XMLパーサー『BeautifulS...
Amazon Web ServicesでWordPress
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Multi-View Environment：複数画像から3...
Mayaのプラグイン開発
Human Generator：Blenderの人体生成アド...
OpenGVの用語
SDカードサイズのコンピューター『Intel Edison』
BGSLibrary：OpenCVベースの背景差分ライブラリ
Unityからkonashiをコントロールする
OpenCVの顔検出過程を可視化した動画
konashiのサンプルコードを動かしてみた
GAN (Generative Adversarial Ne...
COLMAP：オープンソースのSfM・MVSツール
MPFB2：Blenderの人体モデリングアドオン
頭蓋骨からの顔復元と進化過程の可視化
OpenCV バージョン4がリリースされた！
iOSデバイスと接続して連携するガジェットの開発方法
CycleGAN：ドメイン関係を学習した画像変換
Polyscope：3Dデータ操作用GUIライブラリ
Unityで強化学習できる『Unity ML-Agents』
Python2とPython3
trimesh：PythonでポリゴンMeshを扱うライブラ...
Google App Engine上のWordPressでA...
Unityの各コンポーネント間でのやり取り
WordPressプラグインによるサイトマップの自動生成
cvui：OpenCVのための軽量GUIライブラリ
WordPress on Google App Engine...
UnityでARKit2.0
Web経由でRaspberry PiのGPIOを操作したい
OpenCVでiPhone6sのカメラをキャリブレーションす...
Google Chromecast
コメント