Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

OpenMVS:Multi-View Stereoによる3次...

Raspberry Pi

JavaScriptとかWebGLとかCanvasとか

TensorSpace.js:ニューラルネットワークの構造を...

Blender 2.8がついに正式リリース!

KelpNet:C#で使える可読性重視のディープラーニングラ...

Structure from Motion (多視点画像から...

UnityでLight Shaftを表現する

Raspberry Pi 2のGPIOピン配置

このブログのデザインに飽きてきた

bpy-renderer:レンダリング用Pythonパッケー...

Iterator

Unityからkonashiをコントロールする

Manim:Pythonで使える数学アニメーションライブラリ

Caffe:読みやすくて高速なディープラーニングのフレームワ...

ニューラルネットワークで画像分類

SONY製のニューラルネットワークライブラリ『NNabla』

Python.NET:Pythonと.NETを連携させるパッ...

python-twitterで自分のお気に入りを取得する

Mitsuba 2:オープンソースの物理ベースレンダラ

組み込み向けのWindows OS 『Windows Emb...

Alice Vision:オープンソースのPhotogram...

WordPressプラグインの作り方

チャットツール用bot開発フレームワーク『Hubot』

書籍『ROSプログラミング』

Unity ARKitプラグインサンプルのドキュメントを読む

iOSで使えるJetpac社の物体認識SDK『DeepBel...

OpenCVでiPhone6sのカメラをキャリブレーションす...

cvui:OpenCVのための軽量GUIライブラリ

Point Cloud Utils:Pythonで3D点群・...

Google App Engine上のWordPressでF...

openMVG:複数視点画像から3次元形状を復元するライブラ...

Google XML Sitemap Generatorプラ...

書籍『仕事ではじめる機械学習』を読みました

続・ディープラーニングの資料

Google製オープンソース機械学習ライブラリ『Tensor...

Kornia:微分可能なコンピュータービジョンライブラリ

Mask R-CNN:ディープラーニングによる一般物体検出・...

BGSLibrary:OpenCVベースの背景差分ライブラリ

OpenCV バージョン4がリリースされた!

頭蓋骨からの顔復元と進化過程の可視化

TensorFlowでCGを微分できる『TensorFlow...

コメント