Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

TensorFlowでCGを微分できる『TensorFlow...

OpenMVSのサンプルを動かしてみる

COLMAP:オープンソースのSfM・MVSツール

ZBrushのZScript入門

iPhone x ロボットハッカソン~RomoのiPhone...

Boost オープンソースライブラリ

Google製オープンソース機械学習ライブラリ『Tensor...

Model View Controller

OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...

Verilog HDL

Super Resolution:OpenCVの超解像処理モ...

C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...

GAN (Generative Adversarial Ne...

SONY製のニューラルネットワークライブラリ『NNabla』

Python2とPython3

UnityでLight Shaftを表現する

IronPythonを使ってUnity上でPythonのコー...

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

Human Generator:Blenderの人体生成アド...

geometry3Sharp:Unity C#で使えるポリゴ...

SDカードサイズのコンピューター『Intel Edison』

RSSフィードを読込んで表示するWordpressプラグイン...

Google App Engineのデプロイ失敗

Python.NET:Pythonと.NETを連携させるパッ...

このブログのデザインに飽きてきた

R-CNN (Regions with CNN featur...

iPhoneアプリ開発 Xcode 5のお作法

openMVGをWindows10 Visual Studi...

pythonもかじってみようかと

3D復元技術の情報リンク集

定数

BlenderProc:Blenderで機械学習用の画像デー...

openMVG:複数視点画像から3次元形状を復元するライブラ...

UnityのMonoBehaviourクラスをシングルトン化...

マルコフ連鎖モンテカルロ法

WordPressプラグインの作り方

Runway ML:クリエイターのための機械学習ツール

FreeMoCap Project:オープンソースのマーカー...

hloc:SuperGlueで精度を向上させたSfM・Vis...

OpenFace:Deep Neural Networkによ...

Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...

bpy-renderer:レンダリング用Pythonパッケー...

コメント