Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

UnityでPoint Cloudを表示する方法

IronPythonを使ってUnity上でPythonのコードを実行する

Dlib:C++の機械学習ライブラリ

MB-Lab:Blenderの人体モデリングアドオン

AmazonEC2のインスタンスをt1.microからt2.microへ移行する

ブラウザ操作自動化ツール『Selenium』を試す

3Dグラフィックスの入門書

PyTorch3D:3Dコンピュータービジョンライブラリ

網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した

html5のcanvasの可能性

CycleGAN:ドメイン関係を学習した画像変換

Blendify:コンピュータービジョン向けBlenderラッパー

為替レートの読み方 2WAYプライス表示

NeuralNetwork.NET:.NETで使えるTensorFlowライクなニューラルネットワー...

OpenCVで顔のモーフィングを実装する

CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』

Multi-View Environment:複数画像から3次元形状を再構築するライブラリ

OpenMesh:オープンソースの3Dメッシュデータライブラリ

Unity ARKitプラグインサンプルのチュートリアルを読む

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた

WinSCP

Managing Software Requirements: A Unified Approach

第1回 3D勉強会@関東『SLAMチュートリアル大会』

タマムシっぽい質感

UnityのGameObjectの向きをScriptで制御する

Unityで学ぶC#

Unityの各コンポーネント間でのやり取り

Faster R-CNN:ディープラーニングによる一般物体検出手法

このブログのデザインに飽きてきた

3D復元技術の情報リンク集

HD画質の無駄遣い

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

AfterEffectsプラグイン開発

BGSLibrary:OpenCVベースの背景差分ライブラリ

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方

OpenCVの顔検出過程を可視化した動画

iOSで使えるJetpac社の物体認識SDK『DeepBelief』

Unity Scriptコーディング→Unreal Engine Scriptコーディング

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

ROSでガンダムを動かす

VCG Library:C++のポリゴン操作ライブラリ

コメント