Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』

IronPythonを使ってUnity上でPythonのコードを実行する

スクラッチで既存のキャラクターを立体化したい

OpenCV 3.1のsfmモジュールのビルド再び

今年もSSII

Python2とPython3

OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

Dlib:C++の機械学習ライブラリ

3Dモデルを立体視で確認できるVRアプリを作っている

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

機械学習に役立つPythonライブラリ一覧

第2回Webスクレイピング勉強会の資料

OpenCV3.3.0でsfmモジュールのビルドに成功!

openMVG:複数視点画像から3次元形状を復元するライブラリ

機械学習手法『Random Forest』

OpenCVの顔検出過程を可視化した動画

Blender 2.8がついに正式リリース!

CycleGAN:ドメイン関係を学習した画像変換

3Dグラフィックスの入門書

Webスクレイピングの勉強会に行ってきた

LuxCoreRender:オープンソースの物理ベースレンダラ

Open3D:3Dデータ処理ライブラリ

R-CNN (Regions with CNN features):ディープラーニングによる一般物体...

C++の抽象クラス

Rerun:マルチモーダルデータの可視化アプリとSDK

科学技術計算向けスクリプト言語『Julia』

MVStudio:オープンソースのPhotogrammetryツール

Managing Software Requirements: A Unified Approach

オープンソースの顔の動作解析ツールキット『OpenFace』

Polyscope:3Dデータ操作用GUIライブラリ

WordPressプラグインによるサイトマップの自動生成

pythonもかじってみようかと

OpenCVで顔のモーフィングを実装する

cvui:OpenCVのための軽量GUIライブラリ

PyTorch3D:3Dコンピュータービジョンライブラリ

第1回 3D勉強会@関東『SLAMチュートリアル大会』

Math Inspector:科学計算向けビジュアルプログラミングツール

iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』

ArUco:OpenCVベースのコンパクトなARライブラリ

RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』

Konashiを買った

SDカードサイズのコンピューター『Intel Edison』

コメント