Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Dlib:C++の機械学習ライブラリ

openMVG:複数視点画像から3次元形状を復元するライブラリ

pythonの機械学習ライブラリ『scikit-learn』

Blendify:コンピュータービジョン向けBlenderラッパー

プログラミングスキルとは何か?

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

Raspberry Pi 2のGPIOピン配置

UnityのGameObjectの向きをScriptで制御する

ZScript

COLMAP:オープンソースのSfM・MVSツール

DensePose:画像中の人物表面のUV座標を推定する

UnityでLight Shaftを表現する

Unityの薄い本

第1回 3D勉強会@関東『SLAMチュートリアル大会』

まだ続くブログの不調

WordPress on Windows Azure

株式会社ヘキサドライブの研究室ページ

MPFB2:Blenderの人体モデリングアドオン

PyDataTokyo主催のDeep Learning勉強会

iOSデバイスと接続して連携するガジェットの開発方法

SONYの自律型エンタテインメントロボット『aibo』

Runway ML:クリエイターのための機械学習ツール

OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...

OpenCVで顔のランドマークを検出する『Facemark API』

Webスクレイピングの勉強会に行ってきた

Google Colaboratoryで遊ぶ準備

Math.NET Numerics:Unityで使える数値計算ライブラリ

OpenSfM:PythonのStructure from Motionライブラリ

WebGL開発に関する情報が充実してきている

ブログのデザイン変えました

OpenCVの顔検出過程を可視化した動画

クラスの基本

Unity Scriptコーディング→Unreal Engine Scriptコーディング

ブログの復旧が難航してた話

MVStudio:オープンソースのPhotogrammetryツール

BGSLibrary:OpenCVベースの背景差分ライブラリ

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

BlenderでPhotogrammetryできるアドオン

openMVGをWindows10 Visual Studio 2015環境でビルドする

Seleniumを使ったFXや株の自動取引

Geogram:C++の3D幾何アルゴリズムライブラリ

Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』

コメント