Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

3D復元技術の情報リンク集

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

タマムシっぽい質感

OpenCV3.3.0でsfmモジュールのビルドに成功!

3分の動画でプログラミングを学習できるサイト『ドットインストール』

3Dグラフィックスの入門書

OpenCV 3.1のsfmモジュールのビルド再び

網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した

Mitsuba 2:オープンソースの物理ベースレンダラ

DensePose:画像中の人物表面のUV座標を推定する

Alice Vision:オープンソースのPhotogrammetryフレームワーク

MPFB2:Blenderの人体モデリングアドオン

RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』

KelpNet:C#で使える可読性重視のディープラーニングライブラリ

cvui:OpenCVのための軽量GUIライブラリ

ManuelBastioniLAB:人体モデリングできるBlenderアドオン

TeleSculptor:空撮動画からPhotogrammetryするツール

Unity ARKitプラグインサンプルのチュートリアルを読む

Rerun:マルチモーダルデータの可視化アプリとSDK

Raspberry PiでIoTごっこ

オープンソースの物理ベースGIレンダラ『appleseed』

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

Russian3DScannerのトポロジー転送ツール『WrapX』

uvでWindows11のPython環境を管理する

Geogram:C++の3D幾何アルゴリズムライブラリ

WebGL開発に関する情報が充実してきている

html5のcanvasの可能性

CycleGAN:ドメイン関係を学習した画像変換

iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』

AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う

HD画質の無駄遣い

python-twitterで自分のお気に入りを取得する

Konashiを買った

UnityでShaderの入力パラメータとして行列を渡す

Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番

サンプルコードにも間違いはある?

為替レートの読み方 2WAYプライス表示

UnityでPoint Cloudを表示する方法

Unityの各コンポーネント間でのやり取り

ブラウザ操作自動化ツール『Selenium』を試す

書籍『ROSプログラミング』

ZBrushのZScript入門

コメント