Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

IronPythonを使ってUnity上でPythonのコードを実行する

JavaScriptとかWebGLとかCanvasとか

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

Model View Controller

Verilog HDL

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

Windows10でPyTorchをインストールしてVSCodeで使う

書籍『ROSプログラミング』

OpenCVの超解像(SuperResolution)モジュールを試す

C++の抽象クラス

Raspberry Pi 2を買いました

Iterator

UnityでLight Shaftを表現する

3D復元技術の情報リンク集

Unityからkonashiをコントロールする

ZBrushのZScript入門

DensePose:画像中の人物表面のUV座標を推定する

PythonでMayaのShapeノードプラグインを作る

Konashiを買った

Unityの薄い本

OpenCVの三角測量関数『cv::triangulatepoints』

Dlib:C++の機械学習ライブラリ

オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート

FCN (Fully Convolutional Network):ディープラーニングによるSema...

Google App EngineでWordPress

まだ続くブログの不調

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

Google App Engineのデプロイ失敗

Unity ARKitプラグインサンプルのドキュメントを読む

ArUco:OpenCVベースのコンパクトなARライブラリ

PGGAN:段階的に解像度を上げて学習を進めるGAN

ブログのデザイン変えました

libigl:軽量なジオメトリ処理ライブラリ

続・ディープラーニングの資料

OpenCV 3.3.0-RCでsfmモジュールをビルド

動的なメモリの扱い

uvでWindows11のPython環境を管理する

Russian3DScannerのトポロジー転送ツール『WrapX』

2D→3D復元技術で使われる用語まとめ

コメント