Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

Mitsuba 2:オープンソースの物理ベースレンダラ

オープンソースの物理ベースGIレンダラ『appleseed』

OpenCV3.3.0でsfmモジュールのビルドに成功!

Theia:オープンソースのStructure from Motionライブラリ

書籍『OpenCV 3 プログラミングブック』を購入

Mayaのプラグイン開発

Unityで強化学習できる『Unity ML-Agents』

Verilog HDL

ブログの復旧が難航してた話

Python拡張モジュールのWindows用インストーラー配布サイト

OpenVDB:3Dボリュームデータ処理ライブラリ

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

R-CNN (Regions with CNN features):ディープラーニングによる一般物体...

ブログのデザイン変えました

TeleSculptor:空撮動画からPhotogrammetryするツール

ManimML:機械学習の概念を視覚的に説明するためのライブラリ

JavaScriptとかWebGLとかCanvasとか

pythonの機械学習ライブラリ『scikit-learn』

ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...

Kornia:微分可能なコンピュータービジョンライブラリ

OpenCV 3.1のsfmモジュールを試す

hloc:SuperGlueで精度を向上させたSfM実装

viser:Pythonで使える3D可視化ライブラリ

PythonでMayaのShapeノードプラグインを作る

Raspberry Piでセンサーの常時稼働を検討する

Alice Vision:オープンソースのPhotogrammetryフレームワーク

MB-Lab:Blenderの人体モデリングアドオン

GAN (Generative Adversarial Networks):敵対的生成ネットワーク

仮想関数

SONY製のニューラルネットワークライブラリ『NNabla』

Polyscope:3Dデータ操作用GUIライブラリ

チャットツール用bot開発フレームワーク『Hubot』

DensePose:画像中の人物表面のUV座標を推定する

openMVG:複数視点画像から3次元形状を復元するライブラリ

OpenCV 3.1のsfmモジュールのビルド再び

OpenCVの超解像(SuperResolution)モジュールを試す

UnityのTransformクラスについて調べてみた

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

読みやすくて高速なディープラーニングのフレームワーク『Caffe』

UnityのMonoBehaviourクラスをシングルトン化する

.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...

Blender 2.8がついに正式リリース!

コメント