Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

書籍『仕事ではじめる機械学習』を読みました
Unityの薄い本
為替レートの読み方 2WAYプライス表示
書籍『OpenCV 3 プログラミングブック』を購入
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
SONY製のニューラルネットワークライブラリ『NNabla』
Verilog HDL
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
今年もSSII
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
オープンソースの物理ベースGIレンダラ『appleseed』
UnityでOpenCVを使うには?
Kaolin:3Dディープラーニング用のPyTorchライブラリ
openMVG:複数視点画像から3次元形状を復元するライブラリ
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
3Dボリュームデータ処理ライブラリ『OpenVDB』
インタラクティブにComputer Visionコーディングができるツール『Live CV』
OpenCVのための軽量GUIライブラリ『cvui』
WordPressプラグインの作り方
Web経由でRaspberry PiのGPIOを操作したい
iOSデバイスと接続して連携するガジェットの開発方法
OpenGVのライブラリ構成
Unityからkonashiをコントロールする
IronPythonを使ってUnity上でPythonのコードを実行する
プログラミングスキルとは何か?
機械学習手法『Random Forest』
ブログのデザイン変えました
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
プログラムによる景観の自動生成
第2回Webスクレイピング勉強会の資料
UnityのGameObjectの向きをScriptで制御する
UnityからROSを利用できる『ROS#』
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
UnityでShaderの入力パラメータとして行列を渡す
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
Mean Stack開発の最初の一歩
OpenMesh:オープンソースの3Dメッシュデータライブラリ
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
組み込み向けのWindows OS 『Windows Embedded』
SONYの自律型エンタテインメントロボット『aibo』
OpenCVで顔のランドマークを検出する『Facemark API』
Mitsuba 2:オープンソースの物理ベースレンダラ

コメント