Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
サンプルコードにも間違いはある?
UnityからROSを利用できる『ROS#』
Python for Unity:UnityEditorでPythonを使えるパッケージ
Verilog HDL
TorchStudio:PyTorchのための統合開発環境とエコシステム
iPhone・iPod touchで動作する知育ロボット『ROMO』
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
ニューラルネットワークで画像分類
Webサイトのワイヤーフレームが作成できるオンラインツール
pythonもかじってみようかと
CycleGAN:ドメイン関係を学習した画像変換
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
openMVGをWindows10 Visual Studio 2015環境でビルドする
書籍『ROSプログラミング』
OpenMVSのサンプルを動かしてみる
ROSでガンダムを動かす
Mitsuba 2:オープンソースの物理ベースレンダラ
TensorFlowでCGを微分できる『TensorFlow Graphics』
PythonでBlenderのAdd-on開発
Unityからkonashiをコントロールする
フォトンの放射から格納までを可視化した動画
Theia:オープンソースのStructure from Motionライブラリ
libigl:軽量なジオメトリ処理ライブラリ
Web経由でRaspberry PiのGPIOを操作したい
Raspberry Pi 2を買いました
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
python-twitterで自分のお気に入りを取得する
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
OpenCVで動画の手ぶれ補正
ManuelBastioniLAB:人体モデリングできるBlenderアドオン
Model View Controller
Quartus II
組み込み向けのWindows OS 『Windows Embedded』
Math Inspector:科学計算向けビジュアルプログラミングツール
プログラミングスキルとは何か?
Kaolin:3Dディープラーニング用のPyTorchライブラリ
FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ
ブログをGoogle App EngineからAmazon EC2へ移行
AmazonEC2のインスタンスをt1.microからt2.microへ移行する
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる

コメント