Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』
ROMOハッカソンに行ってきた
Russian3DScannerのトポロジー転送ツール『WrapX』
Raspberry Pi
Unityの薄い本
Raspberry PiでIoTごっこ
konashiのサンプルコードを動かしてみた
科学技術計算向けスクリプト言語『Julia』
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
頭蓋骨からの顔復元と進化過程の可視化
マルコフ連鎖モンテカルロ法
Iterator
openMVGをWindows10 Visual Studio 2015環境でビルドする
UnityからROSを利用できる『ROS#』
手を動かしながら学ぶデータマイニング
バージョン管理の履歴を可視化するツール『Gource』
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』
第1回 3D勉強会@関東『SLAMチュートリアル大会』
オープンソースのStructure from Motionライブラリ『Theia』
為替レートの読み方 2WAYプライス表示
3Dグラフィックスの入門書
TeleSculptor:空撮動画からPhotogrammetryするツール
オープンソースの物理ベースGIレンダラ『appleseed』
ディープラーニング
WordPressのサーバ引っ越し方法を考える
UnityのMonoBehaviourクラスをシングルトン化する
Quartus II
C++の抽象クラス
Python for Unity:UnityEditorでPythonを使えるパッケージ
Google App Engine上のWordPressでAmazonJSを利用する
OpenCVの超解像処理モジュール『Super Resolution』
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
書籍『ROSプログラミング』
Math.NET Numerics:Unityで使える数値計算ライブラリ
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
hloc:SuperGlueで精度を向上させたSfM実装
Python.NET:Pythonと.NETを連携させるパッケージ
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
OpenCVで平均顔を作るチュートリアル
OpenCVの超解像(SuperResolution)モジュールを試す
Raspberry Pi 2のGPIOピン配置
Mayaのプラグイン開発

コメント