セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Unity ARKitプラグインサンプルのドキュメントを読む
Iridescence：プロトタイピング向け軽量3D可視化ラ...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
WordPress on Windows Azure
タマムシっぽい質感
UnityでTweenアニメーションを実装できる3種類の無料...
BlenderProc：Blenderで機械学習用の画像デー...
サンプルコードにも間違いはある？
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
AfterEffectsプラグイン開発
PyMC：Pythonのベイズ統計ライブラリ
WordPressプラグインによるサイトマップの自動生成
OpenCV 3.1のsfmモジュールを試す
Google製オープンソース機械学習ライブラリ『Tensor...
為替レートの読み方 2WAYプライス表示
オープンソースの取引プラットフォーム
OpenCV 3.3.0-RCでsfmモジュールをビルド
SONY製のニューラルネットワークライブラリ『NNabla』
Windows10でPyTorchをインストールしてVSCo...
OpenCVの超解像(SuperResolution)モジュ...
FreeMoCap Project：オープンソースのマーカー...
iPhone・iPod touchで動作する知育ロボット『R...
Quartus II
Unity ARKitプラグインサンプルのチュートリアルを読...
UnityでShaderの入力パラメータとして行列を渡す
UnityでPoint Cloudを表示する方法
オープンソースの物理ベースGIレンダラ『appleseed』
書籍『仕事ではじめる機械学習』を読みました
ドットインストールのWordPress入門レッスン
Unity Scriptコーディング→Unreal Engi...
Raspberry Piでセンサーの常時稼働を検討する
GoB：ZBrushとBlenderを連携させるアドオン
Unityで学ぶC#
SVM (Support Vector Machine)
UnityのMonoBehaviourクラスをシングルトン化...
第2回Webスクレイピング勉強会の資料
オープンソースの顔認識フレームワーク『OpenBR』
PythonでBlenderのAdd-on開発
OpenFace：Deep Neural Networkによ...
Raspberry Pi 2を買いました
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
iPhone x ロボットハッカソン～RomoのiPhone...
コメント