セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenCV
組み込み向けのWindows OS 『Windows Emb...
libigl：軽量なジオメトリ処理ライブラリ
WordPressのサーバ引っ越し方法を考える
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
UnityでShaderの入力パラメータとして行列を渡す
OpenVDB：3Dボリュームデータ処理ライブラリ
Google製オープンソース機械学習ライブラリ『Tensor...
C++の抽象クラス
ブログをGoogle App EngineからAmazon ...
OpenCVで顔のランドマークを検出する『Facemark ...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Unity ARKitプラグインサンプルのチュートリアルを読...
UnityでPoint Cloudを表示する方法
2D→3D復元技術で使われる用語まとめ
GoB：ZBrushとBlenderを連携させるアドオン
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
WordPressプラグインによるサイトマップの自動生成
Mayaのプラグイン開発
SDカードサイズのコンピューター『Intel Edison』
Unreal Engineの薄い本
動的なメモリの扱い
オープンソースの顔認識フレームワーク『OpenBR』
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Twitter APIのPythonラッパー『python-...
Raspberry PiのGPIOを操作するPythonライ...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
Raspberry Piでセンサーの常時稼働を検討する
WordPressのテーマを自作する
IronPythonを使ってUnity上でPythonのコー...
ドットインストールのWordPress入門レッスン
BlenderでPhotogrammetryできるアドオン
OpenCV バージョン4がリリースされた！
Deep Fluids：流体シミュレーションをディープラーニ...
Multi-View Environment：複数画像から3...
OpenCVのバージョン3が正式リリースされたぞ
定数
OpenFace：Deep Neural Networkによ...
SONY製のニューラルネットワークライブラリ『NNabla』
オープンソースの取引プラットフォーム
Accord.NET Framework：C#で使える機械学...
Raspberry PiでIoTごっこ
コメント