セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OANDAのfxTrade API
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Managing Software Requirements...
OpenCV 3.3.0-RCでsfmモジュールをビルド
Google製オープンソース機械学習ライブラリ『Tensor...
OpenAR：OpenCVベースのマーカーARライブラリ
機械学習手法『Random Forest』
ZBrushのZScript入門
Point Cloud Utils：Pythonで3D点群・...
WebGL開発に関する情報が充実してきている
OpenGVのライブラリ構成
WordPressのサーバ引っ越し方法を考える
Unityの各コンポーネント間でのやり取り
ブログが1日ダウンしてました
COLMAP：オープンソースのSfM・MVSツール
openMVG：複数視点画像から3次元形状を復元するライブラ...
OpenCV バージョン4がリリースされた！
ディープラーニング
Math Inspector：科学計算向けビジュアルプログラ...
Raspberry Pi
Web経由でRaspberry PiのGPIOを操作したい
機械学習に役立つPythonライブラリ一覧
TeleSculptor：空撮動画からPhotogramme...
ブログをGoogle App EngineからAmazon ...
Blendify：コンピュータービジョン向けBlenderラ...
SONYの自律型エンタテインメントロボット『aibo』
Unity Scriptコーディング→Unreal Engi...
Polyscope：3Dデータ操作用GUIライブラリ
Manim：Pythonで使える数学アニメーションライブラリ
Verilog HDL
OpenCV
Unityからkonashiをコントロールする
スクラッチで既存のキャラクターを立体化したい
WordPressプラグインによるサイトマップの自動生成
GAN (Generative Adversarial Ne...
UnityのMonoBehaviourクラスをシングルトン化...
OpenCVでiPhone6sのカメラをキャリブレーションす...
Russian3DScannerのトポロジー転送ツール『Wr...
書籍『OpenCV 3 プログラミングブック』を購入
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Human Generator：Blenderの人体生成アド...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
コメント