セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
JavaScriptとかWebGLとかCanvasとか
WebGL開発に関する情報が充実してきている
スクラッチで既存のキャラクターを立体化したい
SONYの自律型エンタテインメントロボット『aibo』
OpenMVSのサンプルを動かしてみる
viser：Pythonで使える3D可視化ライブラリ
Raspberry Pi 2を買いました
HerokuでMEAN stack
BlenderでPhotogrammetryできるアドオン
続・ディープラーニングの資料
GAN (Generative Adversarial Ne...
ディープラーニング
IronPythonを使ってUnity上でPythonのコー...
OpenCVで動画の手ぶれ補正
OpenCV 3.1のsfmモジュールを試す
3分の動画でプログラミングを学習できるサイト『ドットインスト...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
OpenCVの顔検出過程を可視化した動画
法線マップを用意してCanvas上でShadingするサンプ...
Webスクレイピングの勉強会に行ってきた
TensorFlowでCGを微分できる『TensorFlow...
株式会社ヘキサドライブの研究室ページ
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Runway ML：クリエイターのための機械学習ツール
オープンソースの取引プラットフォーム
pythonもかじってみようかと
Unityの薄い本
geometry3Sharp：Unity C#で使えるポリゴ...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
第2回Webスクレイピング勉強会の資料
PythonでMayaのShapeノードプラグインを作る
Pylearn2：ディープラーニングに対応したPythonの...
Unityからkonashiをコントロールする
3D復元技術の情報リンク集
TorchStudio：PyTorchのための統合開発環境と...
プログラムによる景観の自動生成
OpenCVでカメラ画像から自己位置認識 (Visual O...
Deep Learningとその他の機械学習手法の性能比較
Composition Rendering：Blenderに...
Gource：バージョン管理の履歴を可視化するツール
CGレンダラ研究開発のためのフレームワーク『Lightmet...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
コメント