セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenMVS：Multi-View Stereoによる3次...
Raspberry Pi
JavaScriptとかWebGLとかCanvasとか
TensorSpace.js：ニューラルネットワークの構造を...
Blender 2.8がついに正式リリース！
KelpNet：C#で使える可読性重視のディープラーニングラ...
Structure from Motion (多視点画像から...
UnityでLight Shaftを表現する
Raspberry Pi 2のGPIOピン配置
このブログのデザインに飽きてきた
bpy-renderer：レンダリング用Pythonパッケー...
Iterator
Unityからkonashiをコントロールする
Manim：Pythonで使える数学アニメーションライブラリ
Caffe：読みやすくて高速なディープラーニングのフレームワ...
ニューラルネットワークで画像分類
SONY製のニューラルネットワークライブラリ『NNabla』
Python.NET：Pythonと.NETを連携させるパッ...
python-twitterで自分のお気に入りを取得する
Mitsuba 2：オープンソースの物理ベースレンダラ
組み込み向けのWindows OS 『Windows Emb...
Alice Vision：オープンソースのPhotogram...
WordPressプラグインの作り方
チャットツール用bot開発フレームワーク『Hubot』
書籍『ROSプログラミング』
Unity ARKitプラグインサンプルのドキュメントを読む
iOSで使えるJetpac社の物体認識SDK『DeepBel...
OpenCVでiPhone6sのカメラをキャリブレーションす...
cvui：OpenCVのための軽量GUIライブラリ
Point Cloud Utils：Pythonで3D点群・...
Google App Engine上のWordPressでF...
openMVG：複数視点画像から3次元形状を復元するライブラ...
Google XML Sitemap Generatorプラ...
書籍『仕事ではじめる機械学習』を読みました
続・ディープラーニングの資料
Google製オープンソース機械学習ライブラリ『Tensor...
Kornia：微分可能なコンピュータービジョンライブラリ
Mask R-CNN：ディープラーニングによる一般物体検出・...
BGSLibrary：OpenCVベースの背景差分ライブラリ
OpenCV バージョン4がリリースされた！
頭蓋骨からの顔復元と進化過程の可視化
TensorFlowでCGを微分できる『TensorFlow...
コメント