セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
UnityでPoint Cloudを表示する方法
FCN (Fully Convolutional Netwo...
bpy-renderer：レンダリング用Pythonパッケー...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Unity Scriptコーディング→Unreal Engi...
Konashiを買った
動的なメモリの扱い
Live CV：インタラクティブにComputer Visi...
Super Resolution：OpenCVの超解像処理モ...
Managing Software Requirements...
法線マップを用意してCanvas上でShadingするサンプ...
タマムシっぽい質感
OpenAR：OpenCVベースのマーカーARライブラリ
Unityの薄い本
続・ディープラーニングの資料
WordPress on Google App Engine...
Mitsuba 3：オープンソースの研究向けレンダラ
OpenGVの用語
OpenCVの超解像(SuperResolution)モジュ...
Google App EngineでWordPress
hloc：SuperGlueで精度を向上させたSfM・Vis...
SONYの自律型エンタテインメントロボット『aibo』
UnityからROSを利用できる『ROS#』
Swark：コードからアーキテクチャ図を作成できるVSCod...
Raspberry Piでセンサーの常時稼働を検討する
WordPressの表示を高速化する
頭蓋骨からの顔復元と進化過程の可視化
SVM (Support Vector Machine)
FreeMoCap Project：オープンソースのマーカー...
pythonもかじってみようかと
PythonのHTML・XMLパーサー『BeautifulS...
adskShaderSDK
IronPythonを使ってUnity上でPythonのコー...
Kornia：微分可能なコンピュータービジョンライブラリ
Accord.NET Framework：C#で使える機械学...
Python.NET：Pythonと.NETを連携させるパッ...
3D復元技術の情報リンク集
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Mask R-CNN：ディープラーニングによる一般物体検出・...
第2回Webスクレイピング勉強会の資料
iPhoneアプリ開発 Xcode 5のお作法
Deep Learningとその他の機械学習手法の性能比較
コメント