セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Mitsuba 3：オープンソースの研究向けレンダラ
OpenCV 3.1のsfmモジュールを試す
Raspberry Piでセンサーの常時稼働を検討する
為替レートの読み方 2WAYプライス表示
WinSCP
BlenderでPhotogrammetryできるアドオン
BGSLibrary：OpenCVベースの背景差分ライブラリ
ブログをGoogle App EngineからAmazon ...
Math Inspector：科学計算向けビジュアルプログラ...
MPFB2：Blenderの人体モデリングアドオン
HD画質の無駄遣い
WordPress on Google App Engine...
Manim：Pythonで使える数学アニメーションライブラリ
第2回Webスクレイピング勉強会の資料
オープンソースの顔の動作解析ツールキット『OpenFace』
Web経由でRaspberry PiのGPIOを操作したい
OpenMesh：オープンソースの３Dメッシュデータライブラ...
hloc：SuperGlueで精度を向上させたSfM・Vis...
AnacondaとTensorFlowをインストールしてVi...
Kornia：微分可能なコンピュータービジョンライブラリ
株式会社ヘキサドライブの研究室ページ
ブログが1日ダウンしてました
ManuelBastioniLAB：人体モデリングできるBl...
Human Generator：Blenderの人体生成アド...
TensorFlowでCGを微分できる『TensorFlow...
手を動かしながら学ぶデータマイニング
Deep Fluids：流体シミュレーションをディープラーニ...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Raspberry Pi
MB-Lab：Blenderの人体モデリングアドオン
Open3D：3Dデータ処理ライブラリ
adskShaderSDK
ManimML：機械学習の概念を視覚的に説明するためのライブ...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
OpenCVの三角測量関数『cv::triangulatep...
TeleSculptor：空撮動画からPhotogramme...
SVM (Support Vector Machine)
NumSharp：C#で使えるNumPyライクな数値計算ライ...
pythonもかじってみようかと
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
C++始めようと思うんだ
UnityでARKit2.0
コメント