セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
C++ 標準テンプレートライブラリ (STL)
MythTV：Linuxでテレビの視聴・録画ができるオープン...
Google App Engine上のWordPressでA...
OpenCVの顔検出過程を可視化した動画
geometry3Sharp：Unity C#で使えるポリゴ...
OpenCV 3.3.0 contribのsfmモジュールの...
UnityでARKit2.0
iOSで使えるJetpac社の物体認識SDK『DeepBel...
COLMAP：オープンソースのSfM・MVSツール
MVStudio：オープンソースのPhotogrammetr...
UnityのAR FoundationでARKit 3
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
OpenAR：OpenCVベースのマーカーARライブラリ
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
オープンソースの顔認識フレームワーク『OpenBR』
SDカードサイズのコンピューター『Intel Edison』
OpenMVS：Multi-View Stereoによる3次...
Mitsuba 3：オープンソースの研究向けレンダラ
ROSの薄い本
このブログのデザインに飽きてきた
WordPressプラグインの作り方
Unity ARKitプラグインサンプルのドキュメントを読む
Raspberry PiでIoTごっこ
法線マップを用意してCanvas上でShadingするサンプ...
Pylearn2：ディープラーニングに対応したPythonの...
ZBrushのZScript入門
SVM (Support Vector Machine)
Pythonのソースコードに特化した検索エンジン『Nulle...
WordPressのサーバ引っ越し方法を考える
AnacondaとTensorFlowをインストールしてVi...
Unity ARKitプラグインサンプルのチュートリアルを読...
PyTorch3D：3Dコンピュータービジョンライブラリ
3D復元技術の情報リンク集
UnityでTweenアニメーションを実装できる3種類の無料...
Manim：Pythonで使える数学アニメーションライブラリ
定数
ブログが1日ダウンしてました
OpenFace：Deep Neural Networkによ...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
OpenCV 3.1のsfmモジュールのビルド再び
Raspberry Pi 2を買いました
コメント