セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
WebGL開発に関する情報が充実してきている
OpenCV 3.1とopencv_contribモジュール...
Composition Rendering：Blenderに...
Raspberry Pi 2を買いました
OpenCV 3.3.0-RCでsfmモジュールをビルド
TorchStudio：PyTorchのための統合開発環境と...
SONYの自律型エンタテインメントロボット『aibo』
Google App Engine上のWordPressでA...
VCG Library：C++のポリゴン操作ライブラリ
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
WordPressプラグインの作り方
Web経由でRaspberry PiのGPIOを操作したい
為替レートの読み方 2WAYプライス表示
プログラミングスキルとは何か？
UnityからROSを利用できる『ROS#』
Google App Engine上のWordPressでF...
trimesh：PythonでポリゴンMeshを扱うライブラ...
PyMC：Pythonのベイズ統計ライブラリ
Amazon Web ServicesでWordPress
ブログの復旧が難航してた話
iPhoneアプリ開発 Xcode 5のお作法
UnityのTransformクラスについて調べてみた
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Polyscope：3Dデータ操作用GUIライブラリ
ZBrushのZScript入門
OpenCVで顔のモーフィングを実装する
Windows10でPyTorchをインストールしてVSCo...
konashiのサンプルコードを動かしてみた
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
adskShaderSDK
OpenMVSのサンプルを動かしてみる
RSSフィードを読込んで表示するWordpressプラグイン...
WordPressプラグインによるサイトマップの自動生成
Google XML Sitemap Generatorプラ...
Pythonのソースコードに特化した検索エンジン『Nulle...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
UnityのAR FoundationでARKit 3
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
HD画質の無駄遣い
pythonもかじってみようかと
Runway ML：クリエイターのための機械学習ツール
コメント