セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
3分の動画でプログラミングを学習できるサイト『ドットインスト...
フォトンの放射から格納までを可視化した動画
GAN (Generative Adversarial Ne...
書籍『OpenCV 3 プログラミングブック』を購入
PythonでMayaのShapeノードプラグインを作る
MVStudio：オープンソースのPhotogrammetr...
株式会社ヘキサドライブの研究室ページ
FCN (Fully Convolutional Netwo...
Raspberry PiのGPIOを操作するPythonライ...
ブラウザ操作自動化ツール『Selenium』を試す
OpenCVの顔検出過程を可視化した動画
OpenCVでカメラ画像から自己位置認識 (Visual O...
adskShaderSDK
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
為替レートの読み方 2WAYプライス表示
OpenGVの用語
OpenMesh：オープンソースの３Dメッシュデータライブラ...
C++の抽象クラス
続・ディープラーニングの資料
NumSharp：C#で使えるNumPyライクな数値計算ライ...
定数
オープンソースの取引プラットフォーム
SVM (Support Vector Machine)
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Unreal Engineの薄い本
Deep Learningとその他の機械学習手法の性能比較
OpenCVのバージョン3が正式リリースされたぞ
Unity ARKitプラグインサンプルのチュートリアルを読...
Python2とPython3
OANDAのfxTrade API
Verilog HDL
OpenCVの三角測量関数『cv::triangulatep...
タマムシっぽい質感
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
プログラミングスキルとは何か？
SONYの自律型エンタテインメントロボット『aibo』
Polyscope：3Dデータ操作用GUIライブラリ
konashiのサンプルコードを動かしてみた
ROSの薄い本
ZBrushのZScript入門
第2回Webスクレイピング勉強会の資料
Raspberry Pi 2のGPIOピン配置
コメント