セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Theia：オープンソースのStructure from M...
UnityのMonoBehaviourクラスをシングルトン化...
WordPress on Google App Engine...
Google製オープンソース機械学習ライブラリ『Tensor...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Alice Vision：オープンソースのPhotogram...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
Webサイトのワイヤーフレームが作成できるオンラインツール
Pythonの自然言語処理ライブラリ『NLTK(Natura...
書籍『ゼロから作るDeep Learning』で自分なりに学...
libigl：軽量なジオメトリ処理ライブラリ
WebGL開発に関する情報が充実してきている
Google App Engine上のWordPressでF...
ドットインストールのWordPress入門レッスン
Mean Stack開発の最初の一歩
今年もSSII
HD画質の無駄遣い
Swark：コードからアーキテクチャ図を作成できるVSCod...
ニューラルネットワークで画像分類
MB-Lab：Blenderの人体モデリングアドオン
OpenCV 3.1から追加されたSfMモジュール
Unity ARKitプラグインサンプルのドキュメントを読む
Unreal Engineの薄い本
続・ディープラーニングの資料
プログラミングスキルとは何か？
Pylearn2：ディープラーニングに対応したPythonの...
ZBrushのZScript入門
3Dモデルを立体視で確認できるVRアプリを作っている
UnityでOpenCVを使うには？
iPhone・iPod touchで動作する知育ロボット『R...
Google App Engineのデプロイ失敗
GoB：ZBrushとBlenderを連携させるアドオン
pythonもかじってみようかと
iPhoneアプリ開発 Xcode 5のお作法
Pythonのソースコードに特化した検索エンジン『Nulle...
Unityの薄い本
UnityでLight Shaftを表現する
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Open3D：3Dデータ処理ライブラリ
TeleSculptor：空撮動画からPhotogramme...
OpenCVで顔のランドマークを検出する『Facemark ...
オープンソースの人体モデリングツール『MakeHuman』の...
コメント