セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
MVStudio：オープンソースのPhotogrammetr...
OpenAR：OpenCVベースのマーカーARライブラリ
Google App Engine上のWordPressでA...
R-CNN (Regions with CNN featur...
cvui：OpenCVのための軽量GUIライブラリ
書籍『仕事ではじめる機械学習』を読みました
Raspberry Pi
タマムシっぽい質感
OpenCV3.3.0でsfmモジュールのビルドに成功！
BGSLibrary：OpenCVベースの背景差分ライブラリ
UnityのGameObjectの向きをScriptで制御す...
定数
iPhone x ロボットハッカソン～RomoのiPhone...
Mitsuba 3：オープンソースの研究向けレンダラ
OpenCVで動画の手ぶれ補正
Gource：バージョン管理の履歴を可視化するツール
Math Inspector：科学計算向けビジュアルプログラ...
pythonもかじってみようかと
為替レートの読み方 2WAYプライス表示
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Deep Learningとその他の機械学習手法の性能比較
オープンソースの顔の動作解析ツールキット『OpenFace』
クラスの基本
Webサイトのワイヤーフレームが作成できるオンラインツール
Theia：オープンソースのStructure from M...
ROSでガンダムを動かす
OpenCVの顔検出過程を可視化した動画
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Google Colaboratoryで遊ぶ準備
Live CV：インタラクティブにComputer Visi...
Unityの薄い本
OpenMVS：Multi-View Stereoによる3次...
OpenCVで顔のランドマークを検出する『Facemark ...
ManuelBastioniLAB：人体モデリングできるBl...
UnityでPoint Cloudを表示する方法
Mayaのプラグイン開発
第2回Webスクレイピング勉強会の資料
Google App Engineのデプロイ失敗
Blender 2.8がついに正式リリース！
adskShaderSDK
Polyscope：3Dデータ操作用GUIライブラリ
OpenCV 3.1から追加されたSfMモジュール
コメント