セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Structure from Motion (多視点画像から...
OpenVDB：3Dボリュームデータ処理ライブラリ
C++始めようと思うんだ
UnityでLight Shaftを表現する
クラスの基本
MVStudio：オープンソースのPhotogrammetr...
WordPressプラグインによるサイトマップの自動生成
viser：Pythonで使える3D可視化ライブラリ
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Google XML Sitemap Generatorプラ...
Accord.NET Framework：C#で使える機械学...
BlenderのPython環境にPyTorchをインストー...
C++の抽象クラス
Google App Engineのデプロイ失敗
Swark：コードからアーキテクチャ図を作成できるVSCod...
OpenCVの顔検出過程を可視化した動画
Amazon Web ServicesでWordPress
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Windows10でPyTorchをインストールしてVSCo...
OpenMVS：Multi-View Stereoによる3次...
konashiのサンプルコードを動かしてみた
オープンソースの顔の動作解析ツールキット『OpenFace』
Geogram：C++の3D幾何アルゴリズムライブラリ
Raspberry Pi 2のGPIOピン配置
Human Generator：Blenderの人体生成アド...
OpenCV 3.1から追加されたSfMモジュール
Gource：バージョン管理の履歴を可視化するツール
3Dモデルを立体視で確認できるVRアプリを作っている
Webサイトのワイヤーフレームが作成できるオンラインツール
PyDataTokyo主催のDeep Learning勉強会
Python.NET：Pythonと.NETを連携させるパッ...
Manim：Pythonで使える数学アニメーションライブラリ
機械学習手法『Random Forest』
Faster R-CNN：ディープラーニングによる一般物体検...
OpenCVのfindEssentialMat関数を使ったサ...
trimesh：PythonでポリゴンMeshを扱うライブラ...
ブログのデザイン変えました
ブログが1日ダウンしてました
ドットインストールのWordPress入門レッスン
Mitsuba 3：オープンソースの研究向けレンダラ
COLMAP：オープンソースのSfM・MVSツール
PyMC：Pythonのベイズ統計ライブラリ
コメント