セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Python for Unity：UnityEditorでP...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Faster R-CNN：ディープラーニングによる一般物体検...
Geogram：C++の3D幾何アルゴリズムライブラリ
OpenMVS：Multi-View Stereoによる3次...
OpenCVの三角測量関数『cv::triangulatep...
OpenCVのfindEssentialMat関数を使ったサ...
BlenderProc：Blenderで機械学習用の画像デー...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
PyMC：Pythonのベイズ統計ライブラリ
SONYの自律型エンタテインメントロボット『aibo』
PGGAN：段階的に解像度を上げて学習を進めるGAN
PyTorch3D：3Dコンピュータービジョンライブラリ
BlenderでPhotogrammetryできるアドオン
ドットインストールのWordPress入門レッスン
geometry3Sharp：Unity C#で使えるポリゴ...
OpenCV3.3.0でsfmモジュールのビルドに成功！
uvでWindows11のPython環境を管理する
OpenCV 3.3.0-RCでsfmモジュールをビルド
Kornia：微分可能なコンピュータービジョンライブラリ
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
CycleGAN：ドメイン関係を学習した画像変換
Unityからkonashiをコントロールする
UnityでOpenCVを使うには？
Composition Rendering：Blenderに...
Human Generator：Blenderの人体生成アド...
SDカードサイズのコンピューター『Intel Edison』
WordPressのテーマを自作する
プログラミングスキルとは何か？
COLMAP：オープンソースのSfM・MVSツール
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Quartus II
今年もSSII
Super Resolution：OpenCVの超解像処理モ...
WordPressプラグインの作り方
ディープラーニング
OpenCVで動画の手ぶれ補正
ブログが1日ダウンしてました
為替レートの読み方 2WAYプライス表示
Multi-View Environment：複数画像から3...
SVM (Support Vector Machine)
コメント