セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
続・ディープラーニングの資料
C++ 標準テンプレートライブラリ (STL)
3分の動画でプログラミングを学習できるサイト『ドットインスト...
クラスの基本
PGGAN：段階的に解像度を上げて学習を進めるGAN
Mitsuba 3：オープンソースの研究向けレンダラ
ManimML：機械学習の概念を視覚的に説明するためのライブ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
WebGL開発に関する情報が充実してきている
仮想関数
Cartographer：オープンソースのSLAMライブラリ
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
UnityでPoint Cloudを表示する方法
MPFB2：Blenderの人体モデリングアドオン
OpenCVでカメラ画像から自己位置認識 (Visual O...
OANDAのfxTrade API
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
OpenCVで平均顔を作るチュートリアル
COLMAP：オープンソースのSfM・MVSツール
SVM (Support Vector Machine)
ディープラーニング
OpenCV バージョン4がリリースされた！
PyTorch3D：3Dコンピュータービジョンライブラリ
PythonでMayaのShapeノードプラグインを作る
UnityのAR FoundationでARKit 3
OpenCVで顔のモーフィングを実装する
第2回Webスクレイピング勉強会の資料
Multi-View Environment：複数画像から3...
Python2とPython3
Google Colaboratoryで遊ぶ準備
viser：Pythonで使える3D可視化ライブラリ
UnityプロジェクトをGitHubで管理する
adskShaderSDK
Unity ARKitプラグインサンプルのチュートリアルを読...
Deep Learningとその他の機械学習手法の性能比較
Composition Rendering：Blenderに...
Webサイトのワイヤーフレームが作成できるオンラインツール
OpenCV 3.1のsfmモジュールを試す
R-CNN (Regions with CNN featur...
HerokuでMEAN stack
Google Chromecast
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
コメント