セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
UnityでPoint Cloudを表示する方法
uvでWindows11のPython環境を管理する
pythonの機械学習ライブラリ『scikit-learn』
Unity Scriptコーディング→Unreal Engi...
Unityの各コンポーネント間でのやり取り
Raspberry PiのGPIOを操作するPythonライ...
機械学習手法『Random Forest』
仮想関数
pythonもかじってみようかと
Google Chromecast
Human Generator：Blenderの人体生成アド...
Mean Stack開発の最初の一歩
Managing Software Requirements...
WordPressのテーマを自作する
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
OpenCVのバージョン3が正式リリースされたぞ
OpenFace：Deep Neural Networkによ...
オープンソースのロボットアプリケーションフレームワーク『RO...
MPFB2：Blenderの人体モデリングアドオン
Raspberry Piでセンサーの常時稼働を検討する
OpenCVでカメラ画像から自己位置認識 (Visual O...
ニューラルネットワークで画像分類
OpenGVの用語
OpenCV3.3.0でsfmモジュールのビルドに成功！
openMVGをWindows10 Visual Studi...
WordPressのサーバ引っ越し方法を考える
IronPythonを使ってUnity上でPythonのコー...
株式会社ヘキサドライブの研究室ページ
OpenCVでiPhone6sのカメラをキャリブレーションす...
UnrealCLR：Unreal Engineで.NET C...
VCG Library：C++のポリゴン操作ライブラリ
Math.NET Numerics：Unityで使える数値計...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
3Dモデルを立体視で確認できるVRアプリを作っている
Pythonのソースコードに特化した検索エンジン『Nulle...
Open3D：3Dデータ処理ライブラリ
このブログのデザインに飽きてきた
Google製オープンソース機械学習ライブラリ『Tensor...
Swark：コードからアーキテクチャ図を作成できるVSCod...
iOSデバイスと接続して連携するガジェットの開発方法
Alice Vision：オープンソースのPhotogram...
NeuralNetwork.NET：.NETで使えるTens...
コメント