セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
WordPressのサーバ引っ越し方法を考える
ManimML：機械学習の概念を視覚的に説明するためのライブ...
Multi-View Environment：複数画像から3...
C++始めようと思うんだ
機械学習で遊ぶ
RSSフィードを読込んで表示するWordpressプラグイン...
まだ続くブログの不調
Manim：Pythonで使える数学アニメーションライブラリ
WordPress on Windows Azure
Google XML Sitemap Generatorプラ...
スクレイピング
Open3D：3Dデータ処理ライブラリ
Math.NET Numerics：Unityで使える数値計...
チャットツール用bot開発フレームワーク『Hubot』
AmazonEC2のインスタンスをt1.microからt2....
ROSの薄い本
Raspberry Pi 2のGPIOピン配置
ブログの復旧が難航してた話
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
UnityのGameObjectの向きをScriptで制御す...
KelpNet：C#で使える可読性重視のディープラーニングラ...
UnityのAR FoundationでARKit 3
Geogram：C++の3D幾何アルゴリズムライブラリ
AnacondaとTensorFlowをインストールしてVi...
uvでWindows11のPython環境を管理する
IronPythonを使ってUnity上でPythonのコー...
openMVG：複数視点画像から3次元形状を復元するライブラ...
Theia：オープンソースのStructure from M...
プログラミングスキルとは何か？
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Pythonのソースコードに特化した検索エンジン『Nulle...
プログラムによる景観の自動生成
Gource：バージョン管理の履歴を可視化するツール
konashiのサンプルコードを動かしてみた
Mean Stack開発の最初の一歩
WinSCP
オープンソースの取引プラットフォーム
iOSで使えるJetpac社の物体認識SDK『DeepBel...
TeleSculptor：空撮動画からPhotogramme...
OpenCVで顔のモーフィングを実装する
iPhoneアプリ開発 Xcode 5のお作法
hloc：SuperGlueで精度を向上させたSfM・Vis...
コメント