セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry PiでIoTごっこ
Seleniumを使ったFXや株の自動取引
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Web経由でRaspberry PiのGPIOを操作したい
OpenCVの超解像(SuperResolution)モジュ...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
Point Cloud Utils：Pythonで3D点群・...
クラスの基本
Swark：コードからアーキテクチャ図を作成できるVSCod...
UnityでOpenCVを使うには？
Math.NET Numerics：Unityで使える数値計...
Rerun：マルチモーダルデータの可視化アプリとSDK
今年もSSII
libigl：軽量なジオメトリ処理ライブラリ
UnityのMonoBehaviourクラスをシングルトン化...
Mayaのプラグイン開発
AndroidもopenGLも初心者さ (でもJavaは知っ...
SONYの自律型エンタテインメントロボット『aibo』
法線マップを用意してCanvas上でShadingするサンプ...
Mean Stack開発の最初の一歩
UnityプロジェクトをGitHubで管理する
ディープラーニング
UnityのAR FoundationでARKit 3
Dlib：C++の機械学習ライブラリ
OpenMVSのサンプルを動かしてみる
OpenCVで平均顔を作るチュートリアル
C++始めようと思うんだ
UnityでARKit2.0
CycleGAN：ドメイン関係を学習した画像変換
geometry3Sharp：Unity C#で使えるポリゴ...
このブログのデザインに飽きてきた
OpenCVで動画の手ぶれ補正
Raspberry PiのGPIOを操作するPythonライ...
Unreal Engineの薄い本
Deep Fluids：流体シミュレーションをディープラーニ...
Webスクレイピングの勉強会に行ってきた
TensorSpace.js：ニューラルネットワークの構造を...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
iPhoneアプリ開発 Xcode 5のお作法
3D復元技術の情報リンク集
ブログをGoogle App EngineからAmazon ...
書籍『仕事ではじめる機械学習』を読みました
コメント