セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenCVで顔のモーフィングを実装する
BlenderProc：Blenderで機械学習用の画像デー...
CycleGAN：ドメイン関係を学習した画像変換
ManimML：機械学習の概念を視覚的に説明するためのライブ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
Verilog HDL
Unityで学ぶC#
まだ続くブログの不調
Unityからkonashiをコントロールする
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
Iterator
網元AMIで作ったWordpressサイトのインスタンスをt...
Faster R-CNN：ディープラーニングによる一般物体検...
pythonの機械学習ライブラリ『scikit-learn』
為替レートの読み方 2WAYプライス表示
OpenCVの超解像(SuperResolution)モジュ...
OpenFace：Deep Neural Networkによ...
Raspberry Pi 2を買いました
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
3分の動画でプログラミングを学習できるサイト『ドットインスト...
OpenCVのfindEssentialMat関数を使ったサ...
ブログの復旧が難航してた話
OpenCVのバージョン3が正式リリースされたぞ
MPFB2：Blenderの人体モデリングアドオン
Russian3DScannerのトポロジー転送ツール『Wr...
3Dグラフィックスの入門書
ドットインストールのWordPress入門レッスン
PythonのHTML・XMLパーサー『BeautifulS...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Quartus II
FreeMoCap Project：オープンソースのマーカー...
Super Resolution：OpenCVの超解像処理モ...
Webサイトのワイヤーフレームが作成できるオンラインツール
Kaolin：3Dディープラーニング用のPyTorchライブ...
ROSでガンダムを動かす
Google App EngineでWordPress
Managing Software Requirements...
今年もSSII
OpenCV 3.1とopencv_contribモジュール...
SONYの自律型エンタテインメントロボット『aibo』
TensorFlowでCGを微分できる『TensorFlow...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
コメント