セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
DCGAN (Deep Convolutional GAN)...
OpenCV 3.1のsfmモジュールを試す
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
OpenCVで平均顔を作るチュートリアル
Python2とPython3
Unreal Engineの薄い本
Google App EngineでWordPress
WordPress on Windows Azure
Twitter APIのPythonラッパー『python-...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
OpenCVの超解像(SuperResolution)モジュ...
OpenCVのバージョン3が正式リリースされたぞ
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
今年もSSII
為替レートの読み方 2WAYプライス表示
OpenGVのライブラリ構成
Deep Fluids：流体シミュレーションをディープラーニ...
機械学習で遊ぶ
Quartus II
C++始めようと思うんだ
OpenCVでPhotoshopのプラグイン開発
OpenCV 3.1から追加されたSfMモジュール
OpenFace：Deep Neural Networkによ...
3Dグラフィックスの入門書
動的なメモリの扱い
Mitsuba 2：オープンソースの物理ベースレンダラ
オープンソースの顔の動作解析ツールキット『OpenFace』
Model View Controller
PythonのHTML・XMLパーサー『BeautifulS...
hloc：SuperGlueで精度を向上させたSfM・Vis...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Web経由でRaspberry PiのGPIOを操作したい
R-CNN (Regions with CNN featur...
スクレイピング
pythonもかじってみようかと
Open3D：3Dデータ処理ライブラリ
MB-Lab：Blenderの人体モデリングアドオン
Math Inspector：科学計算向けビジュアルプログラ...
OpenCVで顔のモーフィングを実装する
プログラムによる景観の自動生成
Raspberry Pi 2のGPIOピン配置
NeuralNetwork.NET：.NETで使えるTens...
コメント