セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
MythTV：Linuxでテレビの視聴・録画ができるオープン...
PyDataTokyo主催のDeep Learning勉強会
動的なメモリの扱い
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
ManuelBastioniLAB：人体モデリングできるBl...
Twitter APIのPythonラッパー『python-...
Unity MonoBehaviourクラスのオーバーライド...
ニューラルネットワークで画像分類
Kubric：機械学習用アノテーション付き動画生成パイプライ...
OpenCVのバージョン3が正式リリースされたぞ
Unityからkonashiをコントロールする
Structure from Motion (多視点画像から...
為替レートの読み方 2WAYプライス表示
法線マップを用意してCanvas上でShadingするサンプ...
3Dモデルを立体視で確認できるVRアプリを作っている
OpenCV 3.3.0-RCでsfmモジュールをビルド
Konashiを買った
Pythonの自然言語処理ライブラリ『NLTK(Natura...
OpenCVで平均顔を作るチュートリアル
マルコフ連鎖モンテカルロ法
Boost オープンソースライブラリ
python-twitterで自分のお気に入りを取得する
Deep Fluids：流体シミュレーションをディープラーニ...
TensorSpace.js：ニューラルネットワークの構造を...
Rerun：マルチモーダルデータの可視化アプリとSDK
KelpNet：C#で使える可読性重視のディープラーニングラ...
クラスの基本
Webスクレイピングの勉強会に行ってきた
サンプルコードにも間違いはある？
MVStudio：オープンソースのPhotogrammetr...
konashiのサンプルコードを動かしてみた
VCG Library：C++のポリゴン操作ライブラリ
ドットインストールのWordPress入門レッスン
COLMAP：オープンソースのSfM・MVSツール
UnityのAR FoundationでARKit 3
書籍『ROSプログラミング』
定数
オープンソースの物理ベースGIレンダラ『appleseed』
Super Resolution：OpenCVの超解像処理モ...
OpenCVでPhotoshopのプラグイン開発
Mitsuba 3：オープンソースの研究向けレンダラ
科学技術計算向けスクリプト言語『Julia』
コメント