セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
COLMAP：オープンソースのSfM・MVSツール
MythTV：Linuxでテレビの視聴・録画ができるオープン...
Unreal Engineの薄い本
geometry3Sharp：Unity C#で使えるポリゴ...
SDカードサイズのコンピューター『Intel Edison』
Unity ARKitプラグインサンプルのチュートリアルを読...
Point Cloud Utils：Pythonで3D点群・...
オープンソースのロボットアプリケーションフレームワーク『RO...
R-CNN (Regions with CNN featur...
PyMC：Pythonのベイズ統計ライブラリ
Google Colaboratoryで遊ぶ準備
Open3D：3Dデータ処理ライブラリ
iPhoneアプリ開発 Xcode 5のお作法
ROSでガンダムを動かす
OpenCVで顔のランドマークを検出する『Facemark ...
Unityで学ぶC#
為替レートの読み方 2WAYプライス表示
プログラミングスキルとは何か？
OpenCV バージョン4がリリースされた！
PyDataTokyo主催のDeep Learning勉強会
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Webサイトのワイヤーフレームが作成できるオンラインツール
JavaScriptとかWebGLとかCanvasとか
OpenCVでiPhone6sのカメラをキャリブレーションす...
今年もSSII
続・ディープラーニングの資料
UnityでPoint Cloudを表示する方法
Managing Software Requirements...
オープンソースの人体モデリングツール『MakeHuman』の...
Google XML Sitemap Generatorプラ...
Blendify：コンピュータービジョン向けBlenderラ...
ニューラルネットワークで画像分類
OpenCV 3.1とopencv_contribモジュール...
UnrealCLR：Unreal Engineで.NET C...
書籍『ROSプログラミング』
TensorSpace.js：ニューラルネットワークの構造を...
Mayaのプラグイン開発
UnityでTweenアニメーションを実装できる3種類の無料...
C++ 標準テンプレートライブラリ (STL)
タマムシっぽい質感
まだ続くブログの不調
OpenCVのバージョン3が正式リリースされたぞ
コメント