セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
チャットツール用bot開発フレームワーク『Hubot』
Webサイトのワイヤーフレームが作成できるオンラインツール
UnityのGameObjectの向きをScriptで制御す...
UnrealCLR：Unreal Engineで.NET C...
書籍『ROSプログラミング』
Open3D：3Dデータ処理ライブラリ
python-twitterで自分のお気に入りを取得する
OpenCV 3.1から追加されたSfMモジュール
ZScript
Unity MonoBehaviourクラスのオーバーライド...
IronPythonを使ってUnity上でPythonのコー...
C++ 標準テンプレートライブラリ (STL)
ブラウザ操作自動化ツール『Selenium』を試す
ROSの薄い本
Unityの薄い本
Blender 2.8がついに正式リリース！
OpenSfM：PythonのStructure from ...
AmazonEC2のインスタンスをt1.microからt2....
Human Generator：Blenderの人体生成アド...
Math.NET Numerics：Unityで使える数値計...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Python拡張モジュールのWindows用インストーラー配...
OpenMVS：Multi-View Stereoによる3次...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
hloc：SuperGlueで精度を向上させたSfM・Vis...
ブログのデザイン変えました
ZBrushのZScript入門
Live CV：インタラクティブにComputer Visi...
手を動かしながら学ぶデータマイニング
CycleGAN：ドメイン関係を学習した画像変換
Mean Stack開発の最初の一歩
iPhone・iPod touchで動作する知育ロボット『R...
Unity Scriptコーディング→Unreal Engi...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
Python for Unity：UnityEditorでP...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
第2回Webスクレイピング勉強会の資料
Faster R-CNN：ディープラーニングによる一般物体検...
Cartographer：オープンソースのSLAMライブラリ
OpenCV 3.3.0 contribのsfmモジュールの...
Unityの各コンポーネント間でのやり取り
オープンソースのロボットアプリケーションフレームワーク『RO...
コメント