セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
geometry3Sharp：Unity C#で使えるポリゴ...
書籍『ROSプログラミング』
Google App Engine上のWordPressでA...
Seleniumを使ったFXや株の自動取引
Raspberry Pi 2を買いました
WordPress on Windows Azure
Kornia：微分可能なコンピュータービジョンライブラリ
hloc：SuperGlueで精度を向上させたSfM・Vis...
Iterator
CycleGAN：ドメイン関係を学習した画像変換
3Dモデルを立体視で確認できるVRアプリを作っている
OpenAR：OpenCVベースのマーカーARライブラリ
OpenCVでPhotoshopのプラグイン開発
3D復元技術の情報リンク集
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Unityの薄い本
OpenCVでカメラ画像から自己位置認識 (Visual O...
AndroidもopenGLも初心者さ (でもJavaは知っ...
プログラムによる景観の自動生成
Google製オープンソース機械学習ライブラリ『Tensor...
UnrealCLR：Unreal Engineで.NET C...
UnityのMonoBehaviourクラスをシングルトン化...
WordPress on Google App Engine...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
ManuelBastioniLAB：人体モデリングできるBl...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
AmazonEC2のインスタンスをt1.microからt2....
Math.NET Numerics：Unityで使える数値計...
Boost オープンソースライブラリ
Polyscope：3Dデータ操作用GUIライブラリ
SONY製のニューラルネットワークライブラリ『NNabla』
Dlib：C++の機械学習ライブラリ
KelpNet：C#で使える可読性重視のディープラーニングラ...
BlenderのPython環境にPyTorchをインストー...
UnityからROSを利用できる『ROS#』
UnityプロジェクトをGitHubで管理する
NeuralNetwork.NET：.NETで使えるTens...
Accord.NET Framework：C#で使える機械学...
Unityの各コンポーネント間でのやり取り
Raspberry Pi 2のGPIOピン配置
Live CV：インタラクティブにComputer Visi...
OpenMVSのサンプルを動かしてみる
コメント