セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
TensorFlowでCGを微分できる『TensorFlow...
OpenMVSのサンプルを動かしてみる
COLMAP：オープンソースのSfM・MVSツール
ZBrushのZScript入門
iPhone x ロボットハッカソン～RomoのiPhone...
Boost オープンソースライブラリ
Google製オープンソース機械学習ライブラリ『Tensor...
Model View Controller
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Verilog HDL
Super Resolution：OpenCVの超解像処理モ...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
GAN (Generative Adversarial Ne...
SONY製のニューラルネットワークライブラリ『NNabla』
Python2とPython3
UnityでLight Shaftを表現する
IronPythonを使ってUnity上でPythonのコー...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Human Generator：Blenderの人体生成アド...
geometry3Sharp：Unity C#で使えるポリゴ...
SDカードサイズのコンピューター『Intel Edison』
RSSフィードを読込んで表示するWordpressプラグイン...
Google App Engineのデプロイ失敗
Python.NET：Pythonと.NETを連携させるパッ...
このブログのデザインに飽きてきた
R-CNN (Regions with CNN featur...
iPhoneアプリ開発 Xcode 5のお作法
openMVGをWindows10 Visual Studi...
pythonもかじってみようかと
3D復元技術の情報リンク集
定数
BlenderProc：Blenderで機械学習用の画像デー...
openMVG：複数視点画像から3次元形状を復元するライブラ...
UnityのMonoBehaviourクラスをシングルトン化...
マルコフ連鎖モンテカルロ法
WordPressプラグインの作り方
Runway ML：クリエイターのための機械学習ツール
FreeMoCap Project：オープンソースのマーカー...
hloc：SuperGlueで精度を向上させたSfM・Vis...
OpenFace：Deep Neural Networkによ...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
bpy-renderer：レンダリング用Pythonパッケー...
コメント