セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenGVのライブラリ構成
Live CV：インタラクティブにComputer Visi...
WordPressプラグインの作り方
Unity Scriptコーディング→Unreal Engi...
OpenCVで顔のランドマークを検出する『Facemark ...
UnityのTransformクラスについて調べてみた
UnityでTweenアニメーションを実装できる3種類の無料...
Accord.NET Framework：C#で使える機械学...
Faster R-CNN：ディープラーニングによる一般物体検...
Swark：コードからアーキテクチャ図を作成できるVSCod...
uvでWindows11のPython環境を管理する
WordPressプラグインによるサイトマップの自動生成
C++の抽象クラス
プログラムによる景観の自動生成
TensorSpace.js：ニューラルネットワークの構造を...
Unityの各コンポーネント間でのやり取り
サンプルコードにも間違いはある？
Polyscope：3Dデータ操作用GUIライブラリ
オープンソースのロボットアプリケーションフレームワーク『RO...
AnacondaとTensorFlowをインストールしてVi...
Composition Rendering：Blenderに...
NeuralNetwork.NET：.NETで使えるTens...
Raspberry Pi 2のGPIOピン配置
HerokuでMEAN stack
Seleniumを使ったFXや株の自動取引
Google App Engine上のWordPressでF...
Pylearn2：ディープラーニングに対応したPythonの...
Managing Software Requirements...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
PyMC：Pythonのベイズ統計ライブラリ
まだ続くブログの不調
Blender 2.8がついに正式リリース！
定数
UnityでLight Shaftを表現する
OpenMesh：オープンソースの３Dメッシュデータライブラ...
DCGAN (Deep Convolutional GAN)...
Runway ML：クリエイターのための機械学習ツール
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Alice Vision：オープンソースのPhotogram...
動的なメモリの扱い
Twitter APIのPythonラッパー『python-...
コメント