セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
cvui：OpenCVのための軽量GUIライブラリ
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Math.NET Numerics：Unityで使える数値計...
DCGAN (Deep Convolutional GAN)...
3Dモデルを立体視で確認できるVRアプリを作っている
Alice Vision：オープンソースのPhotogram...
Google App Engine上のWordPressでF...
ディープラーニング
OpenCV 3.1のsfmモジュールを試す
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
WordPressの表示を高速化する
Dlib：C++の機械学習ライブラリ
pythonの機械学習ライブラリ『scikit-learn』
WordPressのテーマを自作する
TeleSculptor：空撮動画からPhotogramme...
OpenCVでiPhone6sのカメラをキャリブレーションす...
BlenderProc：Blenderで機械学習用の画像デー...
ブラウザ操作自動化ツール『Selenium』を試す
オープンソースの物理ベースGIレンダラ『appleseed』
Unityで強化学習できる『Unity ML-Agents』
NeuralNetwork.NET：.NETで使えるTens...
Google App EngineでWordPress
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
UnityでLight Shaftを表現する
Google App Engineのデプロイ失敗
機械学習手法『Random Forest』
ZScript
MVStudio：オープンソースのPhotogrammetr...
ROSでガンダムを動かす
OpenCV3.3.0でsfmモジュールのビルドに成功！
AndroidもopenGLも初心者さ (でもJavaは知っ...
Raspberry PiでIoTごっこ
html5のcanvasの可能性
PythonでMayaのShapeノードプラグインを作る
SVM (Support Vector Machine)
OpenCVで動画の手ぶれ補正
第2回Webスクレイピング勉強会の資料
iPhone x ロボットハッカソン～RomoのiPhone...
COLMAP：オープンソースのSfM・MVSツール
Python拡張モジュールのWindows用インストーラー配...
MB-Lab：Blenderの人体モデリングアドオン
GAN (Generative Adversarial Ne...
コメント