セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Math Inspector：科学計算向けビジュアルプログラ...
openMVGをWindows10 Visual Studi...
OpenCV3.3.0でsfmモジュールのビルドに成功！
OpenCVで動画の手ぶれ補正
UnityのAR FoundationでARKit 3
HerokuでMEAN stack
Pythonのソースコードに特化した検索エンジン『Nulle...
Google XML Sitemap Generatorプラ...
Python2とPython3
Python.NET：Pythonと.NETを連携させるパッ...
BlenderでPhotogrammetryできるアドオン
Math.NET Numerics：Unityで使える数値計...
OpenCV
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Point Cloud Utils：Pythonで3D点群・...
Webサイトのワイヤーフレームが作成できるオンラインツール
動的なメモリの扱い
UnrealCLR：Unreal Engineで.NET C...
Unity Scriptコーディング→Unreal Engi...
UnityでLight Shaftを表現する
Alice Vision：オープンソースのPhotogram...
Theia：オープンソースのStructure from M...
第2回Webスクレイピング勉強会の資料
Kornia：微分可能なコンピュータービジョンライブラリ
PyTorch3D：3Dコンピュータービジョンライブラリ
科学技術計算向けスクリプト言語『Julia』
ブログが1日ダウンしてました
WordPressのサーバ引っ越し方法を考える
HD画質の無駄遣い
Mitsuba 2：オープンソースの物理ベースレンダラ
Rerun：マルチモーダルデータの可視化アプリとSDK
Web経由でRaspberry PiのGPIOを操作したい
TorchStudio：PyTorchのための統合開発環境と...
OpenCV バージョン4がリリースされた！
Deep Learningとその他の機械学習手法の性能比較
UnityのGameObjectの向きをScriptで制御す...
Iterator
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
マルコフ連鎖モンテカルロ法
Open3D：3Dデータ処理ライブラリ
ManuelBastioniLAB：人体モデリングできるBl...
ドットインストールのWordPress入門レッスン
コメント