セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
libigl：軽量なジオメトリ処理ライブラリ
Gource：バージョン管理の履歴を可視化するツール
Blender 2.8がついに正式リリース！
Pythonのソースコードに特化した検索エンジン『Nulle...
Windows10でPyTorchをインストールしてVSCo...
Raspberry Pi 2を買いました
Mask R-CNN：ディープラーニングによる一般物体検出・...
今年もSSII
hloc：SuperGlueで精度を向上させたSfM・Vis...
Google App Engineのデプロイ失敗
プログラミングスキルとは何か？
OpenCVで平均顔を作るチュートリアル
TeleSculptor：空撮動画からPhotogramme...
科学技術計算向けスクリプト言語『Julia』
UnityでLight Shaftを表現する
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
adskShaderSDK
OpenVDB：3Dボリュームデータ処理ライブラリ
FCN (Fully Convolutional Netwo...
ROSの薄い本
MB-Lab：Blenderの人体モデリングアドオン
OpenCVで顔のランドマークを検出する『Facemark ...
OpenCV 3.3.0-RCでsfmモジュールをビルド
仮想関数
Unityの薄い本
TorchStudio：PyTorchのための統合開発環境と...
GoB：ZBrushとBlenderを連携させるアドオン
WordPressプラグインによるサイトマップの自動生成
OpenCV 3.1のsfmモジュールを試す
UnityプロジェクトをGitHubで管理する
ManuelBastioniLAB：人体モデリングできるBl...
Polyscope：3Dデータ操作用GUIライブラリ
UnityのGameObjectの向きをScriptで制御す...
書籍『ROSプログラミング』
動的なメモリの扱い
Google Chromecast
Mitsuba 2：オープンソースの物理ベースレンダラ
Python for Unity：UnityEditorでP...
書籍『ゼロから作るDeep Learning』で自分なりに学...
html5のcanvasの可能性
Raspberry Pi 2のGPIOピン配置
Composition Rendering：Blenderに...
コメント