セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenGVの用語
組み込み向けのWindows OS 『Windows Emb...
python-twitterで自分のお気に入りを取得する
Kubric：機械学習用アノテーション付き動画生成パイプライ...
IronPythonを使ってUnity上でPythonのコー...
Google App Engine上のWordPressでF...
UnityからROSを利用できる『ROS#』
スクレイピング
Windows10でPyTorchをインストールしてVSCo...
OpenCV 3.1から追加されたSfMモジュール
法線マップを用意してCanvas上でShadingするサンプ...
GoB：ZBrushとBlenderを連携させるアドオン
OpenCVで動画の手ぶれ補正
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Unityで学ぶC#
BlenderでPhotogrammetryできるアドオン
Raspberry Pi 2のGPIOピン配置
C++ 標準テンプレートライブラリ (STL)
FreeMoCap Project：オープンソースのマーカー...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
Alice Vision：オープンソースのPhotogram...
OpenCV3.3.0でsfmモジュールのビルドに成功！
Blendify：コンピュータービジョン向けBlenderラ...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
UnityでARKit2.0
OpenCV 3.1のsfmモジュールを試す
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
OpenMVS：Multi-View Stereoによる3次...
Web経由でRaspberry PiのGPIOを操作したい
UnityでTweenアニメーションを実装できる3種類の無料...
Unityで強化学習できる『Unity ML-Agents』
Faster R-CNN：ディープラーニングによる一般物体検...
OpenVDB：3Dボリュームデータ処理ライブラリ
機械学習手法『Random Forest』
ManuelBastioniLAB：人体モデリングできるBl...
UnityのGameObjectの向きをScriptで制御す...
Super Resolution：OpenCVの超解像処理モ...
Blender 2.8がついに正式リリース！
Amazon Web ServicesでWordPress
RSSフィードを読込んで表示するWordpressプラグイン...
Theia：オープンソースのStructure from M...
コメント