セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
NeuralNetwork.NET：.NETで使えるTens...
Unity ARKitプラグインサンプルのドキュメントを読む
ドットインストールのWordPress入門レッスン
Webサイトのワイヤーフレームが作成できるオンラインツール
Quartus II
bpy-renderer：レンダリング用Pythonパッケー...
C++ 標準テンプレートライブラリ (STL)
書籍『OpenCV 3 プログラミングブック』を購入
WordPress on Windows Azure
ブラウザ操作自動化ツール『Selenium』を試す
UnrealCLR：Unreal Engineで.NET C...
ManuelBastioniLAB：人体モデリングできるBl...
html5のcanvasの可能性
書籍『ROSプログラミング』
Swark：コードからアーキテクチャ図を作成できるVSCod...
WordPressプラグインの作り方
ディープラーニング
頭蓋骨からの顔復元と進化過程の可視化
Google App Engine上のWordPressでA...
geometry3Sharp：Unity C#で使えるポリゴ...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Alice Vision：オープンソースのPhotogram...
Geogram：C++の3D幾何アルゴリズムライブラリ
Python拡張モジュールのWindows用インストーラー配...
Super Resolution：OpenCVの超解像処理モ...
Unityで強化学習できる『Unity ML-Agents』
Blender 2.8がついに正式リリース！
Dlib：C++の機械学習ライブラリ
Mask R-CNN：ディープラーニングによる一般物体検出・...
BGSLibrary：OpenCVベースの背景差分ライブラリ
TorchStudio：PyTorchのための統合開発環境と...
スクレイピング
GoB：ZBrushとBlenderを連携させるアドオン
OpenCVの顔検出過程を可視化した動画
Kornia：微分可能なコンピュータービジョンライブラリ
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
iPhone x ロボットハッカソン～RomoのiPhone...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
iPhoneアプリ開発 Xcode 5のお作法
OpenCV 3.1とopencv_contribモジュール...
LuxCoreRender：オープンソースの物理ベースレンダ...
Unityで学ぶC#
コメント