セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry Pi 2のGPIOピン配置
Seleniumを使ったFXや株の自動取引
Swark：コードからアーキテクチャ図を作成できるVSCod...
OpenCVで動画の手ぶれ補正
Human Generator：Blenderの人体生成アド...
Unityで学ぶC#
第2回Webスクレイピング勉強会の資料
スクレイピング
書籍『仕事ではじめる機械学習』を読みました
OpenCV バージョン4がリリースされた！
KelpNet：C#で使える可読性重視のディープラーニングラ...
Unity ARKitプラグインサンプルのチュートリアルを読...
MB-Lab：Blenderの人体モデリングアドオン
SONY製のニューラルネットワークライブラリ『NNabla』
Blender 2.8がついに正式リリース！
Amazon Web ServicesでWordPress
UnityでARKit2.0
adskShaderSDK
ブラウザ操作自動化ツール『Selenium』を試す
Unityの薄い本
OpenCVの超解像(SuperResolution)モジュ...
動的なメモリの扱い
Webスクレイピングの勉強会に行ってきた
hloc：SuperGlueで精度を向上させたSfM・Vis...
Boost オープンソースライブラリ
R-CNN (Regions with CNN featur...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Web経由でRaspberry PiのGPIOを操作したい
このブログのデザインに飽きてきた
BlenderでPhotogrammetryできるアドオン
Verilog HDL
頭蓋骨からの顔復元と進化過程の可視化
VCG Library：C++のポリゴン操作ライブラリ
OpenMesh：オープンソースの３Dメッシュデータライブラ...
JavaScriptとかWebGLとかCanvasとか
HerokuでMEAN stack
TorchStudio：PyTorchのための統合開発環境と...
Runway ML：クリエイターのための機械学習ツール
Webサイトのワイヤーフレームが作成できるオンラインツール
Unityからkonashiをコントロールする
Model View Controller
網元AMIで作ったWordpressサイトのインスタンスをt...
コメント