セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
UnrealCLR:Unreal Engineで.NET C...
Seleniumを使ったFXや株の自動取引
uvでWindows11のPython環境を管理する
hloc:SuperGlueで精度を向上させたSfM・Vis...
書籍『OpenCV 3 プログラミングブック』を購入
第1回 3D勉強会@関東『SLAMチュートリアル大会』
AndroidもopenGLも初心者さ (でもJavaは知っ...
adskShaderSDK
スクレイピング
Python.NET:Pythonと.NETを連携させるパッ...
このブログのデザインに飽きてきた
MythTV:Linuxでテレビの視聴・録画ができるオープン...
BlenderでPhotogrammetryできるアドオン
WordPress on Windows Azure
PGGAN:段階的に解像度を上げて学習を進めるGAN
オープンソースの顔認識フレームワーク『OpenBR』
R-CNN (Regions with CNN featur...
UnityのGameObjectの向きをScriptで制御す...
OpenAR:OpenCVベースのマーカーARライブラリ
Google Chromecast
MPFB2:Blenderの人体モデリングアドオン
OpenVDB:3Dボリュームデータ処理ライブラリ
OpenCV 3.1から追加されたSfMモジュール
OpenGVの用語
geometry3Sharp:Unity C#で使えるポリゴ...
UnityのAR FoundationでARKit 3
OpenCV 3.3.0-RCでsfmモジュールをビルド
SVM (Support Vector Machine)
libigl:軽量なジオメトリ処理ライブラリ
ブログのデザイン変えました
Unreal Engineの薄い本
ROSでガンダムを動かす
PyDataTokyo主催のDeep Learning勉強会
MB-Lab:Blenderの人体モデリングアドオン
Unity MonoBehaviourクラスのオーバーライド...
Raspberry Pi 2のGPIOピン配置
UnityでOpenCVを使うには?
Mitsuba 3:オープンソースの研究向けレンダラ
Swark:コードからアーキテクチャ図を作成できるVSCod...
iPhone x ロボットハッカソン~RomoのiPhone...
BlenderProc:Blenderで機械学習用の画像デー...
Windows10でPyTorchをインストールしてVSCo...

コメント