セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
UnrealCLR：Unreal Engineで.NET C...
Seleniumを使ったFXや株の自動取引
uvでWindows11のPython環境を管理する
hloc：SuperGlueで精度を向上させたSfM・Vis...
書籍『OpenCV 3 プログラミングブック』を購入
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
AndroidもopenGLも初心者さ (でもJavaは知っ...
adskShaderSDK
スクレイピング
Python.NET：Pythonと.NETを連携させるパッ...
このブログのデザインに飽きてきた
MythTV：Linuxでテレビの視聴・録画ができるオープン...
BlenderでPhotogrammetryできるアドオン
WordPress on Windows Azure
PGGAN：段階的に解像度を上げて学習を進めるGAN
オープンソースの顔認識フレームワーク『OpenBR』
R-CNN (Regions with CNN featur...
UnityのGameObjectの向きをScriptで制御す...
OpenAR：OpenCVベースのマーカーARライブラリ
Google Chromecast
MPFB2：Blenderの人体モデリングアドオン
OpenVDB：3Dボリュームデータ処理ライブラリ
OpenCV 3.1から追加されたSfMモジュール
OpenGVの用語
geometry3Sharp：Unity C#で使えるポリゴ...
UnityのAR FoundationでARKit 3
OpenCV 3.3.0-RCでsfmモジュールをビルド
SVM (Support Vector Machine)
libigl：軽量なジオメトリ処理ライブラリ
ブログのデザイン変えました
Unreal Engineの薄い本
ROSでガンダムを動かす
PyDataTokyo主催のDeep Learning勉強会
MB-Lab：Blenderの人体モデリングアドオン
Unity MonoBehaviourクラスのオーバーライド...
Raspberry Pi 2のGPIOピン配置
UnityでOpenCVを使うには？
Mitsuba 3：オープンソースの研究向けレンダラ
Swark：コードからアーキテクチャ図を作成できるVSCod...
iPhone x ロボットハッカソン～RomoのiPhone...
BlenderProc：Blenderで機械学習用の画像デー...
Windows10でPyTorchをインストールしてVSCo...
コメント