セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
RSSフィードを読込んで表示するWordpressプラグイン...
Polyscope：3Dデータ操作用GUIライブラリ
今年もSSII
OpenCVの顔検出過程を可視化した動画
Mask R-CNN：ディープラーニングによる一般物体検出・...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Managing Software Requirements...
Pythonの自然言語処理ライブラリ『NLTK(Natura...
Math Inspector：科学計算向けビジュアルプログラ...
Raspberry Piでセンサーの常時稼働を検討する
法線マップを用意してCanvas上でShadingするサンプ...
Python.NET：Pythonと.NETを連携させるパッ...
書籍『OpenCV 3 プログラミングブック』を購入
MVStudio：オープンソースのPhotogrammetr...
UnityからROSを利用できる『ROS#』
uvでWindows11のPython環境を管理する
2D→3D復元技術で使われる用語まとめ
3分の動画でプログラミングを学習できるサイト『ドットインスト...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Raspberry Pi 2のGPIOピン配置
LuxCoreRender：オープンソースの物理ベースレンダ...
ManuelBastioniLAB：人体モデリングできるBl...
クラスの基本
OpenCV バージョン4がリリースされた！
Iterator
Pythonのソースコードに特化した検索エンジン『Nulle...
Verilog HDL
Cartographer：オープンソースのSLAMライブラリ
UnityのGameObjectの向きをScriptで制御す...
PyDataTokyo主催のDeep Learning勉強会
OpenCV 3.1のsfmモジュールのビルド再び
Mayaのプラグイン開発
Model View Controller
WordPressプラグインによるサイトマップの自動生成
網元AMIで作ったWordpressサイトのインスタンスをt...
OpenAR：OpenCVベースのマーカーARライブラリ
iOSデバイスと接続して連携するガジェットの開発方法
Kaolin：3Dディープラーニング用のPyTorchライブ...
Structure from Motion (多視点画像から...
VCG Library：C++のポリゴン操作ライブラリ
FreeMoCap Project：オープンソースのマーカー...
コメント