セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
iPhone x ロボットハッカソン～RomoのiPhone...
pythonの機械学習ライブラリ『scikit-learn』
フォトンの放射から格納までを可視化した動画
Pythonのソースコードに特化した検索エンジン『Nulle...
Super Resolution：OpenCVの超解像処理モ...
LuxCoreRender：オープンソースの物理ベースレンダ...
OpenCV 3.1とopencv_contribモジュール...
C++始めようと思うんだ
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
書籍『ROSプログラミング』
iOSデバイスと接続して連携するガジェットの開発方法
Runway ML：クリエイターのための機械学習ツール
Mayaのプラグイン開発
ROMOハッカソンに行ってきた
Open3D：3Dデータ処理ライブラリ
OpenCVで平均顔を作るチュートリアル
OpenCVでiPhone6sのカメラをキャリブレーションす...
python-twitterで自分のお気に入りを取得する
Raspberry PiでIoTごっこ
Google App Engine上のWordPressでA...
UnityでOpenCVを使うには？
Python拡張モジュールのWindows用インストーラー配...
サンプルコードにも間違いはある？
Managing Software Requirements...
Google App EngineでWordPress
pythonもかじってみようかと
スクレイピング
HD画質の無駄遣い
ニューラルネットワークで画像分類
Konashiを買った
WebGL開発に関する情報が充実してきている
OpenCVの超解像(SuperResolution)モジュ...
科学技術計算向けスクリプト言語『Julia』
3分の動画でプログラミングを学習できるサイト『ドットインスト...
OpenMVS：Multi-View Stereoによる3次...
Python for Unity：UnityEditorでP...
OpenCV3.3.0でsfmモジュールのビルドに成功！
SONY製のニューラルネットワークライブラリ『NNabla』
ManimML：機械学習の概念を視覚的に説明するためのライブ...
BlenderProc：Blenderで機械学習用の画像デー...
Google XML Sitemap Generatorプラ...
Russian3DScannerのトポロジー転送ツール『Wr...
コメント