Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。


スポンサーリンク

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。


スポンサーリンク

関連記事

Manim:Pythonで使える数学アニメーションライブラリ
Unityで強化学習できる『Unity ML-Agents』
SVM (Support Vector Machine)
OpenCVの三角測量関数『cv::triangulatepoints』
Kaolin:3Dディープラーニング用のPyTorchライブラリ
python-twitterで自分のお気に入りを取得する
Cartographer:オープンソースのSLAMライブラリ
pythonもかじってみようかと
OpenCV3.3.0でsfmモジュールのビルドに成功!
Multi-View Environment:複数画像から3次元形状を再構築するライブラリ
WordPress on Windows Azure
UnityプロジェクトをGitHubで管理する
KelpNet:C#で使える可読性重視のディープラーニングライブラリ
pythonの機械学習ライブラリ『scikit-learn』
Google Colaboratoryで遊ぶ準備
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
Python for Unity:UnityEditorでPythonを使えるパッケージ
OpenCV バージョン4がリリースされた!
AmazonEC2のインスタンスをt1.microからt2.microへ移行する
PythonでBlenderのAdd-on開発
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
科学技術計算向けスクリプト言語『Julia』
Unity Scriptコーディング→Unreal Engine Scriptコーディング
PyTorch3D:3Dコンピュータービジョンライブラリ
OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク
仮想関数
FCN (Fully Convolutional Network):ディープラーニングによるSema...
UnityでOpenCVを使うには?
ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
OpenCV 3.1から追加されたSfMモジュール
iPhoneアプリ開発 Xcode 5のお作法
Kubric:機械学習用アノテーション付き動画生成パイプライン
iOSデバイスと接続して連携するガジェットの開発方法
スクレイピング
Mayaのプラグイン開発
株式会社ヘキサドライブの研究室ページ
Webサイトのワイヤーフレームが作成できるオンラインツール
WinSCP
OpenCV
このブログのデザインに飽きてきた
Verilog HDL

コメント