セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
スポンサーリンク
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
スポンサーリンク
関連記事
第2回Webスクレイピング勉強会の資料
ブラウザ操作自動化ツール『Selenium』を試す
Google App Engineのデプロイ失敗
Webスクレイピングの勉強会に行ってきた
UnityのMonoBehaviourクラスをシングルトン化する
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
UnityからROSを利用できる『ROS#』
konashiのサンプルコードを動かしてみた
Web経由でRaspberry PiのGPIOを操作したい
Google App Engine上のWordPressでAmazonJSを利用する
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
iPhoneアプリ開発 Xcode 5のお作法
書籍『ROSプログラミング』
BlenderProc：Blenderで機械学習用の画像データを生成するPythonツール
OpenCV バージョン4がリリースされた！
Unityの薄い本
OpenMVSのサンプルを動かしてみる
Unityで強化学習できる『Unity ML-Agents』
GoB：ZBrushとBlenderを連携させるアドオン
オープンソースの顔認識フレームワーク『OpenBR』
Raspberry Piでセンサーの常時稼働を検討する
SONY製のニューラルネットワークライブラリ『NNabla』
ブログが1日ダウンしてました
機械学習手法『SVM(Support Vector Machine)』
COLMAP：オープンソースのSfM・MVSツール
ArUco：OpenCVベースのコンパクトなARライブラリ
C#で使えるNumPyライクな数値計算ライブラリ『NumSharp』
pythonの機械学習ライブラリ『scikit-learn』
3Dグラフィックスの入門書
ニューラルネットワークで画像分類
ブログをGoogle App EngineからAmazon EC2へ移行
複数画像から3次元形状を再構築するライブラリ『Multi-View Environment』
ブログのデザイン変えました
機械学習で遊ぶ
このブログのデザインに飽きてきた
3分の動画でプログラミングを学習できるサイト『ドットインストール』
TeleSculptor：空撮動画からPhotogrammetryするツール
Unityの各コンポーネント間でのやり取り
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
OpenCVの三角測量関数『cv::triangulatepoints』
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
オープンソースのStructure from Motionライブラリ『Theia』
コメント