セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
スポンサーリンク
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
スポンサーリンク
関連記事
C#で使える可読性重視のディープラーニングライブラリ『KelpNet』
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
IronPythonを使ってUnity上でPythonのコードを実行する
OpenCVでPhotoshopのプラグイン開発
BlenderのPython環境にPyTorchをインストールする
OpenCVの超解像(SuperResolution)モジュールを試す
C++ 標準テンプレートライブラリ (STL)
今年もSSII
DCGAN (Deep Convolutional GAN)：畳み込みニューラルネットワークによる敵...
Unreal Engineの薄い本
Seleniumを使ったFXや株の自動取引
Google App Engine上のWordPressでAmazonJSを利用する
Unityの薄い本
iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』
BlenderでPhotogrammetryできるアドオン
OpenCVで顔のモーフィングを実装する
株式会社ヘキサドライブの研究室ページ
OpenCVでiPhone6sのカメラをキャリブレーションする
3Dグラフィックスの入門書
OpenCVで動画の手振れ補正
続・ディープラーニングの資料
Google App Engine上のWordPressでFlickrの画像を貼る
Web経由でRaspberry PiのGPIOを操作したい
オープンソースの汎用レンダラ『Mitsuba 2』
チャットツール用bot開発フレームワーク『Hubot』
Webサイトのワイヤーフレームが作成できるオンラインツール
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
MythTV：Linuxでテレビの視聴・録画ができるオープンソースプロジェクト
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
ディープラーニングに対応したPythonの機械学習ライブラリ『Pylearn2』
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
Russian3DScannerのトポロジー転送ツール『WrapX』
Konashiを買った
Unityの各コンポーネント間でのやり取り
PyDataTokyo主催のDeep Learning勉強会
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
Structure from Motion (多視点画像からの3次元形状復元)
Blender 2.8がついに正式リリース！
ROMOハッカソンに行ってきた
スクラッチで既存のキャラクターを立体化したい
OpenCVの超解像処理モジュール『Super Resolution』
コメント