セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
スポンサーリンク
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
スポンサーリンク
関連記事
html5のcanvasの可能性
Javaで作られたオープンソースの3DCGレンダラ『Sunflow』
OpenCV バージョン4がリリースされた！
Raspberry PiでIoTごっこ
UnityのMonoBehaviourクラスをシングルトン化する
Pythonのソースコードに特化した検索エンジン『Nullege』
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
HerokuでMEAN stack
ニューラルネットワークの構造を可視化するフレームワーク『TensorSpace.js』
PythonでMayaのShapeノードプラグインを作る
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
第2回Webスクレイピング勉強会の資料
iPhone x ロボットハッカソン～RomoのiPhone用SDKで目覚ましアプリを作る～
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
動的なメモリの扱い
書籍『仕事ではじめる機械学習』を読みました
PythonのHTML・XMLパーサー『BeautifulSoup』
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
科学技術計算向けスクリプト言語『Julia』
Unity Scriptコーディング→Unreal Engine Scriptコーディング
C#で使える機械学習ライブラリ『Accord.NET Framework』
画像中の人物表面のUV座標を推定する『DensePose』
タマムシっぽい質感
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
OpenCV 3.1から追加されたSfMモジュール
UnityプロジェクトをGitHubで管理する
ディープラーニングに対応したPythonの機械学習ライブラリ『Pylearn2』
Mask R-CNN：ディープラーニングによる一般物体検出・Instance Segmentatio...
UnityでOpenCVを使うには？
オープンソースのSfM・MVSツール『COLMAP』
konashiのサンプルコードを動かしてみた
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
Twitter APIのPythonラッパー『python-twitter』
Python2とPython3
ディープラーニング
まだ続くブログの不調
SDカードサイズのコンピューター『Intel Edison』
iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』
WordPressプラグインによるサイトマップの自動生成
Python拡張モジュールのWindows用インストーラー配布サイト
フォトンの放射から格納までを可視化した動画
コメント