セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
スポンサーリンク
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
スポンサーリンク
関連記事
書籍『仕事ではじめる機械学習』を読みました
Unityの薄い本
為替レートの読み方 2WAYプライス表示
書籍『OpenCV 3 プログラミングブック』を購入
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
SONY製のニューラルネットワークライブラリ『NNabla』
Verilog HDL
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
今年もSSII
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
オープンソースの物理ベースGIレンダラ『appleseed』
UnityでOpenCVを使うには？
Kaolin：3Dディープラーニング用のPyTorchライブラリ
openMVG：複数視点画像から3次元形状を復元するライブラリ
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
3Dボリュームデータ処理ライブラリ『OpenVDB』
インタラクティブにComputer Visionコーディングができるツール『Live CV』
OpenCVのための軽量GUIライブラリ『cvui』
WordPressプラグインの作り方
Web経由でRaspberry PiのGPIOを操作したい
iOSデバイスと接続して連携するガジェットの開発方法
OpenGVのライブラリ構成
Unityからkonashiをコントロールする
IronPythonを使ってUnity上でPythonのコードを実行する
プログラミングスキルとは何か？
機械学習手法『Random Forest』
ブログのデザイン変えました
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
プログラムによる景観の自動生成
第2回Webスクレイピング勉強会の資料
UnityのGameObjectの向きをScriptで制御する
UnityからROSを利用できる『ROS#』
R-CNN (Regions with CNN features)：ディープラーニングによる一般物体...
UnityでShaderの入力パラメータとして行列を渡す
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
Mean Stack開発の最初の一歩
OpenMesh：オープンソースの３Dメッシュデータライブラリ
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
組み込み向けのWindows OS 『Windows Embedded』
SONYの自律型エンタテインメントロボット『aibo』
OpenCVで顔のランドマークを検出する『Facemark API』
Mitsuba 2：オープンソースの物理ベースレンダラ
コメント