セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
手を動かしながら学ぶデータマイニング
iPhone・iPod touchで動作する知育ロボット『R...
まだ続くブログの不調
OpenCVで動画の手ぶれ補正
PythonでBlenderのAdd-on開発
Rerun：マルチモーダルデータの可視化アプリとSDK
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
BlenderのPython環境にPyTorchをインストー...
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
cvui：OpenCVのための軽量GUIライブラリ
OpenCVの三角測量関数『cv::triangulatep...
hloc：SuperGlueで精度を向上させたSfM・Vis...
Unity Scriptコーディング→Unreal Engi...
定数
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
AnacondaとTensorFlowをインストールしてVi...
IronPythonを使ってUnity上でPythonのコー...
iOSデバイスのためのフィジカル・コンピューティングツールキ...
Alice Vision：オープンソースのPhotogram...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
CycleGAN：ドメイン関係を学習した画像変換
AndroidもopenGLも初心者さ (でもJavaは知っ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
オープンソースのロボットアプリケーションフレームワーク『RO...
pythonの機械学習ライブラリ『scikit-learn』
ブログをGoogle App EngineからAmazon ...
Google App Engine上のWordPressでA...
pythonもかじってみようかと
Model View Controller
OpenFace：Deep Neural Networkによ...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
WinSCP
Windows10でPyTorchをインストールしてVSCo...
Raspberry PiのGPIOを操作するPythonライ...
iOSデバイスと接続して連携するガジェットの開発方法
Geogram：C++の3D幾何アルゴリズムライブラリ
Faster R-CNN：ディープラーニングによる一般物体検...
法線マップを用意してCanvas上でShadingするサンプ...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
adskShaderSDK
OpenCVのバージョン3が正式リリースされたぞ
Swark：コードからアーキテクチャ図を作成できるVSCod...
コメント