セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
trimesh：PythonでポリゴンMeshを扱うライブラ...
Raspberry PiでIoTごっこ
OpenSfM：PythonのStructure from ...
PyTorch3D：3Dコンピュータービジョンライブラリ
OpenCV 3.3.0 contribのsfmモジュールの...
Unreal Engineの薄い本
Unityで強化学習できる『Unity ML-Agents』
書籍『OpenCV 3 プログラミングブック』を購入
Accord.NET Framework：C#で使える機械学...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
GAN (Generative Adversarial Ne...
UnrealCLR：Unreal Engineで.NET C...
続・ディープラーニングの資料
WordPressの表示を高速化する
TorchStudio：PyTorchのための統合開発環境と...
Unityの薄い本
第2回Webスクレイピング勉強会の資料
OpenGVのライブラリ構成
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
PythonでBlenderのAdd-on開発
SVM (Support Vector Machine)
機械学習で遊ぶ
Google Chromecast
MPFB2：Blenderの人体モデリングアドオン
OpenMVS：Multi-View Stereoによる3次...
AnacondaとTensorFlowをインストールしてVi...
OpenCVの三角測量関数『cv::triangulatep...
html5のcanvasの可能性
Amazon Web ServicesでWordPress
pythonの機械学習ライブラリ『scikit-learn』
AndroidもopenGLも初心者さ (でもJavaは知っ...
SONYの自律型エンタテインメントロボット『aibo』
adskShaderSDK
Faster R-CNN：ディープラーニングによる一般物体検...
OpenCVのバージョン3が正式リリースされたぞ
FCN (Fully Convolutional Netwo...
Pylearn2：ディープラーニングに対応したPythonの...
Theia：オープンソースのStructure from M...
BlenderでPhotogrammetryできるアドオン
ブログが1日ダウンしてました
Kaolin：3Dディープラーニング用のPyTorchライブ...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
コメント