Mechanizeで要認証Webサイトをスクレイピング

セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。

【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング

これで色んなSNSに散在している情報を統合できないだろうか。

関連記事

BGSLibrary:OpenCVベースの背景差分ライブラリ

ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...

pythonもかじってみようかと

Model View Controller

法線マップを用意してCanvas上でShadingするサンプル

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた

AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う

Pythonのソースコードに特化した検索エンジン『Nullege』

WordPress on Windows Azure

フォトンの放射から格納までを可視化した動画

Point Cloud Utils:Pythonで3D点群・Meshを扱うライブラリ

Mean Stack開発の最初の一歩

iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~

OpenCVで顔のランドマークを検出する『Facemark API』

html5のcanvasの可能性

Raspberry Pi 2のGPIOピン配置

サンプルコードにも間違いはある?

OpenCVの三角測量関数『cv::triangulatepoints』

OpenAR:OpenCVベースのマーカーARライブラリ

TensorFlowでCGを微分できる『TensorFlow Graphics』

COLMAP:オープンソースのSfM・MVSツール

仮想関数

Runway ML:クリエイターのための機械学習ツール

PythonでMayaのShapeノードプラグインを作る

Theia:オープンソースのStructure from Motionライブラリ

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

Manim:Pythonで使える数学アニメーションライブラリ

Super Resolution:OpenCVの超解像処理モジュール

Mitsuba 2:オープンソースの物理ベースレンダラ

Alice Vision:オープンソースのPhotogrammetryフレームワーク

オープンソースの物理ベースGIレンダラ『appleseed』

Unityの薄い本

3分の動画でプログラミングを学習できるサイト『ドットインストール』

プログラムによる景観の自動生成

Webサイトのワイヤーフレームが作成できるオンラインツール

定数

Amazon Web ServicesでWordPress

書籍『ROSプログラミング』

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

コメント