セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
ROSの薄い本
GAN (Generative Adversarial Ne...
HD画質の無駄遣い
Structure from Motion (多視点画像から...
OpenCVのバージョン3が正式リリースされたぞ
続・ディープラーニングの資料
まだ続くブログの不調
COLMAP：オープンソースのSfM・MVSツール
ZBrushのZScript入門
WordPress on Windows Azure
Unity MonoBehaviourクラスのオーバーライド...
TensorSpace.js：ニューラルネットワークの構造を...
Deep Fluids：流体シミュレーションをディープラーニ...
Alice Vision：オープンソースのPhotogram...
CycleGAN：ドメイン関係を学習した画像変換
Point Cloud Utils：Pythonで3D点群・...
タマムシっぽい質感
スクラッチで既存のキャラクターを立体化したい
書籍『ROSプログラミング』
UnrealCLR：Unreal Engineで.NET C...
UnityのTransformクラスについて調べてみた
UnityプロジェクトをGitHubで管理する
OpenSfM：PythonのStructure from ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
Raspberry Pi 2のGPIOピン配置
C++ 標準テンプレートライブラリ (STL)
ブログのデザイン変えました
AnacondaとTensorFlowをインストールしてVi...
株式会社ヘキサドライブの研究室ページ
TorchStudio：PyTorchのための統合開発環境と...
BlenderのPython環境にPyTorchをインストー...
Unityで学ぶC#
手を動かしながら学ぶデータマイニング
UnityのGameObjectの向きをScriptで制御す...
Unityからkonashiをコントロールする
iOSデバイスのためのフィジカル・コンピューティングツールキ...
OpenCV 3.1のsfmモジュールのビルド再び
PGGAN：段階的に解像度を上げて学習を進めるGAN
ドットインストールのWordPress入門レッスン
DCGAN (Deep Convolutional GAN)...
WordPressプラグインの作り方
Accord.NET Framework：C#で使える機械学...
コメント