セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
GAN (Generative Adversarial Ne...
Open3D：3Dデータ処理ライブラリ
Blendify：コンピュータービジョン向けBlenderラ...
オープンソースの人体モデリングツール『MakeHuman』の...
AfterEffectsプラグイン開発
UnityからROSを利用できる『ROS#』
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
Unityで強化学習できる『Unity ML-Agents』
HD画質の無駄遣い
FCN (Fully Convolutional Netwo...
3Dグラフィックスの入門書
第2回Webスクレイピング勉強会の資料
OpenFace：Deep Neural Networkによ...
viser：Pythonで使える3D可視化ライブラリ
OpenCVのfindEssentialMat関数を使ったサ...
書籍『仕事ではじめる機械学習』を読みました
SDカードサイズのコンピューター『Intel Edison』
ArUco：OpenCVベースのコンパクトなARライブラリ
html5のcanvasの可能性
Cartographer：オープンソースのSLAMライブラリ
Math.NET Numerics：Unityで使える数値計...
UnityでTweenアニメーションを実装できる3種類の無料...
WordPressの表示を高速化する
uvでWindows11のPython環境を管理する
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
MVStudio：オープンソースのPhotogrammetr...
BlenderのPython環境にPyTorchをインストー...
プログラミングスキルとは何か？
Raspberry PiのGPIOを操作するPythonライ...
組み込み向けのWindows OS 『Windows Emb...
PyTorch3D：3Dコンピュータービジョンライブラリ
Mayaのプラグイン開発
ZScript
ニューラルネットワークで画像分類
Google App EngineでWordPress
ZBrushのZScript入門
OpenCVでPhotoshopのプラグイン開発
NeuralNetwork.NET：.NETで使えるTens...
Runway ML：クリエイターのための機械学習ツール
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Google XML Sitemap Generatorプラ...
python-twitterで自分のお気に入りを取得する
コメント