セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
FCN (Fully Convolutional Netwo...
ManuelBastioniLAB：人体モデリングできるBl...
Deep Learningとその他の機械学習手法の性能比較
WordPressプラグインによるサイトマップの自動生成
プログラムによる景観の自動生成
Manim：Pythonで使える数学アニメーションライブラリ
PGGAN：段階的に解像度を上げて学習を進めるGAN
Managing Software Requirements...
3D復元技術の情報リンク集
Unity ARKitプラグインサンプルのチュートリアルを読...
WordPressの表示を高速化する
MPFB2：Blenderの人体モデリングアドオン
OpenMVSのサンプルを動かしてみる
Python拡張モジュールのWindows用インストーラー配...
Webサイトのワイヤーフレームが作成できるオンラインツール
Unityからkonashiをコントロールする
iOSで使えるJetpac社の物体認識SDK『DeepBel...
Google Colaboratoryで遊ぶ準備
為替レートの読み方 2WAYプライス表示
頭蓋骨からの顔復元と進化過程の可視化
Composition Rendering：Blenderに...
Point Cloud Utils：Pythonで3D点群・...
Mayaのプラグイン開発
3Dモデルを立体視で確認できるVRアプリを作っている
Model View Controller
OpenCV3.3.0でsfmモジュールのビルドに成功！
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
SVM (Support Vector Machine)
Google App Engine上のWordPressでF...
Windows10でPyTorchをインストールしてVSCo...
Kaolin：3Dディープラーニング用のPyTorchライブ...
UnityでOpenCVを使うには？
Pylearn2：ディープラーニングに対応したPythonの...
Live CV：インタラクティブにComputer Visi...
uvでWindows11のPython環境を管理する
3Dグラフィックスの入門書
書籍『ゼロから作るDeep Learning』で自分なりに学...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
Mitsuba 2：オープンソースの物理ベースレンダラ
DensePose：画像中の人物表面のUV座標を推定する
OpenGVの用語
Google XML Sitemap Generatorプラ...
コメント