セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
VCG Library：C++のポリゴン操作ライブラリ
DensePose：画像中の人物表面のUV座標を推定する
PythonでBlenderのAdd-on開発
OpenAR：OpenCVベースのマーカーARライブラリ
書籍『ROSプログラミング』
Blender 2.8がついに正式リリース！
Boost オープンソースライブラリ
UnityでTweenアニメーションを実装できる3種類の無料...
OpenMVS：Multi-View Stereoによる3次...
ブログのデザイン変えました
ManuelBastioniLAB：人体モデリングできるBl...
OpenCV バージョン4がリリースされた！
GAN (Generative Adversarial Ne...
Runway ML：クリエイターのための機械学習ツール
C++始めようと思うんだ
科学技術計算向けスクリプト言語『Julia』
続・ディープラーニングの資料
WordPressプラグインによるサイトマップの自動生成
TensorFlowでCGを微分できる『TensorFlow...
Open3D：3Dデータ処理ライブラリ
HerokuでMEAN stack
機械学習で遊ぶ
UnityでOpenCVを使うには？
CGレンダラ研究開発のためのフレームワーク『Lightmet...
WordPress on Google App Engine...
Deep Fluids：流体シミュレーションをディープラーニ...
OpenCVのfindEssentialMat関数を使ったサ...
IronPythonを使ってUnity上でPythonのコー...
書籍『ゼロから作るDeep Learning』で自分なりに学...
TensorSpace.js：ニューラルネットワークの構造を...
Kornia：微分可能なコンピュータービジョンライブラリ
pythonもかじってみようかと
Mean Stack開発の最初の一歩
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Webサイトのワイヤーフレームが作成できるオンラインツール
オープンソースの人体モデリングツール『MakeHuman』の...
TorchStudio：PyTorchのための統合開発環境と...
ZBrushのZScript入門
LuxCoreRender：オープンソースの物理ベースレンダ...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
Unity ARKitプラグインサンプルのチュートリアルを読...
Structure from Motion (多視点画像から...
コメント