セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Kornia：微分可能なコンピュータービジョンライブラリ
Runway ML：クリエイターのための機械学習ツール
WordPressのサーバ引っ越し方法を考える
Boost オープンソースライブラリ
PythonのHTML・XMLパーサー『BeautifulS...
OpenMVSのサンプルを動かしてみる
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
OpenCVの三角測量関数『cv::triangulatep...
Blendify：コンピュータービジョン向けBlenderラ...
仮想関数
2D→3D復元技術で使われる用語まとめ
Gource：バージョン管理の履歴を可視化するツール
ROSの薄い本
Raspberry PiでIoTごっこ
機械学習に役立つPythonライブラリ一覧
OpenMesh：オープンソースの３Dメッシュデータライブラ...
TensorFlowでCGを微分できる『TensorFlow...
Human Generator：Blenderの人体生成アド...
オープンソースの人体モデリングツール『MakeHuman』の...
Open3D：3Dデータ処理ライブラリ
AfterEffectsプラグイン開発
iOSデバイスと接続して連携するガジェットの開発方法
株式会社ヘキサドライブの研究室ページ
PGGAN：段階的に解像度を上げて学習を進めるGAN
ブラウザ操作自動化ツール『Selenium』を試す
Accord.NET Framework：C#で使える機械学...
pythonもかじってみようかと
動的なメモリの扱い
bpy-renderer：レンダリング用Pythonパッケー...
UnityのTransformクラスについて調べてみた
COLMAP：オープンソースのSfM・MVSツール
第2回Webスクレイピング勉強会の資料
ZScript
3D復元技術の情報リンク集
Unity ARKitプラグインサンプルのドキュメントを読む
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Mean Stack開発の最初の一歩
DensePose：画像中の人物表面のUV座標を推定する
Python2とPython3
UnrealCLR：Unreal Engineで.NET C...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
Super Resolution：OpenCVの超解像処理モ...
コメント