セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
AfterEffectsプラグイン開発
WebGL開発に関する情報が充実してきている
UnityでShaderの入力パラメータとして行列を渡す
OpenCVの顔検出過程を可視化した動画
Google製オープンソース機械学習ライブラリ『Tensor...
Raspberry Pi 2を買いました
Manim：Pythonで使える数学アニメーションライブラリ
Pythonの自然言語処理ライブラリ『NLTK(Natura...
Deep Fluids：流体シミュレーションをディープラーニ...
AndroidもopenGLも初心者さ (でもJavaは知っ...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Seleniumを使ったFXや株の自動取引
OpenMesh：オープンソースの３Dメッシュデータライブラ...
Raspberry Piでセンサーの常時稼働を検討する
Web経由でRaspberry PiのGPIOを操作したい
Windows10でPyTorchをインストールしてVSCo...
Google App EngineでWordPress
viser：Pythonで使える3D可視化ライブラリ
BlenderでPhotogrammetryできるアドオン
pythonもかじってみようかと
OpenCV バージョン4がリリースされた！
PyMC：Pythonのベイズ統計ライブラリ
Gource：バージョン管理の履歴を可視化するツール
trimesh：PythonでポリゴンMeshを扱うライブラ...
株式会社ヘキサドライブの研究室ページ
Quartus II
Swark：コードからアーキテクチャ図を作成できるVSCod...
PyTorch3D：3Dコンピュータービジョンライブラリ
Faster R-CNN：ディープラーニングによる一般物体検...
UnityでTweenアニメーションを実装できる3種類の無料...
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
UnityのAR FoundationでARKit 3
DCGAN (Deep Convolutional GAN)...
COLMAP：オープンソースのSfM・MVSツール
MVStudio：オープンソースのPhotogrammetr...
UnityでOpenCVを使うには？
クラスの基本
Rerun：マルチモーダルデータの可視化アプリとSDK
Kornia：微分可能なコンピュータービジョンライブラリ
AmazonEC2のインスタンスをt1.microからt2....
サンプルコードにも間違いはある？
ROSの薄い本
コメント