セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
hloc：SuperGlueで精度を向上させたSfM・Vis...
OpenCVで平均顔を作るチュートリアル
Dlib：C++の機械学習ライブラリ
フォトンの放射から格納までを可視化した動画
OpenCVで動画の手ぶれ補正
openMVGをWindows10 Visual Studi...
Unityの薄い本
OpenMesh：オープンソースの３Dメッシュデータライブラ...
ROMOハッカソンに行ってきた
Mitsuba 3：オープンソースの研究向けレンダラ
LuxCoreRender：オープンソースの物理ベースレンダ...
TorchStudio：PyTorchのための統合開発環境と...
UnrealCLR：Unreal Engineで.NET C...
Twitter APIのPythonラッパー『python-...
C++始めようと思うんだ
Point Cloud Utils：Pythonで3D点群・...
UnityからROSを利用できる『ROS#』
SONYの自律型エンタテインメントロボット『aibo』
Mitsuba 2：オープンソースの物理ベースレンダラ
iPhoneアプリ開発 Xcode 5のお作法
HerokuでMEAN stack
NumSharp：C#で使えるNumPyライクな数値計算ライ...
adskShaderSDK
PGGAN：段階的に解像度を上げて学習を進めるGAN
Webサイトのワイヤーフレームが作成できるオンラインツール
RSSフィードを読込んで表示するWordpressプラグイン...
機械学習に役立つPythonライブラリ一覧
Open3D：3Dデータ処理ライブラリ
Quartus II
OpenCV3.3.0でsfmモジュールのビルドに成功！
書籍『OpenCV 3 プログラミングブック』を購入
WordPressのテーマを自作する
オープンソースの顔の動作解析ツールキット『OpenFace』
UnityのTransformクラスについて調べてみた
Unityで強化学習できる『Unity ML-Agents』
WordPressプラグインの作り方
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
UnityのMonoBehaviourクラスをシングルトン化...
OpenCVでPhotoshopのプラグイン開発
Deep Fluids：流体シミュレーションをディープラーニ...
AndroidもopenGLも初心者さ (でもJavaは知っ...
スクラッチで既存のキャラクターを立体化したい
コメント