セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Unityの各コンポーネント間でのやり取り
DCGAN (Deep Convolutional GAN)...
Webサイトのワイヤーフレームが作成できるオンラインツール
網元AMIで作ったWordpressサイトのインスタンスをt...
Live CV：インタラクティブにComputer Visi...
openMVG：複数視点画像から3次元形状を復元するライブラ...
MB-Lab：Blenderの人体モデリングアドオン
MythTV：Linuxでテレビの視聴・録画ができるオープン...
定数
Unity Scriptコーディング→Unreal Engi...
Google製オープンソース機械学習ライブラリ『Tensor...
Raspberry PiでIoTごっこ
PyTorch3D：3Dコンピュータービジョンライブラリ
Google App EngineでWordPress
Blendify：コンピュータービジョン向けBlenderラ...
Open3D：3Dデータ処理ライブラリ
iPhoneアプリ開発 Xcode 5のお作法
OpenCV3.3.0でsfmモジュールのビルドに成功！
uvでWindows11のPython環境を管理する
C++始めようと思うんだ
OANDAのfxTrade API
viser：Pythonで使える3D可視化ライブラリ
DensePose：画像中の人物表面のUV座標を推定する
Python for Unity：UnityEditorでP...
スクレイピング
OpenCVで顔のランドマークを検出する『Facemark ...
第2回Webスクレイピング勉強会の資料
BlenderでPhotogrammetryできるアドオン
NeuralNetwork.NET：.NETで使えるTens...
WordPressのテーマを自作する
OpenCVで平均顔を作るチュートリアル
Point Cloud Utils：Pythonで3D点群・...
Russian3DScannerのトポロジー転送ツール『Wr...
ROMOハッカソンに行ってきた
3Dグラフィックスの入門書
Google App Engine上のWordPressでA...
libigl：軽量なジオメトリ処理ライブラリ
サンプルコードにも間違いはある？
フォトンの放射から格納までを可視化した動画
Math.NET Numerics：Unityで使える数値計...
PyDataTokyo主催のDeep Learning勉強会
Deep Fluids：流体シミュレーションをディープラーニ...
コメント