セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
AndroidもopenGLも初心者さ (でもJavaは知っ...
NumSharp:C#で使えるNumPyライクな数値計算ライ...
第2回Webスクレイピング勉強会の資料
サンプルコードにも間違いはある?
機械学習に役立つPythonライブラリ一覧
OpenCVで平均顔を作るチュートリアル
BlenderでPhotogrammetryできるアドオン
TeleSculptor:空撮動画からPhotogramme...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
ROSの薄い本
PGGAN:段階的に解像度を上げて学習を進めるGAN
R-CNN (Regions with CNN featur...
Google App Engineのデプロイ失敗
チャットツール用bot開発フレームワーク『Hubot』
ニューラルネットワークで画像分類
OpenCVで顔のランドマークを検出する『Facemark ...
ブログのデザイン変えました
Unityの薄い本
COLMAP:オープンソースのSfM・MVSツール
組み込み向けのWindows OS 『Windows Emb...
Google製オープンソース機械学習ライブラリ『Tensor...
uvでWindows11のPython環境を管理する
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
ブログが1日ダウンしてました
Mayaのプラグイン開発
第1回 3D勉強会@関東『SLAMチュートリアル大会』
libigl:軽量なジオメトリ処理ライブラリ
Math Inspector:科学計算向けビジュアルプログラ...
Python拡張モジュールのWindows用インストーラー配...
Accord.NET Framework:C#で使える機械学...
Mitsuba 2:オープンソースの物理ベースレンダラ
Google XML Sitemap Generatorプラ...
UnityのGameObjectの向きをScriptで制御す...
DensePose:画像中の人物表面のUV座標を推定する
BlenderProc:Blenderで機械学習用の画像デー...
OpenFace:Deep Neural Networkによ...
ManuelBastioniLAB:人体モデリングできるBl...
ROMOハッカソンに行ってきた
pythonもかじってみようかと
WordPressのサーバ引っ越し方法を考える
Structure from Motion (多視点画像から...
ZScript

コメント