セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
AndroidもopenGLも初心者さ (でもJavaは知っ...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
第2回Webスクレイピング勉強会の資料
サンプルコードにも間違いはある？
機械学習に役立つPythonライブラリ一覧
OpenCVで平均顔を作るチュートリアル
BlenderでPhotogrammetryできるアドオン
TeleSculptor：空撮動画からPhotogramme...
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
ROSの薄い本
PGGAN：段階的に解像度を上げて学習を進めるGAN
R-CNN (Regions with CNN featur...
Google App Engineのデプロイ失敗
チャットツール用bot開発フレームワーク『Hubot』
ニューラルネットワークで画像分類
OpenCVで顔のランドマークを検出する『Facemark ...
ブログのデザイン変えました
Unityの薄い本
COLMAP：オープンソースのSfM・MVSツール
組み込み向けのWindows OS 『Windows Emb...
Google製オープンソース機械学習ライブラリ『Tensor...
uvでWindows11のPython環境を管理する
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
ブログが1日ダウンしてました
Mayaのプラグイン開発
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
libigl：軽量なジオメトリ処理ライブラリ
Math Inspector：科学計算向けビジュアルプログラ...
Python拡張モジュールのWindows用インストーラー配...
Accord.NET Framework：C#で使える機械学...
Mitsuba 2：オープンソースの物理ベースレンダラ
Google XML Sitemap Generatorプラ...
UnityのGameObjectの向きをScriptで制御す...
DensePose：画像中の人物表面のUV座標を推定する
BlenderProc：Blenderで機械学習用の画像デー...
OpenFace：Deep Neural Networkによ...
ManuelBastioniLAB：人体モデリングできるBl...
ROMOハッカソンに行ってきた
pythonもかじってみようかと
WordPressのサーバ引っ越し方法を考える
Structure from Motion (多視点画像から...
ZScript
コメント