セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenSfM：PythonのStructure from ...
ROSの薄い本
Geogram：C++の3D幾何アルゴリズムライブラリ
Seleniumを使ったFXや株の自動取引
BGSLibrary：OpenCVベースの背景差分ライブラリ
geometry3Sharp：Unity C#で使えるポリゴ...
HerokuでMEAN stack
Blendify：コンピュータービジョン向けBlenderラ...
pythonもかじってみようかと
Mitsuba 2：オープンソースの物理ベースレンダラ
UnityでLight Shaftを表現する
機械学習で遊ぶ
ManuelBastioniLAB：人体モデリングできるBl...
OpenFace：Deep Neural Networkによ...
iPhone・iPod touchで動作する知育ロボット『R...
Pythonのソースコードに特化した検索エンジン『Nulle...
UnrealCLR：Unreal Engineで.NET C...
Swark：コードからアーキテクチャ図を作成できるVSCod...
Mask R-CNN：ディープラーニングによる一般物体検出・...
OpenCV3.3.0でsfmモジュールのビルドに成功！
OpenCVで動画の手ぶれ補正
FCN (Fully Convolutional Netwo...
AfterEffectsプラグイン開発
書籍『仕事ではじめる機械学習』を読みました
為替レートの読み方 2WAYプライス表示
ブラウザ操作自動化ツール『Selenium』を試す
クラスの基本
TeleSculptor：空撮動画からPhotogramme...
Composition Rendering：Blenderに...
Unity Scriptコーディング→Unreal Engi...
Twitter APIのPythonラッパー『python-...
AmazonEC2のインスタンスをt1.microからt2....
Point Cloud Utils：Pythonで3D点群・...
PyDataTokyo主催のDeep Learning勉強会
Open3D：3Dデータ処理ライブラリ
uvでWindows11のPython環境を管理する
OpenCV 3.1とopencv_contribモジュール...
Theia：オープンソースのStructure from M...
C++始めようと思うんだ
Faster R-CNN：ディープラーニングによる一般物体検...
Unityからkonashiをコントロールする
組み込み向けのWindows OS 『Windows Emb...
コメント