セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Mask R-CNN：ディープラーニングによる一般物体検出・...
Raspberry PiでIoTごっこ
Runway ML：クリエイターのための機械学習ツール
FreeMoCap Project：オープンソースのマーカー...
Mitsuba 3：オープンソースの研究向けレンダラ
オープンソースの顔認識フレームワーク『OpenBR』
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
UnityのTransformクラスについて調べてみた
Unityの薄い本
UnityのMonoBehaviourクラスをシングルトン化...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
OpenCVでカメラ画像から自己位置認識 (Visual O...
Kaolin：3Dディープラーニング用のPyTorchライブ...
Mayaのプラグイン開発
Mean Stack開発の最初の一歩
OpenMVS：Multi-View Stereoによる3次...
TeleSculptor：空撮動画からPhotogramme...
WordPressプラグインの作り方
konashiのサンプルコードを動かしてみた
ROMOハッカソンに行ってきた
OpenCV3.3.0でsfmモジュールのビルドに成功！
ManimML：機械学習の概念を視覚的に説明するためのライブ...
Windows10でPyTorchをインストールしてVSCo...
ディープラーニング
タマムシっぽい質感
OpenCVで顔のランドマークを検出する『Facemark ...
Webスクレイピングの勉強会に行ってきた
FCN (Fully Convolutional Netwo...
IronPythonを使ってUnity上でPythonのコー...
Theia：オープンソースのStructure from M...
OpenCVの超解像(SuperResolution)モジュ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
OpenCV バージョン4がリリースされた！
PythonでMayaのShapeノードプラグインを作る
3Dグラフィックスの入門書
trimesh：PythonでポリゴンMeshを扱うライブラ...
Google App Engine上のWordPressでA...
動的なメモリの扱い
UnityからROSを利用できる『ROS#』
ArUco：OpenCVベースのコンパクトなARライブラリ
OpenGVの用語
コメント