セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Windows10でPyTorchをインストールしてVSCo...
今年もSSII
ManuelBastioniLAB：人体モデリングできるBl...
Pythonの自然言語処理ライブラリ『NLTK(Natura...
OpenVDB：3Dボリュームデータ処理ライブラリ
viser：Pythonで使える3D可視化ライブラリ
AmazonEC2のインスタンスをt1.microからt2....
Raspberry PiのGPIOを操作するPythonライ...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
BlenderでPhotogrammetryできるアドオン
OpenCV 3.3.0 contribのsfmモジュールの...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
Mask R-CNN：ディープラーニングによる一般物体検出・...
マルコフ連鎖モンテカルロ法
Iterator
OANDAのfxTrade API
OpenCV バージョン4がリリースされた！
Managing Software Requirements...
OpenMVS：Multi-View Stereoによる3次...
OpenSfM：PythonのStructure from ...
FreeMoCap Project：オープンソースのマーカー...
ROSでガンダムを動かす
OpenCVの三角測量関数『cv::triangulatep...
Alice Vision：オープンソースのPhotogram...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
PyDataTokyo主催のDeep Learning勉強会
Geogram：C++の3D幾何アルゴリズムライブラリ
MVStudio：オープンソースのPhotogrammetr...
Open3D：3Dデータ処理ライブラリ
Raspberry Piでセンサーの常時稼働を検討する
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
AnacondaとTensorFlowをインストールしてVi...
Unreal Engineの薄い本
SDカードサイズのコンピューター『Intel Edison』
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
PyMC：Pythonのベイズ統計ライブラリ
Python2とPython3
UnityのGameObjectの向きをScriptで制御す...
法線マップを用意してCanvas上でShadingするサンプ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Structure from Motion (多視点画像から...
iOSデバイスのためのフィジカル・コンピューティングツールキ...
コメント