セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Windows10でPyTorchをインストールしてVSCo...
今年もSSII
ManuelBastioniLAB:人体モデリングできるBl...
Pythonの自然言語処理ライブラリ『NLTK(Natura...
OpenVDB:3Dボリュームデータ処理ライブラリ
viser:Pythonで使える3D可視化ライブラリ
AmazonEC2のインスタンスをt1.microからt2....
Raspberry PiのGPIOを操作するPythonライ...
ManimML:機械学習の概念を視覚的に説明するためのライブ...
BlenderでPhotogrammetryできるアドオン
OpenCV 3.3.0 contribのsfmモジュールの...
OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...
Mask R-CNN:ディープラーニングによる一般物体検出・...
マルコフ連鎖モンテカルロ法
Iterator
OANDAのfxTrade API
OpenCV バージョン4がリリースされた!
Managing Software Requirements...
OpenMVS:Multi-View Stereoによる3次...
OpenSfM:PythonのStructure from ...
FreeMoCap Project:オープンソースのマーカー...
ROSでガンダムを動かす
OpenCVの三角測量関数『cv::triangulatep...
Alice Vision:オープンソースのPhotogram...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
PyDataTokyo主催のDeep Learning勉強会
Geogram:C++の3D幾何アルゴリズムライブラリ
MVStudio:オープンソースのPhotogrammetr...
Open3D:3Dデータ処理ライブラリ
Raspberry Piでセンサーの常時稼働を検討する
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
AnacondaとTensorFlowをインストールしてVi...
Unreal Engineの薄い本
SDカードサイズのコンピューター『Intel Edison』
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
PyMC:Pythonのベイズ統計ライブラリ
Python2とPython3
UnityのGameObjectの向きをScriptで制御す...
法線マップを用意してCanvas上でShadingするサンプ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Structure from Motion (多視点画像から...
iOSデバイスのためのフィジカル・コンピューティングツールキ...

コメント