セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
BlenderProc：Blenderで機械学習用の画像デー...
MPFB2：Blenderの人体モデリングアドオン
bpy-renderer：レンダリング用Pythonパッケー...
Quartus II
Amazon Web ServicesでWordPress
iOSデバイスと接続して連携するガジェットの開発方法
C++始めようと思うんだ
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
BlenderでPhotogrammetryできるアドオン
3Dモデルを立体視で確認できるVRアプリを作っている
OpenCV バージョン4がリリースされた！
adskShaderSDK
openMVG：複数視点画像から3次元形状を復元するライブラ...
ZBrushのZScript入門
定数
Pylearn2：ディープラーニングに対応したPythonの...
MVStudio：オープンソースのPhotogrammetr...
OpenMVS：Multi-View Stereoによる3次...
Unityで強化学習できる『Unity ML-Agents』
Deep Learningとその他の機械学習手法の性能比較
Windows10でPyTorchをインストールしてVSCo...
組み込み向けのWindows OS 『Windows Emb...
OpenMesh：オープンソースの３Dメッシュデータライブラ...
C++の抽象クラス
Mean Stack開発の最初の一歩
スクラッチで既存のキャラクターを立体化したい
Raspberry PiでIoTごっこ
UnityでPoint Cloudを表示する方法
マルコフ連鎖モンテカルロ法
NumSharp：C#で使えるNumPyライクな数値計算ライ...
AnacondaとTensorFlowをインストールしてVi...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
OpenCVの超解像(SuperResolution)モジュ...
Swark：コードからアーキテクチャ図を作成できるVSCod...
Managing Software Requirements...
Webサイトのワイヤーフレームが作成できるオンラインツール
ブラウザ操作自動化ツール『Selenium』を試す
OpenCV3.3.0でsfmモジュールのビルドに成功！
iPhone・iPod touchで動作する知育ロボット『R...
UnityのAR FoundationでARKit 3
チャットツール用bot開発フレームワーク『Hubot』
Unity Scriptコーディング→Unreal Engi...
コメント