セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
動的なメモリの扱い
Windows10でPyTorchをインストールしてVSCo...
オープンソースの顔の動作解析ツールキット『OpenFace』
UnityでARKit2.0
Swark：コードからアーキテクチャ図を作成できるVSCod...
タマムシっぽい質感
Raspberry PiでIoTごっこ
Unity ARKitプラグインサンプルのドキュメントを読む
定数
OpenVDB：3Dボリュームデータ処理ライブラリ
Unityで強化学習できる『Unity ML-Agents』
Open3D：3Dデータ処理ライブラリ
HerokuでMEAN stack
iPhone x ロボットハッカソン～RomoのiPhone...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
Pylearn2：ディープラーニングに対応したPythonの...
konashiのサンプルコードを動かしてみた
UnrealCLR：Unreal Engineで.NET C...
pythonの機械学習ライブラリ『scikit-learn』
Raspberry Pi 2を買いました
UnityでOpenCVを使うには？
Google App Engine上のWordPressでA...
geometry3Sharp：Unity C#で使えるポリゴ...
Boost オープンソースライブラリ
Managing Software Requirements...
Unity ARKitプラグインサンプルのチュートリアルを読...
cvui：OpenCVのための軽量GUIライブラリ
UnityでTweenアニメーションを実装できる3種類の無料...
Runway ML：クリエイターのための機械学習ツール
TorchStudio：PyTorchのための統合開発環境と...
Dlib：C++の機械学習ライブラリ
プログラムによる景観の自動生成
OpenCV 3.1のsfmモジュールのビルド再び
オープンソースの人体モデリングツール『MakeHuman』の...
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
viser：Pythonで使える3D可視化ライブラリ
スクラッチで既存のキャラクターを立体化したい
Python2とPython3
FCN (Fully Convolutional Netwo...
CycleGAN：ドメイン関係を学習した画像変換
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
Unity MonoBehaviourクラスのオーバーライド...
コメント