セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry Pi 2を買いました
株式会社ヘキサドライブの研究室ページ
OpenCVのfindEssentialMat関数を使ったサ...
IronPythonを使ってUnity上でPythonのコー...
為替レートの読み方 2WAYプライス表示
OpenCV
iOSデバイスのためのフィジカル・コンピューティングツールキ...
OpenGVのライブラリ構成
BlenderのPython環境にPyTorchをインストー...
Multi-View Environment:複数画像から3...
WordPress on Google App Engine...
Math Inspector:科学計算向けビジュアルプログラ...
チャットツール用bot開発フレームワーク『Hubot』
Google製オープンソース機械学習ライブラリ『Tensor...
ブログの復旧が難航してた話
Google XML Sitemap Generatorプラ...
ZBrushのZScript入門
SONYの自律型エンタテインメントロボット『aibo』
DCGAN (Deep Convolutional GAN)...
TeleSculptor:空撮動画からPhotogramme...
UnityでLight Shaftを表現する
WordPressの表示を高速化する
Alice Vision:オープンソースのPhotogram...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
hloc:SuperGlueで精度を向上させたSfM・Vis...
Konashiを買った
geometry3Sharp:Unity C#で使えるポリゴ...
Python.NET:Pythonと.NETを連携させるパッ...
法線マップを用意してCanvas上でShadingするサンプ...
LuxCoreRender:オープンソースの物理ベースレンダ...
UnrealCLR:Unreal Engineで.NET C...
PythonでBlenderのAdd-on開発
Unity ARKitプラグインサンプルのドキュメントを読む
Twitter APIのPythonラッパー『python-...
続・ディープラーニングの資料
BlenderでPhotogrammetryできるアドオン
PythonでMayaのShapeノードプラグインを作る
Webスクレイピングの勉強会に行ってきた
Raspberry Piでセンサーの常時稼働を検討する
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...
TorchStudio:PyTorchのための統合開発環境と...

コメント