セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Raspberry Pi 2を買いました
株式会社ヘキサドライブの研究室ページ
OpenCVのfindEssentialMat関数を使ったサ...
IronPythonを使ってUnity上でPythonのコー...
為替レートの読み方 2WAYプライス表示
OpenCV
iOSデバイスのためのフィジカル・コンピューティングツールキ...
OpenGVのライブラリ構成
BlenderのPython環境にPyTorchをインストー...
Multi-View Environment：複数画像から3...
WordPress on Google App Engine...
Math Inspector：科学計算向けビジュアルプログラ...
チャットツール用bot開発フレームワーク『Hubot』
Google製オープンソース機械学習ライブラリ『Tensor...
ブログの復旧が難航してた話
Google XML Sitemap Generatorプラ...
ZBrushのZScript入門
SONYの自律型エンタテインメントロボット『aibo』
DCGAN (Deep Convolutional GAN)...
TeleSculptor：空撮動画からPhotogramme...
UnityでLight Shaftを表現する
WordPressの表示を高速化する
Alice Vision：オープンソースのPhotogram...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
hloc：SuperGlueで精度を向上させたSfM・Vis...
Konashiを買った
geometry3Sharp：Unity C#で使えるポリゴ...
Python.NET：Pythonと.NETを連携させるパッ...
法線マップを用意してCanvas上でShadingするサンプ...
LuxCoreRender：オープンソースの物理ベースレンダ...
UnrealCLR：Unreal Engineで.NET C...
PythonでBlenderのAdd-on開発
Unity ARKitプラグインサンプルのドキュメントを読む
Twitter APIのPythonラッパー『python-...
続・ディープラーニングの資料
BlenderでPhotogrammetryできるアドオン
PythonでMayaのShapeノードプラグインを作る
Webスクレイピングの勉強会に行ってきた
Raspberry Piでセンサーの常時稼働を検討する
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
TorchStudio：PyTorchのための統合開発環境と...
コメント