セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
OpenCVで顔のモーフィングを実装する
AndroidもopenGLも初心者さ (でもJavaは知っ...
Mask R-CNN：ディープラーニングによる一般物体検出・...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
書籍『ROSプログラミング』
Google App Engine上のWordPressでF...
Amazon Web ServicesでWordPress
Raspberry Pi 2のGPIOピン配置
BlenderProc：Blenderで機械学習用の画像デー...
C++ 標準テンプレートライブラリ (STL)
OpenFace：Deep Neural Networkによ...
OpenGVの用語
Google製オープンソース機械学習ライブラリ『Tensor...
OpenGVのライブラリ構成
Python2とPython3
Mitsuba 2：オープンソースの物理ベースレンダラ
Raspberry Pi
WordPress on Google App Engine...
viser：Pythonで使える3D可視化ライブラリ
Unityの各コンポーネント間でのやり取り
機械学習で遊ぶ
株式会社ヘキサドライブの研究室ページ
Python.NET：Pythonと.NETを連携させるパッ...
AfterEffectsプラグイン開発
Iridescence：プロトタイピング向け軽量3D可視化ラ...
WordPress on Windows Azure
iOSデバイスのためのフィジカル・コンピューティングツールキ...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
UnityからROSを利用できる『ROS#』
iPhoneアプリ開発 Xcode 5のお作法
Unityで学ぶC#
Raspberry PiでIoTごっこ
科学技術計算向けスクリプト言語『Julia』
Quartus II
CycleGAN：ドメイン関係を学習した画像変換
ニューラルネットワークで画像分類
python-twitterで自分のお気に入りを取得する
OpenCVで動画の手ぶれ補正
Unityの薄い本
pythonもかじってみようかと
DensePose：画像中の人物表面のUV座標を推定する
WordPressのテーマを自作する
コメント