セッションを要求してくるWebサイトのデータの取得にはMechanizeというモジュールが使えるらしい。
Mechanizeは、Webブラウザを擬似的にエミュレートしてくれるモジュール。もともとはPerlで登場して、その後RubyやPythonに移植されたらしい。
普通にWebサイトのHTMLを落とすだけだったら、urllib2モジュールを使えばいいけど、認証が必要なサイトの場合は無理。
Mechanizeならセッションの保存などを自動的やってくれて、要認証のサイトのスクレイピングができるらしい。
【Python】mechanizeでWEBスクレイピング【BeautifulSoup】
BeautifulSoup、Mechanizeでおいしくデータをすする — PythonによるWebスクレイピング
Python で 画像スクレイピング
これで色んなSNSに散在している情報を統合できないだろうか。
関連記事
Boost オープンソースライブラリ
Web経由でRaspberry PiのGPIOを操作したい
Python2とPython3
iPhoneアプリ開発 Xcode 5のお作法
WebGL開発に関する情報が充実してきている
Iterator
オープンソースの人体モデリングツール『MakeHuman』の...
RSSフィードを読込んで表示するWordpressプラグイン...
続・ディープラーニングの資料
Google XML Sitemap Generatorプラ...
Python for Unity：UnityEditorでP...
BlenderのPython環境にPyTorchをインストー...
FCN (Fully Convolutional Netwo...
書籍『OpenCV 3 プログラミングブック』を購入
Google App Engine上のWordPressでF...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
COLMAP：オープンソースのSfM・MVSツール
Raspberry Pi
MVStudio：オープンソースのPhotogrammetr...
PGGAN：段階的に解像度を上げて学習を進めるGAN
Google製オープンソース機械学習ライブラリ『Tensor...
ドットインストールのWordPress入門レッスン
Seleniumを使ったFXや株の自動取引
SONYの自律型エンタテインメントロボット『aibo』
Python.NET：Pythonと.NETを連携させるパッ...
libigl：軽量なジオメトリ処理ライブラリ
このブログのデザインに飽きてきた
UnityプロジェクトをGitHubで管理する
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Windows10でPyTorchをインストールしてVSCo...
3Dモデルを立体視で確認できるVRアプリを作っている
法線マップを用意してCanvas上でShadingするサンプ...
WordPressの表示を高速化する
定数
DCGAN (Deep Convolutional GAN)...
Deep Fluids：流体シミュレーションをディープラーニ...
UnityのAR FoundationでARKit 3
OpenCVの顔検出過程を可視化した動画
OpenCVで顔のランドマークを検出する『Facemark ...
Raspberry PiでIoTごっこ
Google App Engineのデプロイ失敗
コメント