ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
WordPressの表示を高速化する
チャットツール用bot開発フレームワーク『Hubot』
C++始めようと思うんだ
ディープラーニング
機械学習手法『Random Forest』
OpenCVの超解像(SuperResolution)モジュ...
UnityでShaderの入力パラメータとして行列を渡す
『Geocities-izer』 どんなWebページも一昔前...
IronPythonを使ってUnity上でPythonのコー...
ドットインストールのWordPress入門レッスン
KelpNet：C#で使える可読性重視のディープラーニングラ...
OpenCV 3.3.0 contribのsfmモジュールの...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
OpenCVで動画の手ぶれ補正
Unityで学ぶC#
3D復元技術の情報リンク集
python-twitterで自分のお気に入りを取得する
WordPressのテーマを自作する
OpenCV
Math.NET Numerics：Unityで使える数値計...
ManuelBastioniLAB：人体モデリングできるBl...
Raspberry Pi
タマムシっぽい質感
マンガで分かる JavaScriptプログラミング講座
LuxCoreRender：オープンソースの物理ベースレンダ...
HerokuでMEAN stack
Deep Fluids：流体シミュレーションをディープラーニ...
OpenCV 3.3.0-RCでsfmモジュールをビルド
C++の抽象クラス
OpenCV 3.1から追加されたSfMモジュール
ブログをwpXレンタルサーバーからwpX Speedへ移行
仮想関数
DensePose：画像中の人物表面のUV座標を推定する
Unityの各コンポーネント間でのやり取り
Human Generator：Blenderの人体生成アド...
WordPress on Windows Azure
Google Chromecast
WinSCP
マルコフ連鎖モンテカルロ法
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
ブログの復旧が難航してた話
Raspberry Pi 2を買いました
コメント