ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
Unityの各コンポーネント間でのやり取り
プログラミングスキルとは何か？
TeleSculptor：空撮動画からPhotogramme...
SVM (Support Vector Machine)
Point Cloud Utils：Pythonで3D点群・...
ブログのデザイン変えました
科学技術計算向けスクリプト言語『Julia』
3D復元技術の情報リンク集
Raspberry PiのGPIOを操作するPythonライ...
3DCG Meetup #4に行ってきた
UnityのTransformクラスについて調べてみた
UnityのGameObjectの向きをScriptで制御す...
アクセス元IPアドレスから企業名が分かるアクセス解析『Use...
OpenCV3.3.0でsfmモジュールのビルドに成功！
adskShaderSDK
Accord.NET Framework：C#で使える機械学...
PythonでBlenderのAdd-on開発
UnityでLight Shaftを表現する
Gource：バージョン管理の履歴を可視化するツール
Google Colaboratoryで遊ぶ準備
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
ZScript
AfterEffectsプラグイン開発
株式会社ヘキサドライブの研究室ページ
OpenCV 3.1のsfmモジュールを試す
UnityプロジェクトをGitHubで管理する
openMVG：複数視点画像から3次元形状を復元するライブラ...
Google XML Sitemap Generatorプラ...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
機械学習に役立つPythonライブラリ一覧
Webページ制作のためのメモ
UnityのMonoBehaviourクラスをシングルトン化...
3Dモデルを立体視で確認できるVRアプリを作っている
Deep Fluids：流体シミュレーションをディープラーニ...
Composition Rendering：Blenderに...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Google製オープンソース機械学習ライブラリ『Tensor...
OpenCV 3.1のsfmモジュールのビルド再び
IronPythonを使ってUnity上でPythonのコー...
WordPressのサーバ引っ越し方法を考える
OpenCVの三角測量関数『cv::triangulatep...
Live CV：インタラクティブにComputer Visi...
コメント