ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
Verilog HDL
BlenderProc：Blenderで機械学習用の画像デー...
OpenSfM：PythonのStructure from ...
UnityでTweenアニメーションを実装できる3種類の無料...
続・ディープラーニングの資料
RSSフィードを読込んで表示するWordpressプラグイン...
html5のcanvasの可能性
cvui：OpenCVのための軽量GUIライブラリ
オープンソースの顔認識フレームワーク『OpenBR』
ブラウザ上でJavaScript,HTML,CSSを書いて共...
3D復元技術の情報リンク集
viser：Pythonで使える3D可視化ライブラリ
クラスの基本
Structure from Motion (多視点画像から...
Open3D：3Dデータ処理ライブラリ
PyMC：Pythonのベイズ統計ライブラリ
Mitsuba 3：オープンソースの研究向けレンダラ
C++ 標準テンプレートライブラリ (STL)
書籍『ゼロから作るDeep Learning』で自分なりに学...
PythonでMayaのShapeノードプラグインを作る
UnityでLight Shaftを表現する
Raspberry Pi 2のGPIOピン配置
書籍『仕事ではじめる機械学習』を読みました
hloc：SuperGlueで精度を向上させたSfM・Vis...
ブログがダウンしてました
iPhone x ロボットハッカソン～RomoのiPhone...
Amazon Web ServicesでWordPress
ZScript
Iridescence：プロトタイピング向け軽量3D可視化ラ...
UnityでARKit2.0
オープンソースの取引プラットフォーム
ROMOハッカソンに行ってきた
Twitter APIのPythonラッパー『python-...
手を動かしながら学ぶデータマイニング
WordPress on Windows Azure
OpenCVの超解像(SuperResolution)モジュ...
UnityからROSを利用できる『ROS#』
Mean Stack開発の最初の一歩
マルコフ連鎖モンテカルロ法
R-CNN (Regions with CNN featur...
オープンソースの人体モデリングツール『MakeHuman』の...
Gource：バージョン管理の履歴を可視化するツール
コメント