ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
Raspberry Pi 2を買いました
Unity ARKitプラグインサンプルのドキュメントを読む
Live CV：インタラクティブにComputer Visi...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
Runway ML：クリエイターのための機械学習ツール
ブラウザ操作自動化ツール『Selenium』を試す
胡散臭いデザインの参考サイト
JavaScriptとかWebGLとかCanvasとか
C++の抽象クラス
openMVGをWindows10 Visual Studi...
OpenCV 3.1のsfmモジュールのビルド再び
UnityからROSを利用できる『ROS#』
Mechanizeで要認証Webサイトをスクレイピング
WordPressプラグインの作り方
OpenCV 3.1とopencv_contribモジュール...
SVM (Support Vector Machine)
TeleSculptor：空撮動画からPhotogramme...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
TorchStudio：PyTorchのための統合開発環境と...
OpenCV3.3.0でsfmモジュールのビルドに成功！
MVStudio：オープンソースのPhotogrammetr...
ManuelBastioniLAB：人体モデリングできるBl...
オープンソースのロボットアプリケーションフレームワーク『RO...
UnrealCLR：Unreal Engineで.NET C...
Faster R-CNN：ディープラーニングによる一般物体検...
AndroidもopenGLも初心者さ (でもJavaは知っ...
Math Inspector：科学計算向けビジュアルプログラ...
クラスの基本
geometry3Sharp：Unity C#で使えるポリゴ...
cvui：OpenCVのための軽量GUIライブラリ
ROSの薄い本
機械学習手法『Random Forest』
ROMOハッカソンに行ってきた
WinSCP
Boost オープンソースライブラリ
Raspberry Pi
続・ディープラーニングの資料
Twitter APIのPythonラッパー『python-...
OpenCVでiPhone6sのカメラをキャリブレーションす...
Pythonの自然言語処理ライブラリ『NLTK(Natura...
DCGAN (Deep Convolutional GAN)...
Pylearn2：ディープラーニングに対応したPythonの...
コメント