Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

3DCG Meetup #4に行ってきた
adskShaderSDK
OpenCV3.3.0でsfmモジュールのビルドに成功!
openMVGをWindows10 Visual Studio 2015環境でビルドする
3Dグラフィックスの入門書
HD画質の無駄遣い
オープンソースの汎用レンダラ『Mitsuba 2』
Webサイトのワイヤーフレームが作成できるオンラインツール
ブログがダウンしてました
C++始めようと思うんだ
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
iPhoneアプリ開発 Xcode 5のお作法
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
ROSの薄い本
スクレイピング
OpenCVベースの背景差分ライブラリ『BGSLibrary』
3Dディープラーニング用のPyTorchライブラリ『Kaolin』
Iterator
株式会社ヘキサドライブの研究室ページ
ブログをGoogle App EngineからAmazon EC2へ移行
Raspberry Pi
バージョン管理の履歴を可視化するツール『Gource』
Unity ARKitプラグインサンプルのチュートリアルを読む
ROMOハッカソンに行ってきた
OpenCVで顔のモーフィングを実装する
Pythonのベイズ統計ライブラリ『PyMC』
OpenCV 3.1のsfmモジュールのビルド再び
サンプルコードにも間違いはある?
TensorFlowでCGを微分できる『TensorFlow Graphics』
Quartus II
PythonのStructure from Motionライブラリ『OpenSfM』
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
WordPress on Google App Engineを1週間運用してみて
Python拡張モジュールのWindows用インストーラー配布サイト
動的なメモリの扱い
Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
Unreal Engineの薄い本
インタラクティブにComputer Visionコーディングができるツール『Live CV』
3Dデータ処理ライブラリ『Open3D』
Webページ制作のためのメモ

コメント