Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

オープンソースの物理ベースGIレンダラ『appleseed』
OpenCV
Unityで学ぶC#
Mitsuba 3:オープンソースの研究向けレンダラ
Managing Software Requirements: A Unified Approach
第1回 3D勉強会@関東『SLAMチュートリアル大会』
MPFB2:Blenderの人体モデリングアドオン
Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
マルコフ連鎖モンテカルロ法
UnityのMonoBehaviourクラスをシングルトン化する
KelpNet:C#で使える可読性重視のディープラーニングライブラリ
Raspberry Piでセンサーの常時稼働を検討する
OpenMesh:オープンソースの3Dメッシュデータライブラリ
プログラミングスキルとは何か?
OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ
Boost オープンソースライブラリ
SONY製のニューラルネットワークライブラリ『NNabla』
OpenCV 3.3.0-RCでsfmモジュールをビルド
頭蓋骨からの顔復元と進化過程の可視化
UnityのAR FoundationでARKit 3
続・ディープラーニングの資料
Faster R-CNN:ディープラーニングによる一般物体検出手法
スクラッチで既存のキャラクターを立体化したい
現在公開されているWeb API一覧
3Dグラフィックスの入門書
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
定数
TeleSculptor:空撮動画からPhotogrammetryするツール
動的なメモリの扱い
OpenCVでiPhone6sのカメラをキャリブレーションする
Unityの薄い本
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
科学技術計算向けスクリプト言語『Julia』
フォトンの放射から格納までを可視化した動画
PGGAN:段階的に解像度を上げて学習を進めるGAN
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
cvui:OpenCVのための軽量GUIライブラリ
openMVGをWindows10 Visual Studio 2015環境でビルドする
OpenCVのバージョン3が正式リリースされたぞ
チャットツール用bot開発フレームワーク『Hubot』

コメント