Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

今年もSSII
仮想関数
libigl:軽量なジオメトリ処理ライブラリ
為替レートの読み方 2WAYプライス表示
Raspberry PiでIoTごっこ
Twitter APIのPythonラッパー『python-twitter』
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
Raspberry Pi 2を買いました
頭蓋骨からの顔復元と進化過程の可視化
OpenCVの顔検出過程を可視化した動画
書籍『仕事ではじめる機械学習』を読みました
PythonでMayaのShapeノードプラグインを作る
iPhoneアプリ開発 Xcode 5のお作法
ニューラルネットワークで画像分類
Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...
ブログをGoogle App EngineからAmazon EC2へ移行
Webページ制作のためのメモ
Raspberry Pi 2のGPIOピン配置
現在公開されているWeb API一覧
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』
Structure from Motion (多視点画像からの3次元形状復元)
OpenCVの三角測量関数『cv::triangulatepoints』
adskShaderSDK
任意の英語サイト中で自分がまだ覚えていない英単語だけに日本語のルビを振ってくれるツール『ずるっこ!』
OpenCVの超解像(SuperResolution)モジュールを試す
Verilog HDL
WordPressの表示を高速化する
DensePose:画像中の人物表面のUV座標を推定する
KelpNet:C#で使える可読性重視のディープラーニングライブラリ
Unityで学ぶC#
UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン
iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
WordPressのテーマを自作する
Unity Scriptコーディング→Unreal Engine Scriptコーディング
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
Theia:オープンソースのStructure from Motionライブラリ
Konashiを買った
OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク
Amazon Web ServicesでWordPress
ブログの復旧が難航してた話

コメント