Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

OpenCV バージョン4がリリースされた!
WinSCP
Verilog HDL
画像中の人物表面のUV座標を推定する『DensePose』
任意の英語サイト中で自分がまだ覚えていない英単語だけに日本語のルビを振ってくれるツール『ずるっこ!』
Unityで使える数値計算ライブラリ『Math.NET Numerics』
pythonの機械学習ライブラリ『scikit-learn』
オープンソースのSfM・MVSツール『COLMAP』
OpenCVのための軽量GUIライブラリ『cvui』
Google App EngineでWordPress
Raspberry Pi 2を買いました
OpenCVベースの背景差分ライブラリ『BGSLibrary』
機械学習手法『Random Forest』
オープンソースの取引プラットフォーム
Blenderの人体モデリングアドオン『MB-Lab』
Webページ制作のためのメモ
バージョン管理の履歴を可視化するツール『Gource』
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
UnityでARKit2.0
Python拡張モジュールのWindows用インストーラー配布サイト
動的なメモリの扱い
SDカードサイズのコンピューター『Intel Edison』
ブログのデザイン変えました
OpenCVで顔のランドマークを検出する『Facemark API』
インタラクティブにComputer Visionコーディングができるツール『Live CV』
書籍『ROSプログラミング』
openMVGをWindows10 Visual Studio 2015環境でビルドする
軽量なジオメトリ処理ライブラリ『libigl』
Web経由でRaspberry PiのGPIOを操作したい
Raspberry Pi
Python2とPython3
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
オープンソースのStructure from Motionライブラリ『Theia』
Model View Controller
スクラッチで既存のキャラクターを立体化したい
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
機械学習に役立つPythonライブラリ一覧
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
JavaScriptとかWebGLとかCanvasとか
Webサイトのワイヤーフレームが作成できるオンラインツール
OpenCVで顔のモーフィングを実装する
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる

コメント