Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

プログラミングスキルについて考える
オープンソースの物理ベースGIレンダラ『appleseed』
書籍『OpenCV 3 プログラミングブック』を購入
iPhoneアプリ開発 Xcode 5のお作法
為替レートの読み方 2WAYプライス表示
OpenCVで顔のランドマークを検出する『Facemark API』
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
Unityで使える数値計算ライブラリ『Math.NET Numerics』
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
定数
Mayaのプラグイン開発
Raspberry Pi
PythonのHTML・XMLパーサー『BeautifulSoup』
Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
UnityからROSを利用できる『ROS#』
Unityで強化学習できる『Unity ML-Agents』
OpenCVのバージョン3が正式リリースされたぞ
現在公開されているWeb API一覧
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
機械学習手法『Random Forest』
UnityでPoint Cloudを表示する方法
iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』
オープンソースのStructure from Motionライブラリ『Theia』
Unreal Engineの薄い本
ディープラーニング
アクセス元IPアドレスから企業名が分かるアクセス解析『User Local スマートフォン解析』
3Dデータ処理ライブラリ『Open3D』
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
WordPressの表示を高速化する
OpenCVベースのマーカーARライブラリ『OpenAR』
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
adskShaderSDK
複数視点画像から3次元形状を復元するライブラリ『openMVG』
3D復元技術の情報リンク集
Linuxでテレビの視聴・録画ができるオープンソースプロジェクト『Myth TV』
WordPress on Google App Engineを1週間運用してみて
複数画像から3次元形状を再構築するライブラリ『Multi-View Environment』
SONY製のニューラルネットワークライブラリ『NNabla』
UnityでARKit2.0
Twitter APIのPythonラッパー『python-twitter』
法線マップを用意してCanvas上でShadingするサンプル

コメント