Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...

Google App Engineのデプロイ失敗

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

任意の英語サイト中で自分がまだ覚えていない英単語だけに日本語のルビを振ってくれるツール『ずるっこ!』

WinSCP

機械学習に役立つPythonライブラリ一覧

UnityでPoint Cloudを表示する方法

オープンソースの取引プラットフォーム

D3.js:JavaScriptのデータビジュアライゼーションライブラリ

マンガで分かる JavaScriptプログラミング講座

Python.NET:Pythonと.NETを連携させるパッケージ

頭蓋骨からの顔復元と進化過程の可視化

FCN (Fully Convolutional Network):ディープラーニングによるSema...

プログラミングスキルとは何か?

チャットツール用bot開発フレームワーク『Hubot』

OpenMVSのサンプルを動かしてみる

ブログのデザイン変えました

第2回Webスクレイピング勉強会の資料

Point Cloud Utils:Pythonで3D点群・Meshを扱うライブラリ

Python拡張モジュールのWindows用インストーラー配布サイト

Live CV:インタラクティブにComputer Visionコーディングができるツール

Unityで学ぶC#

OpenGVのライブラリ構成

Multi-View Environment:複数画像から3次元形状を再構築するライブラリ

ManuelBastioniLAB:人体モデリングできるBlenderアドオン

PyDataTokyo主催のDeep Learning勉強会

Faster R-CNN:ディープラーニングによる一般物体検出手法

Deep Fluids:流体シミュレーションをディープラーニングで近似する

OpenCV3.3.0でsfmモジュールのビルドに成功!

Unity ARKitプラグインサンプルのチュートリアルを読む

WebGL開発に関する情報が充実してきている

スクラッチで既存のキャラクターを立体化したい

pythonもかじってみようかと

UnityでOpenCVを使うには?

openMVG:複数視点画像から3次元形状を復元するライブラリ

Mayaのプラグイン開発

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

ニューラルネットワークで画像分類

Pythonのソースコードに特化した検索エンジン『Nullege』

株式会社ヘキサドライブの研究室ページ

SVM (Support Vector Machine)

Cartographer:オープンソースのSLAMライブラリ

コメント