Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 

 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)

関連記事

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

機械学習手法『Random Forest』

機械学習に役立つPythonライブラリ一覧

MVStudio:オープンソースのPhotogrammetryツール

ディープラーニング

OpenGVのライブラリ構成

UnityでTweenアニメーションを実装できる3種類の無料Asset

スクレイピング

iPhone・iPod touchで動作する知育ロボット『ROMO』

iOSで使えるJetpac社の物体認識SDK『DeepBelief』

Konashiを買った

GAN (Generative Adversarial Networks):敵対的生成ネットワーク

konashiのサンプルコードを動かしてみた

Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...

iOSデバイスと接続して連携するガジェットの開発方法

UnityのTransformクラスについて調べてみた

uvでWindows11のPython環境を管理する

Unityで学ぶC#

Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』

NumSharp:C#で使えるNumPyライクな数値計算ライブラリ

機械学習で遊ぶ

IronPythonを使ってUnity上でPythonのコードを実行する

Google Colaboratoryで遊ぶ準備

adskShaderSDK

PyMC:Pythonのベイズ統計ライブラリ

C++始めようと思うんだ

Dlib:C++の機械学習ライブラリ

PythonのHTML・XMLパーサー『BeautifulSoup』

SVM (Support Vector Machine)

UnityからROSを利用できる『ROS#』

3分の動画でプログラミングを学習できるサイト『ドットインストール』

pythonもかじってみようかと

Python拡張モジュールのWindows用インストーラー配布サイト

『Geocities-izer』 どんなWebページも一昔前のダサいデザインに変えてくれるサービス

WordPressのサーバ引っ越し方法を考える

プログラムによる景観の自動生成

UnityでOpenCVを使うには?

Caffe:読みやすくて高速なディープラーニングのフレームワーク

viser:Pythonで使える3D可視化ライブラリ

AfterEffectsプラグイン開発

pythonの機械学習ライブラリ『scikit-learn』

SONYの自律型エンタテインメントロボット『aibo』

コメント