Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 

 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)

関連記事

書籍『仕事ではじめる機械学習』を読みました

WordPress on Windows Azure

Google Chromecast

LuxCoreRender:オープンソースの物理ベースレンダラ

ManuelBastioniLAB:人体モデリングできるBlenderアドオン

Deep Learningとその他の機械学習手法の性能比較

HTML5・WebGLベースのグラフィックスエンジン『Goo Engine』

Unityで強化学習できる『Unity ML-Agents』

書籍『OpenCV 3 プログラミングブック』を購入

ブログをwpXレンタルサーバーからwpX Speedへ移行

サンプルコードにも間違いはある?

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法

OpenCV 3.1のsfmモジュールを試す

MVStudio:オープンソースのPhotogrammetryツール

OANDAのfxTrade API

Windows10でPyTorchをインストールしてVSCodeで使う

Geogram:C++の3D幾何アルゴリズムライブラリ

Seleniumを使ったFXや株の自動取引

UnityのAR FoundationでARKit 3

UnityでShaderの入力パラメータとして行列を渡す

プログラムによる景観の自動生成

Raspberry PiでIoTごっこ

adskShaderSDK

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

為替レートの読み方 2WAYプライス表示

オープンソースの物理ベースGIレンダラ『appleseed』

頭蓋骨からの顔復元と進化過程の可視化

GitHub Pagesで静的サイトを作る

GoB:ZBrushとBlenderを連携させるアドオン

オープンソースの顔の動作解析ツールキット『OpenFace』

CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー

Google App Engine上のWordPressでFlickrの画像を貼る

ZScript

Raspberry Pi 2のGPIOピン配置

BlenderのPython環境にPyTorchをインストールする

Python拡張モジュールのWindows用インストーラー配布サイト

タマムシっぽい質感

ブログをGoogle App EngineからAmazon EC2へ移行

C++始めようと思うんだ

Pythonのソースコードに特化した検索エンジン『Nullege』

OpenCVで顔のランドマークを検出する『Facemark API』

ディープラーニング

コメント