ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
機械学習で遊ぶ
KelpNet：C#で使える可読性重視のディープラーニングラ...
ROMOハッカソンに行ってきた
Seleniumを使ったFXや株の自動取引
Swark：コードからアーキテクチャ図を作成できるVSCod...
Multi-View Environment：複数画像から3...
DensePose：画像中の人物表面のUV座標を推定する
Iridescence：プロトタイピング向け軽量3D可視化ラ...
HD画質の無駄遣い
組み込み向けのWindows OS 『Windows Emb...
OpenGVのライブラリ構成
まだ続くブログの不調
ZBrushのZScript入門
ブラウザ上でJavaScript,HTML,CSSを書いて共...
WordPressプラグインの作り方
AnacondaとTensorFlowをインストールしてVi...
OpenCVでカメラ画像から自己位置認識 (Visual O...
Raspberry Pi 2のGPIOピン配置
OpenCVのfindEssentialMat関数を使ったサ...
オープンソースのロボットアプリケーションフレームワーク『RO...
UnityでTweenアニメーションを実装できる3種類の無料...
FreeMoCap Project：オープンソースのマーカー...
Windows10でPyTorchをインストールしてVSCo...
ニューラルネットワークで画像分類
Blendify：コンピュータービジョン向けBlenderラ...
VCG Library：C++のポリゴン操作ライブラリ
FCN (Fully Convolutional Netwo...
TensorFlowでCGを微分できる『TensorFlow...
Pythonの自然言語処理ライブラリ『NLTK(Natura...
AmazonEC2のインスタンスをt1.microからt2....
UnityのGameObjectの向きをScriptで制御す...
Super Resolution：OpenCVの超解像処理モ...
Unreal Engineの薄い本
Theia：オープンソースのStructure from M...
タマムシっぽい質感
OpenCVの超解像(SuperResolution)モジュ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
OpenCVの顔検出過程を可視化した動画
Google App EngineでWordPress
PythonのHTML・XMLパーサー『BeautifulS...
IronPythonを使ってUnity上でPythonのコー...
ZScript
コメント