ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
Iterator
Manim：Pythonで使える数学アニメーションライブラリ
RSSフィードを読込んで表示するWordpressプラグイン...
UnityのAR FoundationでARKit 3
Unreal Engineの薄い本
PyTorch3D：3Dコンピュータービジョンライブラリ
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
TeleSculptor：空撮動画からPhotogramme...
AnacondaとTensorFlowをインストールしてVi...
機械学習で遊ぶ
3分の動画でプログラミングを学習できるサイト『ドットインスト...
ブラウザ操作自動化ツール『Selenium』を試す
Deep Learningとその他の機械学習手法の性能比較
OpenFace：Deep Neural Networkによ...
Webサイトのワイヤーフレームが作成できるオンラインツール
ブログをGoogle App EngineからAmazon ...
ブログが1日ダウンしてました
MPFB2：Blenderの人体モデリングアドオン
Runway ML：クリエイターのための機械学習ツール
Alice Vision：オープンソースのPhotogram...
Google App Engine上のWordPressでF...
Rerun：マルチモーダルデータの可視化アプリとSDK
WordPress on Google App Engine...
Raspberry Pi 2のGPIOピン配置
OpenGVの用語
Blendify：コンピュータービジョン向けBlenderラ...
プログラミングスキルとは何か？
PGGAN：段階的に解像度を上げて学習を進めるGAN
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
組み込み向けのWindows OS 『Windows Emb...
OpenMVSのサンプルを動かしてみる
Mask R-CNN：ディープラーニングによる一般物体検出・...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
konashiのサンプルコードを動かしてみた
Raspberry Pi 2を買いました
OpenCVのfindEssentialMat関数を使ったサ...
Unityの各コンポーネント間でのやり取り
UnrealCLR：Unreal Engineで.NET C...
Open3D：3Dデータ処理ライブラリ
3Dグラフィックスの入門書
Google Colaboratoryで遊ぶ準備
OpenCV 3.1のsfmモジュールのビルド再び
コメント