ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
Google App Engine上のWordPressでF...
UnityのGameObjectの向きをScriptで制御す...
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Raspberry PiでIoTごっこ
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
PythonでBlenderのAdd-on開発
Twitter APIのPythonラッパー『python-...
法線マップを用意してCanvas上でShadingするサンプ...
WordPressの表示を高速化する
Raspberry PiのGPIOを操作するPythonライ...
ブラウザ操作自動化ツール『Selenium』を試す
Konashiを買った
WordPressプラグインの作り方
Super Resolution：OpenCVの超解像処理モ...
UnityでTweenアニメーションを実装できる3種類の無料...
Unity Scriptコーディング→Unreal Engi...
libigl：軽量なジオメトリ処理ライブラリ
Point Cloud Utils：Pythonで3D点群・...
Unityからkonashiをコントロールする
Theia：オープンソースのStructure from M...
OpenGVの用語
iOSデバイスと接続して連携するガジェットの開発方法
Multi-View Environment：複数画像から3...
WebGL開発に関する情報が充実してきている
CycleGAN：ドメイン関係を学習した画像変換
Windows10でPyTorchをインストールしてVSCo...
D3.js：JavaScriptのデータビジュアライゼーショ...
Unityの各コンポーネント間でのやり取り
書籍『ゼロから作るDeep Learning』で自分なりに学...
iPhoneアプリ開発 Xcode 5のお作法
ドットインストールのWordPress入門レッスン
Mean Stack開発の最初の一歩
Unityの薄い本
NeuralNetwork.NET：.NETで使えるTens...
OpenCV
OpenMVS：Multi-View Stereoによる3次...
OpenCV 3.1から追加されたSfMモジュール
OpenCV 3.3.0 contribのsfmモジュールの...
OpenCVの超解像(SuperResolution)モジュ...
pythonの機械学習ライブラリ『scikit-learn』
プログラムによる景観の自動生成
3Dモデルを立体視で確認できるVRアプリを作っている
コメント