ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
SVM (Support Vector Machine)
Konashiを買った
UnityのMonoBehaviourクラスをシングルトン化...
OpenCVで顔のモーフィングを実装する
動的なメモリの扱い
ブログが1日ダウンしてました
Pythonの自然言語処理ライブラリ『NLTK(Natura...
任意の英語サイト中で自分がまだ覚えていない英単語だけに日本語...
MB-Lab：Blenderの人体モデリングアドオン
CycleGAN：ドメイン関係を学習した画像変換
組み込み向けのWindows OS 『Windows Emb...
iPhoneアプリ開発 Xcode 5のお作法
Raspberry PiでIoTごっこ
konashiのサンプルコードを動かしてみた
Accord.NET Framework：C#で使える機械学...
MVStudio：オープンソースのPhotogrammetr...
Unity ARKitプラグインサンプルのチュートリアルを読...
Google Colaboratoryで遊ぶ準備
Pylearn2：ディープラーニングに対応したPythonの...
Amazon Web ServicesでWordPress
Unityの薄い本
Live CV：インタラクティブにComputer Visi...
Google App EngineでWordPress
ドラマ『ファーストクラス』のモーショングラフィックス
Manim：Pythonで使える数学アニメーションライブラリ
Mean Stack開発の最初の一歩
現在公開されているWeb API一覧
Python.NET：Pythonと.NETを連携させるパッ...
Pythonのソースコードに特化した検索エンジン『Nulle...
Geogram：C++の3D幾何アルゴリズムライブラリ
Raspberry Pi
OpenCV3.3.0でsfmモジュールのビルドに成功！
プログラムによる景観の自動生成
openMVG：複数視点画像から3次元形状を復元するライブラ...
UnityでOpenCVを使うには？
機械学習で遊ぶ
Raspberry Pi 2のGPIOピン配置
手を動かしながら学ぶデータマイニング
Raspberry Piでセンサーの常時稼働を検討する
Runway ML：クリエイターのための機械学習ツール
WordPress on Windows Azure
Russian3DScannerのトポロジー転送ツール『Wr...
コメント