Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

Amazon Web ServicesでWordPress
WordPressプラグインによるサイトマップの自動生成
Google App Engineのデプロイ失敗
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
科学技術計算向けスクリプト言語『Julia』
python-twitterで自分のお気に入りを取得する
タマムシっぽい質感
OpenCVの顔検出過程を可視化した動画
PyDataTokyo主催のDeep Learning勉強会
Unityの各コンポーネント間でのやり取り
Unity Scriptコーディング→Unreal Engine Scriptコーディング
Structure from Motion (多視点画像からの3次元形状復元)
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
Google App EngineでWordPress
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
iOSデバイスと接続して連携するガジェットの開発方法
仮想関数
HD画質の無駄遣い
OpenCV 3.1のsfmモジュールを試す
ドットインストールのWordPress入門レッスン
バージョン管理の履歴を可視化するツール『Gource』
OpenCVで平均顔を作るチュートリアル
Webサイトのワイヤーフレームが作成できるオンラインツール
ブログをwpXレンタルサーバーからwpX Speedへ移行
Verilog HDL
Konashiを買った
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
Mitsuba 3:オープンソースの研究向けレンダラ
ArUco:OpenCVベースのコンパクトなARライブラリ
UnityのTransformクラスについて調べてみた
IronPythonを使ってUnity上でPythonのコードを実行する
機械学習に役立つPythonライブラリ一覧
動的なメモリの扱い
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
pythonの機械学習ライブラリ『scikit-learn』
Mechanizeで要認証Webサイトをスクレイピング
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
株式会社ヘキサドライブの研究室ページ
Python for Unity:UnityEditorでPythonを使えるパッケージ
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
openMVG:複数視点画像から3次元形状を復元するライブラリ

コメント