Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 


スポンサーリンク

 

 
 

 
 


スポンサーリンク

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)


スポンサーリンク

関連記事

pythonの機械学習ライブラリ『scikit-learn』
オープンソースの顔の動作解析ツールキット『OpenFace』
Raspberry Pi
アクセス元IPアドレスから企業名が分かるアクセス解析『User Local スマートフォン解析』
スクラッチで既存のキャラクターを立体化したい
Deep Learningとその他の機械学習手法の性能比較
PythonのStructure from Motionライブラリ『OpenSfM』
ROMOハッカソンに行ってきた
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
C#で使えるNumPyライクな数値計算ライブラリ『NumSharp』
Unity ARKitプラグインサンプルのドキュメントを読む
UnityでShaderの入力パラメータとして行列を渡す
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
Webサイトのワイヤーフレームが作成できるオンラインツール
OpenCVで顔のランドマークを検出する『Facemark API』
iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』
Boost オープンソースライブラリ
Konashiを買った
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
画像中の人物表面のUV座標を推定する『DensePose』
OpenCVのための軽量GUIライブラリ『cvui』
C++の機械学習ライブラリ『Dlib』
続・ディープラーニングの資料
Windows10でPyTorchをインストールしてVSCodeで使う
Raspberry Pi 2のGPIOピン配置
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン
株式会社ヘキサドライブの研究室ページ
IronPythonを使ってUnity上でPythonのコードを実行する
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
書籍『仕事ではじめる機械学習』を読みました
『Geocities-izer』 どんなWebページも一昔前のダサいデザインに変えてくれるサービス
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
UnityでLight Shaftを表現する
Quartus II
PyTorch3D:3Dコンピュータービジョンライブラリ
Deep Fluids:流体シミュレーションをディープラーニングで近似する
WordPress on Google App Engineを1週間運用してみて
Twitter APIのPythonラッパー『python-twitter』
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
オープンソースの3Dメッシュデータライブラリ『OpenMesh』
Seleniumを使ったFXや株の自動取引

コメント