ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。
昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。私達は、もう一つのWebの可能性に注目します。
もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。
最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。
こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。
Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 （全3回）
関連記事
今年もSSII
SONY製のニューラルネットワークライブラリ『NNabla』
ROSの薄い本
iOSデバイスのためのフィジカル・コンピューティングツールキ...
アクセス元IPアドレスから企業名が分かるアクセス解析『Use...
Deep Learningとその他の機械学習手法の性能比較
マルコフ連鎖モンテカルロ法
PyTorch3D：3Dコンピュータービジョンライブラリ
HerokuでMEAN stack
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
ブログが1日ダウンしてました
書籍『ROSプログラミング』
UnityのGameObjectの向きをScriptで制御す...
Unityの各コンポーネント間でのやり取り
ニューラルネットワークで画像分類
OpenCV
OpenCVで顔のモーフィングを実装する
Runway ML：クリエイターのための機械学習ツール
Rerun：マルチモーダルデータの可視化アプリとSDK
ManimML：機械学習の概念を視覚的に説明するためのライブ...
3Dグラフィックスの入門書
OpenCVで顔のランドマークを検出する『Facemark ...
まだ続くブログの不調
Dlib：C++の機械学習ライブラリ
Mitsuba 2：オープンソースの物理ベースレンダラ
Python2とPython3
BlenderのPython環境にPyTorchをインストー...
Mechanizeで要認証Webサイトをスクレイピング
Unity MonoBehaviourクラスのオーバーライド...
書籍『OpenCV 3 プログラミングブック』を購入
uvでWindows11のPython環境を管理する
iPhone x ロボットハッカソン～RomoのiPhone...
Iterator
konashiのサンプルコードを動かしてみた
DCGAN (Deep Convolutional GAN)...
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
3D復元技術の情報リンク集
OpenAR：OpenCVベースのマーカーARライブラリ
株式会社ヘキサドライブの研究室ページ
COLMAP：オープンソースのSfM・MVSツール
C++の抽象クラス
ドラマ『ファーストクラス』のモーショングラフィックス
コメント