Webスクレイピングの勉強会に行ってきた

ここ最近のGoogle App Engineいじりで、PythonでのWebスクレイピング欲が高まってところ、たまたま勉強会を見つけたので、参加してみた。

第1回Webスクレイピング勉強会@東京

昨今、オープンデータ運動の影響で、RDFデータで構成される”データのWeb”への注目が増しています。
“データのWeb”は、GOODデータの共有データストアです。
しかし、現実問題として、RDFデータ間の関係設計やインフラ整備を行う人材は多くなく、データの質は確保できても量は確保できていません。

私達は、もう一つのWebの可能性に注目します。

もう一つのWeb、すなわちHTMLデータで構成される”ドキュメントのWeb”です。
“ドキュメントのWeb”は、BADデータの共有データストアです。
そこから情報解析の為にデータ取得する事は、著作権法第47条の7で保護されています。
“データのWeb”と”ドキュメントのWeb”を一つのデータストアとして活用できれば、それは理想的な未来です。

その理想的な未来にたどり着くための技術の走りが”Webスクレイピング”であると思います。
私達は、この技術を持つ人々がLinkする環境を提供し共に刺激し合う事で、この理想的な未来へ貢献します。

 

 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

最近は自分でプログラムをガリガリ書かなくても、SaaS型のサービスでスクレイピングできたりするみたいね。自分でガリガリ書く利点としては、社内ローカルのシステムの情報を引っ張るとか、社外秘が絡むものかな。エンタープライズ契約もあったりするらしいけど、会社のポリシーとぶつかったら実現できないし。個人的に、クソUIな社内システム上の情報をスクレイピングでぶっこ抜いて業務を効率化したいところ。

こういう勉強会に行くと、自分の興味のあるジャンルをやろうとしている他の人達の顔も見えていいですね。

Qiitaにもまとめが上がったみたい↓
第1回Webスクレイピング勉強会@東京 (全3回)

関連記事

Windows10でPyTorchをインストールしてVSCodeで使う

Blendify:コンピュータービジョン向けBlenderラッパー

OpenMesh:オープンソースの3Dメッシュデータライブラリ

OpenCVの三角測量関数『cv::triangulatepoints』

仮想関数

PythonのHTML・XMLパーサー『BeautifulSoup』

OpenCV3.3.0でsfmモジュールのビルドに成功!

ArUco:OpenCVベースのコンパクトなARライブラリ

組み込み向けのWindows OS 『Windows Embedded』

OpenCVの超解像(SuperResolution)モジュールを試す

html5のcanvasの可能性

UnityプロジェクトをGitHubで管理する

書籍『仕事ではじめる機械学習』を読みました

TeleSculptor:空撮動画からPhotogrammetryするツール

Open3D:3Dデータ処理ライブラリ

OpenCVのバージョン3が正式リリースされたぞ

ブログをGoogle App EngineからAmazon EC2へ移行

Google App Engine上のWordPressでAmazonJSを利用する

Python2とPython3

UnityでLight Shaftを表現する

AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う

OpenCVでカメラ画像から自己位置認識 (Visual Odometry)

Mechanizeで要認証Webサイトをスクレイピング

Mean Stack開発の最初の一歩

AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

オープンソースの顔認識フレームワーク『OpenBR』

機械学習に役立つPythonライブラリ一覧

Pylearn2:ディープラーニングに対応したPythonの機械学習ライブラリ

OpenCVで平均顔を作るチュートリアル

AmazonEC2のインスタンスをt1.microからt2.microへ移行する

R-CNN (Regions with CNN features):ディープラーニングによる一般物体...

MVStudio:オープンソースのPhotogrammetryツール

OpenCVで動画の手ぶれ補正

Multi-View Environment:複数画像から3次元形状を再構築するライブラリ

オープンソースの物理ベースGIレンダラ『appleseed』

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

Google Colaboratoryで遊ぶ準備

UnityのGameObjectの向きをScriptで制御する

BGSLibrary:OpenCVベースの背景差分ライブラリ

LuxCoreRender:オープンソースの物理ベースレンダラ

Managing Software Requirements: A Unified Approach

コメント