だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。
Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。
Python環境でもpipで簡単にSeleniumをインストールできる。
ブラウザはChromeを使いたいので、別途ブラウザ用のWebDriverとしてChromeDriverもダウンロードした↓
https://sites.google.com/a/chromium.org/chromedriver/
PythonからWebDriverの実行ファイルを叩くような使い方をするらしい。
スクレイピングでSeleniumを使う1番のメリットは、ログインが必要なサイトや、JavaScriptの実行を求めるサイトでも普通のブラウザ操作としてコードが書ける点。複雑なWebの仕組みを抽象化するためにブラウザを間に噛ます感じ。(全部コーディングでやろうとして苦労したことがある…)
Seleniumでサイトのデータを粗く取得して、Beautiful Soupなどのライブラリで詳細にtextをパースしていけば良いんじゃないかな。
https://blog.negativemind.com/2014/06/15/python%E3%81%AE%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%80%8Ebeautifulsoup%E3%80%8F/
始めるにあたって参考にしたのはこちら↓
http://nfnoface.hatenablog.com/entry/2017/03/08/212300
https://dev.classmethod.jp/tool/eclipse/windows-selenium-headless-chrome/
何で急にスクレイピングの勉強を再開したかと言うと、最近は機械学習を手軽に試せるライブラリが充実してきたのに、手元にあんまり面白いデータが無かったから。
そして、個人のPCで試せる程度の演算負荷と考えると、画像よりもtextデータの方が色々と試行しやすい気もしている。単位時間あたりに沢山試せた方が学びがあるんじゃないかな。
スクレイピングや言語処理にはそれほど詳しくないんだけど、幸い広く浅く紹介している書籍の存在を知った。↓
画像認識にニューラルネットワークを使う理屈は何となく知ってるけど、言語処理については全く知らないので勉強してみたくなった。
最近Qiitaによく使う正規表現のまとめ記事がアップされたので助かる。
https://qiita.com/dongri/items/2a0a18e253eb5bf9edba
関連記事
OpenCV 3.3.0 contribのsfmモジュールの...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
WordPressの表示を高速化する
OpenCV 3.1から追加されたSfMモジュール
OpenMVSのサンプルを動かしてみる
Google App Engine上のWordPressでF...
Mean Stack開発の最初の一歩
Unityで強化学習できる『Unity ML-Agents』
CGレンダラ研究開発のためのフレームワーク『Lightmet...
VCG Library：C++のポリゴン操作ライブラリ
スクラッチで既存のキャラクターを立体化したい
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Mask R-CNN：ディープラーニングによる一般物体検出・...
BlenderのPython環境にPyTorchをインストー...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
頭蓋骨からの顔復元と進化過程の可視化
Model View Controller
iOSデバイスのためのフィジカル・コンピューティングツールキ...
OpenCVで動画の手ぶれ補正
OpenCVで顔のランドマークを検出する『Facemark ...
UnityのGameObjectの向きをScriptで制御す...
Web経由でRaspberry PiのGPIOを操作したい
DensePose：画像中の人物表面のUV座標を推定する
UnityでOpenCVを使うには？
プログラミングスキルとは何か？
第2回Webスクレイピング勉強会の資料
BlenderProc：Blenderで機械学習用の画像デー...
OpenCVでカメラ画像から自己位置認識 (Visual O...
Cartographer：オープンソースのSLAMライブラリ
CycleGAN：ドメイン関係を学習した画像変換
Google Colaboratoryで遊ぶ準備
NeuralNetwork.NET：.NETで使えるTens...
クラスの基本
Alice Vision：オープンソースのPhotogram...
続・ディープラーニングの資料
WordPress on Windows Azure
PythonでMayaのShapeノードプラグインを作る
まだ続くブログの不調
WordPressプラグインによるサイトマップの自動生成
UnityのMonoBehaviourクラスをシングルトン化...
libigl：軽量なジオメトリ処理ライブラリ
機械学習手法『Random Forest』
コメント