だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。
Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。
Python環境でもpipで簡単にSeleniumをインストールできる。
ブラウザはChromeを使いたいので、別途ブラウザ用のWebDriverとしてChromeDriverもダウンロードした↓
https://sites.google.com/a/chromium.org/chromedriver/
PythonからWebDriverの実行ファイルを叩くような使い方をするらしい。
スクレイピングでSeleniumを使う1番のメリットは、ログインが必要なサイトや、JavaScriptの実行を求めるサイトでも普通のブラウザ操作としてコードが書ける点。複雑なWebの仕組みを抽象化するためにブラウザを間に噛ます感じ。(全部コーディングでやろうとして苦労したことがある…)
Seleniumでサイトのデータを粗く取得して、Beautiful Soupなどのライブラリで詳細にtextをパースしていけば良いんじゃないかな。
https://blog.negativemind.com/2014/06/15/python%E3%81%AE%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%80%8Ebeautifulsoup%E3%80%8F/
始めるにあたって参考にしたのはこちら↓
http://nfnoface.hatenablog.com/entry/2017/03/08/212300
https://dev.classmethod.jp/tool/eclipse/windows-selenium-headless-chrome/
何で急にスクレイピングの勉強を再開したかと言うと、最近は機械学習を手軽に試せるライブラリが充実してきたのに、手元にあんまり面白いデータが無かったから。
そして、個人のPCで試せる程度の演算負荷と考えると、画像よりもtextデータの方が色々と試行しやすい気もしている。単位時間あたりに沢山試せた方が学びがあるんじゃないかな。
スクレイピングや言語処理にはそれほど詳しくないんだけど、幸い広く浅く紹介している書籍の存在を知った。↓
画像認識にニューラルネットワークを使う理屈は何となく知ってるけど、言語処理については全く知らないので勉強してみたくなった。
最近Qiitaによく使う正規表現のまとめ記事がアップされたので助かる。
https://qiita.com/dongri/items/2a0a18e253eb5bf9edba
関連記事
Runway ML：クリエイターのための機械学習ツール
OpenCVでPhotoshopのプラグイン開発
Cartographer：オープンソースのSLAMライブラリ
Google XML Sitemap Generatorプラ...
Pylearn2：ディープラーニングに対応したPythonの...
機械学習手法『Random Forest』
OANDAのfxTrade API
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
Unity ARKitプラグインサンプルのチュートリアルを読...
ブログのデザイン変えました
3D復元技術の情報リンク集
Accord.NET Framework：C#で使える機械学...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
ニューラルネットワークで画像分類
3分の動画でプログラミングを学習できるサイト『ドットインスト...
openMVGをWindows10 Visual Studi...
uvでWindows11のPython環境を管理する
Pythonの自然言語処理ライブラリ『NLTK(Natura...
WordPressのテーマを自作する
GAN (Generative Adversarial Ne...
OpenCVで顔のランドマークを検出する『Facemark ...
Google App Engine上のWordPressでA...
オープンソースの取引プラットフォーム
SONY製のニューラルネットワークライブラリ『NNabla』
openMVG：複数視点画像から3次元形状を復元するライブラ...
Seleniumを使ったFXや株の自動取引
UnityでTweenアニメーションを実装できる3種類の無料...
Amazon Web ServicesでWordPress
MPFB2：Blenderの人体モデリングアドオン
OpenCV 3.1のsfmモジュールのビルド再び
頭蓋骨からの顔復元と進化過程の可視化
Deep Learningとその他の機械学習手法の性能比較
BlenderProc：Blenderで機械学習用の画像デー...
PythonでMayaのShapeノードプラグインを作る
Caffe：読みやすくて高速なディープラーニングのフレームワ...
OpenCV 3.1とopencv_contribモジュール...
クラスの基本
機械学習に役立つPythonライブラリ一覧
OpenCVで顔のモーフィングを実装する
AfterEffectsプラグイン開発
Mayaのプラグイン開発
OpenCVで平均顔を作るチュートリアル
コメント