だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。
Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。
Python環境でもpipで簡単にSeleniumをインストールできる。
ブラウザはChromeを使いたいので、別途ブラウザ用のWebDriverとしてChromeDriverもダウンロードした↓
https://sites.google.com/a/chromium.org/chromedriver/
PythonからWebDriverの実行ファイルを叩くような使い方をするらしい。
スクレイピングでSeleniumを使う1番のメリットは、ログインが必要なサイトや、JavaScriptの実行を求めるサイトでも普通のブラウザ操作としてコードが書ける点。複雑なWebの仕組みを抽象化するためにブラウザを間に噛ます感じ。(全部コーディングでやろうとして苦労したことがある…)
Seleniumでサイトのデータを粗く取得して、Beautiful Soupなどのライブラリで詳細にtextをパースしていけば良いんじゃないかな。
https://blog.negativemind.com/2014/06/15/python%E3%81%AE%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%80%8Ebeautifulsoup%E3%80%8F/
始めるにあたって参考にしたのはこちら↓
http://nfnoface.hatenablog.com/entry/2017/03/08/212300
https://dev.classmethod.jp/tool/eclipse/windows-selenium-headless-chrome/
何で急にスクレイピングの勉強を再開したかと言うと、最近は機械学習を手軽に試せるライブラリが充実してきたのに、手元にあんまり面白いデータが無かったから。
そして、個人のPCで試せる程度の演算負荷と考えると、画像よりもtextデータの方が色々と試行しやすい気もしている。単位時間あたりに沢山試せた方が学びがあるんじゃないかな。
スクレイピングや言語処理にはそれほど詳しくないんだけど、幸い広く浅く紹介している書籍の存在を知った。↓
画像認識にニューラルネットワークを使う理屈は何となく知ってるけど、言語処理については全く知らないので勉強してみたくなった。
最近Qiitaによく使う正規表現のまとめ記事がアップされたので助かる。
https://qiita.com/dongri/items/2a0a18e253eb5bf9edba
関連記事
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
OpenCVでPhotoshopのプラグイン開発
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハ...
Live CV：インタラクティブにComputer Visi...
ニューラルネットワークで画像分類
UnityでShaderの入力パラメータとして行列を渡す
Unity MonoBehaviourクラスのオーバーライド...
オープンソースの人体モデリングツール『MakeHuman』の...
Iterator
WordPressプラグインによるサイトマップの自動生成
機械学習に役立つPythonライブラリ一覧
Raspberry Pi 2のGPIOピン配置
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
フォトンの放射から格納までを可視化した動画
ブログが1日ダウンしてました
書籍『仕事ではじめる機械学習』を読みました
Google App Engine上のWordPressでF...
2D→3D復元技術で使われる用語まとめ
Human Generator：Blenderの人体生成アド...
Kornia：微分可能なコンピュータービジョンライブラリ
UnityでPoint Cloudを表示する方法
書籍『ゼロから作るDeep Learning』で自分なりに学...
viser：Pythonで使える3D可視化ライブラリ
オープンソースの取引プラットフォーム
CycleGAN：ドメイン関係を学習した画像変換
OpenCVで動画の手ぶれ補正
OpenVDB：3Dボリュームデータ処理ライブラリ
OpenCV3.3.0でsfmモジュールのビルドに成功！
動的なメモリの扱い
Raspberry Pi 2を買いました
Math Inspector：科学計算向けビジュアルプログラ...
OpenCV 3.1のsfmモジュールのビルド再び
konashiのサンプルコードを動かしてみた
Raspberry Pi
AndroidもopenGLも初心者さ (でもJavaは知っ...
WordPressのサーバ引っ越し方法を考える
iOSデバイスのためのフィジカル・コンピューティングツールキ...
Super Resolution：OpenCVの超解像処理モ...
3D復元技術の情報リンク集
網元AMIで作ったWordpressサイトのインスタンスをt...
iPhone x ロボットハッカソン～RomoのiPhone...
コメント