だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。
Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。
Python環境でもpipで簡単にSeleniumをインストールできる。
ブラウザはChromeを使いたいので、別途ブラウザ用のWebDriverとしてChromeDriverもダウンロードした↓
https://sites.google.com/a/chromium.org/chromedriver/
PythonからWebDriverの実行ファイルを叩くような使い方をするらしい。
スクレイピングでSeleniumを使う1番のメリットは、ログインが必要なサイトや、JavaScriptの実行を求めるサイトでも普通のブラウザ操作としてコードが書ける点。複雑なWebの仕組みを抽象化するためにブラウザを間に噛ます感じ。(全部コーディングでやろうとして苦労したことがある…)
Seleniumでサイトのデータを粗く取得して、Beautiful Soupなどのライブラリで詳細にtextをパースしていけば良いんじゃないかな。
https://blog.negativemind.com/2014/06/15/python%E3%81%AE%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%80%8Ebeautifulsoup%E3%80%8F/
始めるにあたって参考にしたのはこちら↓
http://nfnoface.hatenablog.com/entry/2017/03/08/212300
https://dev.classmethod.jp/tool/eclipse/windows-selenium-headless-chrome/
何で急にスクレイピングの勉強を再開したかと言うと、最近は機械学習を手軽に試せるライブラリが充実してきたのに、手元にあんまり面白いデータが無かったから。
そして、個人のPCで試せる程度の演算負荷と考えると、画像よりもtextデータの方が色々と試行しやすい気もしている。単位時間あたりに沢山試せた方が学びがあるんじゃないかな。
スクレイピングや言語処理にはそれほど詳しくないんだけど、幸い広く浅く紹介している書籍の存在を知った。↓
画像認識にニューラルネットワークを使う理屈は何となく知ってるけど、言語処理については全く知らないので勉強してみたくなった。
最近Qiitaによく使う正規表現のまとめ記事がアップされたので助かる。
https://qiita.com/dongri/items/2a0a18e253eb5bf9edba
関連記事
ブログの復旧が難航してた話
COLMAP：オープンソースのSfM・MVSツール
NeuralNetwork.NET：.NETで使えるTens...
OpenMVSのサンプルを動かしてみる
OpenVDB：3Dボリュームデータ処理ライブラリ
プログラミングスキルとは何か？
Cartographer：オープンソースのSLAMライブラリ
ブログをGoogle App EngineからAmazon ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
MB-Lab：Blenderの人体モデリングアドオン
3Dモデルを立体視で確認できるVRアプリを作っている
DensePose：画像中の人物表面のUV座標を推定する
Unity Scriptコーディング→Unreal Engi...
オープンソースの人体モデリングツール『MakeHuman』の...
WinSCP
iPhone x ロボットハッカソン～RomoのiPhone...
pythonもかじってみようかと
WordPressのテーマを自作する
書籍『仕事ではじめる機械学習』を読みました
SONYの自律型エンタテインメントロボット『aibo』
Math Inspector：科学計算向けビジュアルプログラ...
手を動かしながら学ぶデータマイニング
Webスクレイピングの勉強会に行ってきた
iOSデバイスと接続して連携するガジェットの開発方法
Google App Engineのデプロイ失敗
Polyscope：3Dデータ操作用GUIライブラリ
Iterator
このブログのデザインに飽きてきた
Raspberry PiのGPIOを操作するPythonライ...
Raspberry Pi 2のGPIOピン配置
PGGAN：段階的に解像度を上げて学習を進めるGAN
OpenGVの用語
網元AMIで作ったWordpressサイトのインスタンスをt...
iPhoneアプリ開発 Xcode 5のお作法
SONY製のニューラルネットワークライブラリ『NNabla』
adskShaderSDK
openMVG：複数視点画像から3次元形状を復元するライブラ...
WordPressプラグインの作り方
Google製オープンソース機械学習ライブラリ『Tensor...
DCGAN (Deep Convolutional GAN)...
OpenMVS：Multi-View Stereoによる3次...
WordPressの表示を高速化する
コメント