だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。
Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。
Python環境でもpipで簡単にSeleniumをインストールできる。
ブラウザはChromeを使いたいので、別途ブラウザ用のWebDriverとしてChromeDriverもダウンロードした↓
https://sites.google.com/a/chromium.org/chromedriver/
PythonからWebDriverの実行ファイルを叩くような使い方をするらしい。
スクレイピングでSeleniumを使う1番のメリットは、ログインが必要なサイトや、JavaScriptの実行を求めるサイトでも普通のブラウザ操作としてコードが書ける点。複雑なWebの仕組みを抽象化するためにブラウザを間に噛ます感じ。(全部コーディングでやろうとして苦労したことがある…)
Seleniumでサイトのデータを粗く取得して、Beautiful Soupなどのライブラリで詳細にtextをパースしていけば良いんじゃないかな。
https://blog.negativemind.com/2014/06/15/python%E3%81%AE%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%80%8Ebeautifulsoup%E3%80%8F/
始めるにあたって参考にしたのはこちら↓
http://nfnoface.hatenablog.com/entry/2017/03/08/212300
https://dev.classmethod.jp/tool/eclipse/windows-selenium-headless-chrome/
何で急にスクレイピングの勉強を再開したかと言うと、最近は機械学習を手軽に試せるライブラリが充実してきたのに、手元にあんまり面白いデータが無かったから。
そして、個人のPCで試せる程度の演算負荷と考えると、画像よりもtextデータの方が色々と試行しやすい気もしている。単位時間あたりに沢山試せた方が学びがあるんじゃないかな。
スクレイピングや言語処理にはそれほど詳しくないんだけど、幸い広く浅く紹介している書籍の存在を知った。↓
画像認識にニューラルネットワークを使う理屈は何となく知ってるけど、言語処理については全く知らないので勉強してみたくなった。
最近Qiitaによく使う正規表現のまとめ記事がアップされたので助かる。
https://qiita.com/dongri/items/2a0a18e253eb5bf9edba
関連記事
Mean Stack開発の最初の一歩
OpenCV3.3.0でsfmモジュールのビルドに成功！
オープンソースの物理ベースGIレンダラ『appleseed』
Human Generator：Blenderの人体生成アド...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
Google Colaboratoryで遊ぶ準備
書籍『仕事ではじめる機械学習』を読みました
Google App EngineでWordPress
SVM (Support Vector Machine)
iPhoneアプリ開発 Xcode 5のお作法
Structure from Motion (多視点画像から...
UnityでOpenCVを使うには？
BlenderProc：Blenderで機械学習用の画像デー...
ManuelBastioniLAB：人体モデリングできるBl...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
科学技術計算向けスクリプト言語『Julia』
Google App Engine上のWordPressでA...
KelpNet：C#で使える可読性重視のディープラーニングラ...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Unityの各コンポーネント間でのやり取り
UnityのGameObjectの向きをScriptで制御す...
iPhone・iPod touchで動作する知育ロボット『R...
Composition Rendering：Blenderに...
WordPressの表示を高速化する
PythonでMayaのShapeノードプラグインを作る
html5のcanvasの可能性
OpenCVのfindEssentialMat関数を使ったサ...
UnityのMonoBehaviourクラスをシングルトン化...
Raspberry Piでセンサーの常時稼働を検討する
OpenVDB：3Dボリュームデータ処理ライブラリ
Google製オープンソース機械学習ライブラリ『Tensor...
株式会社ヘキサドライブの研究室ページ
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
Python拡張モジュールのWindows用インストーラー配...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
3Dモデルを立体視で確認できるVRアプリを作っている
ブログが1日ダウンしてました
ブログをGoogle App EngineからAmazon ...
viser：Pythonで使える3D可視化ライブラリ
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Pylearn2：ディープラーニングに対応したPythonの...
SONY製のニューラルネットワークライブラリ『NNabla』
コメント