だいぶ前にSeleniumの存在を知っておきながら、まともに試さず時間が経った。
Selenium WebDriverをPythonから叩けばスクレイピングもお手軽だよなぁ、と思い始めた。
Python環境でもpipで簡単にSeleniumをインストールできる。
ブラウザはChromeを使いたいので、別途ブラウザ用のWebDriverとしてChromeDriverもダウンロードした↓
https://sites.google.com/a/chromium.org/chromedriver/
PythonからWebDriverの実行ファイルを叩くような使い方をするらしい。
スクレイピングでSeleniumを使う1番のメリットは、ログインが必要なサイトや、JavaScriptの実行を求めるサイトでも普通のブラウザ操作としてコードが書ける点。複雑なWebの仕組みを抽象化するためにブラウザを間に噛ます感じ。(全部コーディングでやろうとして苦労したことがある…)
Seleniumでサイトのデータを粗く取得して、Beautiful Soupなどのライブラリで詳細にtextをパースしていけば良いんじゃないかな。
https://blog.negativemind.com/2014/06/15/python%E3%81%AE%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%80%8Ebeautifulsoup%E3%80%8F/
始めるにあたって参考にしたのはこちら↓
http://nfnoface.hatenablog.com/entry/2017/03/08/212300
https://dev.classmethod.jp/tool/eclipse/windows-selenium-headless-chrome/
何で急にスクレイピングの勉強を再開したかと言うと、最近は機械学習を手軽に試せるライブラリが充実してきたのに、手元にあんまり面白いデータが無かったから。
そして、個人のPCで試せる程度の演算負荷と考えると、画像よりもtextデータの方が色々と試行しやすい気もしている。単位時間あたりに沢山試せた方が学びがあるんじゃないかな。
スクレイピングや言語処理にはそれほど詳しくないんだけど、幸い広く浅く紹介している書籍の存在を知った。↓
画像認識にニューラルネットワークを使う理屈は何となく知ってるけど、言語処理については全く知らないので勉強してみたくなった。
最近Qiitaによく使う正規表現のまとめ記事がアップされたので助かる。
https://qiita.com/dongri/items/2a0a18e253eb5bf9edba
関連記事
オープンソースの顔認識フレームワーク『OpenBR』
Konashiを買った
BGSLibrary：OpenCVベースの背景差分ライブラリ
LuxCoreRender：オープンソースの物理ベースレンダ...
html5のcanvasの可能性
ManuelBastioniLAB：人体モデリングできるBl...
頭蓋骨からの顔復元と進化過程の可視化
UnityでTweenアニメーションを実装できる3種類の無料...
iOSデバイスと接続して連携するガジェットの開発方法
IronPythonを使ってUnity上でPythonのコー...
ドットインストールのWordPress入門レッスン
Google XML Sitemap Generatorプラ...
ROMOハッカソンに行ってきた
組み込み向けのWindows OS 『Windows Emb...
このブログのデザインに飽きてきた
Raspberry Pi
UnityでLight Shaftを表現する
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...
SONY製のニューラルネットワークライブラリ『NNabla』
Unity ARKitプラグインサンプルのチュートリアルを読...
AnacondaとTensorFlowをインストールしてVi...
Cartographer：オープンソースのSLAMライブラリ
TensorFlowでCGを微分できる『TensorFlow...
Mean Stack開発の最初の一歩
書籍『OpenCV 3 プログラミングブック』を購入
Mask R-CNN：ディープラーニングによる一般物体検出・...
OpenCVのfindEssentialMat関数を使ったサ...
Raspberry Piでセンサーの常時稼働を検討する
ROSの薄い本
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
OpenCVで平均顔を作るチュートリアル
Quartus II
OpenCVの超解像(SuperResolution)モジュ...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
網元AMIで作ったWordpressサイトのインスタンスをt...
Mitsuba 2：オープンソースの物理ベースレンダラ
MVStudio：オープンソースのPhotogrammetr...
OpenCV 3.1とopencv_contribモジュール...
Gource：バージョン管理の履歴を可視化するツール
OpenCV バージョン4がリリースされた！
OpenGVのライブラリ構成
科学技術計算向けスクリプト言語『Julia』
コメント