【Python】Python 3.6 ＆ Selenium WebDriver ＆ PhantomJS でスクレイピング（URLを引数で受け取る）【Part.5】

beautifulsoup4 (4.6.0)
pip (9.0.1)
pytz (2017.3)
requests (2.18.4)
selenium (3.7.0)
setuptools (28.8.0)
urllib3 (1.22)

[test@SAKURA_VPS pyenv]$ source pyenv/bin/activate
(pyenv) [test@SAKURA_VPS pyenv]$　←　仮想環境になりました。

(pyenv) [test@SAKURA_VPS pyenv]$ deactivate
[test@SAKURA_VPS pyenv]$

#coding:utf-8
# argv を取得するために sys をインポートします。
import sys

# コマンドライン引数を取り込み args に格納します。
args = sys.argv
# コマンドライン引数の2番目を取得して page_url 変数に格納します。
page_url = args[1]

#coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
# argv を取得するために sys をインポートします。
import sys

# コマンドライン引数を取り込み args に格納します。
args = sys.argv
# コマンドライン引数の2番目を取得して page_url 変数に格納します。
page_url = args[1]

dcap = dict(DesiredCapabilities.PHANTOMJS)

# ユーザーエージェント
# Android Chrome
dcap[“phantomjs.page.settings.userAgent”] = (“Mozilla/5.0 (Linux; Android 4.2.2; WX10K Build/103.0.2f30) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.109 Mobile Safari/537.36”)

driver = webdriver.PhantomJS(desired_capabilities=dcap)
driver.get(page_url)

time.sleep(10)
print(driver.page_source)

# 結果をファイルに出力する
f = open(‘test.txt’,’w’)
f.write(driver.page_source)
f.close()

# webdriverを閉じます。
driver.close()

(pyenv) [test@SAKURA_VPS scraping]$ python sele_test.py
Traceback (most recent call last):
  File “sele_test.py”, line 11, in 
    page_url = args[1]
IndexError: list index out of range
(pyenv) [test@SAKURA_VPS scraping]$

# コマンドライン引数を取り込み args に格納します。
args = sys.argv
print(args)　←　argsに何が入っているのか確認します。

(pyenv) [test@SAKURA_VPS scraping]$ python sele_test.py https://yahoo.co.jp
[‘sele_test.py’, ‘https://yahoo.co.jp’]
(pyenv) [test@SAKURA_VPS scraping]$

# コマンドライン引数を取り込み args に格納します。
args = sys.argv
print(args)　←　argsに何が入っているのか確認します。

# リストの数を調べます。
print(len(args))　←　Python 3.6です。

(pyenv) [test@SAKURA_VPS scraping]$ python sele_test.py https://yahoo.co.jp
[‘sele_test.py’, ‘https://yahoo.co.jp’]
2　←　リストの数は「2」と表示されました。

(pyenv) [test@SAKURA_VPS scraping]$ vit sele_test.py
#coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
# argv を取得するために sys をインポートします。
import sys

# コマンドライン引数を取り込み args に格納します。
args = sys.argv
print(args)

# リストの数を調べます。
#print(len(args))
arg_count = len(args)

# リストの数をチェックします。
if arg_count != 2:
    print(‘\n’)
    print(‘使用方法：python [プログラム.py] [URL]’)
    print(‘引数にURL（https://yahoo.co.jpなど）が必要です。’)
    print(‘\n’)
    # プログラムを終了します。
    quit()

# コマンドライン引数の2番目を取得して page_url 変数に格納します。
page_url = args[1]

dcap = dict(DesiredCapabilities.PHANTOMJS)

# ユーザーエージェント
# Android Chrome
dcap[“phantomjs.page.settings.userAgent”] = (“Mozilla/5.0 (Linux; Android 4.2.2; WX10K Build/103.0.2f30) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.109 Mobile Safari/537.36”)

driver = webdriver.PhantomJS(desired_capabilities=dcap)
driver.get(page_url)

time.sleep(10)
#print(driver.page_source)

# 結果をファイルに出力する
f = open(‘text.txt’,’w’)
f.write(driver.page_source)
f.close()

# webdriverを閉じます。
driver.close()

(pyenv) [test@SAKURA_VPS scraping]$ python sele_test.py
[‘sele_test.py’]

使用方法：python [プログラム.py] [URL]
引数にURL（https://yahoo.co.jpなど）が必要です。

(pyenv) [test@SAKURA_VPS scraping]$

(pyenv) [test@SAKURA_VPS scraping]$ python sele_test.py https://yahoo.co.jp
[‘sele_test.py’, ‘https://yahoo.co.jp’]
(pyenv) [test@SAKURA_VPS scraping]$

(pyenv) [test@SAKURA_VPS scraping]$ python selenium.py
Traceback (most recent call last):
  File “selenium.py”, line 2, in 
    from selenium import webdriver
  File “/home/test/pyenv/scraping/selenium.py”, line 2, in 
    from selenium import webdriver
ImportError: cannot import name ‘webdriver’
(pyenv) [test@SAKURA_VPS scraping]$ python
Python 3.6.3 (default, Oct 11 2017, 18:17:37)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux
Type “help”, “copyright”, “credits” or “license” for more information.
>>> from selenium import webdriver
Traceback (most recent call last):
  File “”, line 1, in 
  File “/home/test/pyenv/scraping/selenium.py”, line 2, in 
    from selenium import webdriver
ImportError: cannot import name ‘webdriver’
>>>

#coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
# argv を取得するために sys をインポートします。
import sys

(pyenv) [test@SAKURA_VPS scraping]$ pip list
DEPRECATION: The default format will switch to columns in the future. You can use –format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] section) to disable this warning.
beautifulsoup4 (4.6.0)
certifi (2017.11.5)
chardet (3.0.4)
Django (1.11.7)
idna (2.6)
mod-wsgi (4.5.20)
mod-wsgi-httpd (2.4.27.1)
pip (9.0.1)
pytz (2017.3)
requests (2.18.4)
selenium (3.7.0)　←　仮想環境で selenium がインストールされています。
setuptools (28.8.0)
urllib3 (1.22)
(pyenv) [test@SAKURA_VPS scraping]$

(pyenv) [test@SAKURA_VPS scraping]$ python
Python 3.6.3 (default, Oct 11 2017, 18:17:37)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux
Type “help”, “copyright”, “credits” or “license” for more information.
>>> from selenium import webdriver
Traceback (most recent call last):
  File “”, line 1, in 
  File “/home/test/pyenv/scraping/selenium.py”, line 2, in 　←　なぜかここで「/home/test/pyenv/scraping/selenium.py」を読みに行っている。
    from selenium import webdriver
ImportError: cannot import name ‘webdriver’
>>>