С помощью R делаем скриншоты
17-09-2019
Иногда стоит задача наглядно показать как выглядит рекламное объявление в выдаче Яндекса или Гугла, на тематической площадке или автоматически фиксировать сайт конкурентов. Рассмотрим как это можно решить с помощью языка R. Так как Яндекс фильтрует однотипные запросы с одного IP, то будем использовать прокси сервер.
Используем
- R среда для статистических расчетов;
- FTP сервис, куда будем выкладывать скриншоты;
- Пакеты webshot (Winston Chang) и getProxy (Алексей Селезнев);
- Power BI (для формирования отчета)
Последовательность действий:
- Формируем в среде R данные для обработки;
- Запускаем прокси;
- Делаем снимок экрана;
- Выгружаем данные на FTP;
- Отключаемся от прокси;
- Формируем отчет в Power BI
Шаблон кода для Яндекса
# webshot::install_phantomjs()
# install.packages("getProxy")
library(webshot)
library(RCurl)
library(bitops)
library(getProxy)
setwd("C:/YandexDisk/Clients_R/)
# Формируем объекты
Word <- c("You word")
url <- "https://yandex.ru/search/?text="
rigionID <- "lr=213"
psw <- "password"
loginFTP <- "Login FTP"
ftpIP <- "000.00.00.000"
date <- as.POSIXlt(Sys.time())
wday <- date$wday
hour <- date$hour
prefix <- paste0("day_", wday, "_", "hour_", hour, ".", "png")
protocol <- "ftp://"
sep_1 <- ":"
sep_2 <- "/"
sep_3 <- "@"
localURL <- paste0(getwd(), sep_2, prefix)
ftputl <- paste0(protocol, loginFTP, sep_1, psw, sep_3, ftpIP, sep_2, prefix)
# Запускаем прокси
prox_ip_and_port <- getProxy(port = "3128", country = "RU", supportsHttps = TRUE, action = "start")
# делаем снимок экрана
webshot(paste0(url, Word,"&", rigionID), prefix, cliprect = "viewport")
# Загружаем данные на FTP
ftpUpload(what = localURL, to = ftputl)
# Отключаемся от прокси
getProxy(action = "stop")Используем прокси
Прокси используем чтобы не получить вот такие скриншоты
Пример отчета
В Power BI можно сделать примерно вот такой вот отчет.