Задачи, требующие решения на основе машинного обучения. Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Особенности языка R. Установка R Studio, работа с R Markdown.

Работа с данными, преобразование данных из узких таблиц в широкую, фильтрация и объединение данных по определенному признаку. Процедуры подготовки данных для исследований. Восполнение пропусков, устранение аномалий Упорядоченные и неупорядоченные данные. Транзакционные данные. Определение достаточного количества анализируемых объектов. Верификация. Трансформация. Оптимизация признакового пространства. Создание данных – типа временные ряды («привязка периодов времени»). Процедуры подготовки данных для исследований. Упорядоченные и неупорядоченные данные. Бининг и бинаризация (различия). Верификация. Работа с таблицами, датасетами и датафреймами. Разделение выборок, кросс-валидация. Работа с наборами данных: объединение датасетов по ключу, фильтрация и отбор, преобразование данных в различные типы, группировка по категориям, расчет базовых статистик, нормализация и стандартизация данных. Автоматический эксплоративный анализ данных.

Понятия парсинга и веб-скрейпинга: Проблем роста объемов данных. Интернет как основной источник больших данных. Веб-скрейпинг как технология получения веб-данных со страниц веб-ресурсов. Парсинг неструктурированной информации. Структурированная, полуструктурированная, неструктурированная информация. Этические вопросы сбора данных в сети Интернет. Законодательное регулирование. Стандарт исключений для роботов или robots.txt. HTML разметка и модель DOM: Браузер, HTML, CSS, JavaScript (JS). Cтруктура web-элемента: тег, атрибут, свойство, содержимое. DOM, или объектная модель документов (Document Object Model). Узлы, родительские и дочерние элементы. Сбор данных со статических сайтов: Работа с пакетами rvest, xml2, scrapeR, httr, ralger, robotstxt. Проверка ограничений на сбор данных в robots.txt. Поиск и выгрузка содержимого отдельного элемента, таблицы целиком. Построение циклов отбора данных, в том числе с переходом между страницами, и структурирование получаемых данных. Реализация сбора данных с сайтов с открытой политикой сбора данных. Динамические сайты и их особенности: Понятие Динамический сайт. Специфика динамических сайтов: рендеринг JavaScript, асинхронность контента, интерактивность, наличие всплывающих окон и т.д. Selenium - платформа автоматизации браузера с открытым исходным кодом. Ограничения Selenium: сниженная производительность, ресурсоемкость RSelenium WebDriver и его запуск. Поиск и выгрузка содержимого отдельного элемента, файла, отправка данных. Построение циклов отбора данных, в том числе с переходом между страницами, и структурирование получаемых данных. Веб-API. Понятие API и задачи которые он решает. Виды API. Протоколы и правила взаимодействия. Аутентификация. OpenAPI. Получение данных средствами API. Работа с пакетами rscopus, osmdata, nominatimlite. Знакомство с Протоколами и правилами взаимодействия отдельных ресурсов: vk.com, openstreetmap.org, scopus.com и др.

Сущность больших данных. Свойства больших данных. Проблемы и вызовы Big Data. Базовые принципы обработки больших. История развития технологий больших данных. Архитектура хранения и обработки данных. Параллельные вычисления в распределенных кластерах. Модель распределенных вычислений MapReduce. Фазы Map, Shuffle and Sort, Reduce. Принцип работы. Преимущества и недостатки. Фреймворк Spark для реализации распределенной обработки данных. Преимущества в сравнении с MapReduce. Архитектура Spark-приложения. Resilient distributed datasets (RDD). Трансформации (narrow, wide)/действия Google Colab – бесплатная среда для разработки и выполнения программного кода в облаке. Обработка данных методами и инструментами Apache Spark в Google Colab. 

Типы графиков – scatter plot, линейные, бок-плоты, хитмапы, диаграммы и картограммы. Пакет ggplot2 в R. Работа с палитрами, создание собственных палитр. Построение и модификация графиков в R. Нестандартные графики: круглый барплот, круглая дендрограмма, потоковая диаграмма, карты связанности и т.д. Построение интерактивных графиков в R. Показатели связи для различных типов бизнес-данных (корреляция, конкордация, ассоциация, контингенция, показатели взаимной сопряженности). Метод главных компонент и факторный эксплораторный анализ как методы комплексного анализа бизнес-данных. Создание Shiny-приложений. Понятия web-программирования. Клиентская и серверная часть приложения. Варианты виджетов, реализуемых в R. Разметка в R Markdown. Оформление отчета, вставка кода в отчет, работа с чанками, работа с формулами и графиками.