ipynb/intro/jun_anl_intro.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# **1 Введение в Data Science**\n",
    "\n",
    "## **1.1-1.3** *Введение в аналитику данных*\n",
    "\n",
    "Лекцию ведёт **Анастасия Миллер** аналитик в JetBrains\n",
    "\n",
    "\n",
    "### **1.2 Мир аналитики с чем работают аналитики данных и за что им платят**\n",
    "\n",
    "**План урока**\\\n",
    "***Цель:*** понять, в каком мире живёт аналитик данных, с кем он работает и какие проблемы решает.\n",
    "\n",
    "1. [Контекст работы аналитика](#Контекст-работы-аналитика)\n",
    "2. [Данные: исходные материалы для работы аналитика](#Данные:-исходные-материалы-для-работы-аналитика)\n",
    "3. [Данные и приватность](#Данные:-исходные-материалы-для-работы-аналитика)\n",
    "\n",
    "#### **Контекст работы аналитика**\n",
    "\n",
    "* ***Цель***\n",
    "     - Сделать продукт как можно более хорошим.\n",
    "\n",
    "* ***Команда***\n",
    "    - Глава команды\n",
    "    - Менеджер продукта -- смотрит на **потенциальных** пользователей\n",
    "    - Аналитик данных -- смотрит на **существующих** пользователей\n",
    "    - Разработчики\n",
    "    - Тестировщики\n",
    "    - Поддержка\n",
    "    \n",
    "**Пример**\n",
    "\n",
    "**1. Гипотеза**\\\n",
    "Пользователей,\n",
    "перестающих пользоваться\n",
    "Chrome, обижает какая-то\n",
    "конкретная проблема в нём.\n",
    "\n",
    "**2. Данные**\\\n",
    "Таблица со всеми\n",
    "действиями,\n",
    "совершавшимися кем-либо\n",
    "когда-либо в продукте.\n",
    "\n",
    "**3. Обработка**\\\n",
    "Оставить только клиентов,\n",
    "ушедших через короткое\n",
    "время после начала\n",
    "пользования. Найти\n",
    "действия, отличающие этих\n",
    "клиентов от оставшихся.\n",
    "\n",
    "**4. Вывод**\\\n",
    "Пользователям не нравится\n",
    "то, что происходит, когда мы\n",
    "открываем одновременно\n",
    "несколько инкогнито-вкладок.\n",
    "\n",
    "#### **Результат работы аналитика**\n",
    "* Донесённое знание о том, как люди взаимодействуют с продуктом.\n",
    "* Советы по улучшению продукта на основе этого знания.\n",
    "\n",
    "Рассказать, что иногда люди\n",
    "облизывают чашки —\n",
    "следовательно, не стоит делать\n",
    "чашки шершавыми снаружи.\\\n",
    "Рассказать, что люди предпочитают\n",
    "браться за джем на ваших тостах, —\n",
    "до того, как вы пойдёте спрашивать\n",
    "клиентов о том, что они едят на\n",
    "завтрак.\n",
    "\n",
    "#### **Данные: исходные материалы для работы аналитика**\n",
    "\n",
    "<html>\n",
    " <head>\n",
    "  <meta charset=\"utf-8\">\n",
    "  <title></title>\n",
    "  <style>\n",
    "   .thumb img  {\n",
    "    border: 2px solid #55c5e9; /* Рамка вокруг фотографии */\n",
    "    padding: 15px; /* Расстояние от картинки до рамки */\n",
    "    background: #666; /* Цвет фона */\n",
    "    margin-right: 10px; /* Отступ справа */\n",
    "    margin-bottom: 10px; /* Отступ снизу */\n",
    "   }\n",
    "  </style>\n",
    " </head>\n",
    " <body>\n",
    "  <p class=\"thumb\">\n",
    "    <img src=\"img/img1.png\" height=700 width=450 alt=\"Данные мечты\" class=\"thumb\">\n",
    "    <img src=\"img/img2.png\" height=700 width=484 alt=\"Данные реальности\" class=\"thumb\">\n",
    "  </p>\n",
    " </body>\n",
    "</html>\n",
    "\n",
    "#### **Выводы**\n",
    "\n",
    "* Аналитики всегда работают в команде.\n",
    "* Задача аналитика — понимать, как люди пользуются продуктами, которые создала его команда.\n",
    "* Результаты работы аналитика — советы и ответы на вопросы.\n",
    "\n",
    "\n",
    "### **1.3 Типичная задача аналитика**\n",
    "\n",
    "**Вопрос:** какие иконки мы можем убрать из верхнего ряда,\n",
    "чтобы людям, привыкшим к программе, не стало больно,\n",
    "а новопришедшим людям стало попроще?\n",
    "\n",
    "**Универсальный план поиска ответов на вопросы:**\n",
    "1. [Перевести задачу с языка бизнеса на язык данных.](#Перевод-с-языка-бизнеса-на-язык-данных)\\\n",
    "Что нужно посчитать, чтобы получить ответ на\n",
    "вопрос?\n",
    "2. [Посчитать то, что требуется посчитать.](#Посчитать-то,-что-требуется-посчитать)\n",
    "\n",
    "#### **Перевод с языка бизнеса на язык данных**\n",
    "\n",
    "**Вопрос:** какие иконки мы можем убрать из верхнего ряда,\n",
    "чтобы людям, привыкшим к программе, не стало больно,\n",
    "а новопришедшим людям стало попроще?\n",
    "\n",
    "* На верхней панели есть ненужные иконки.\n",
    "* Можно убрать ненужные иконки.\n",
    "* Что такое ненужная иконка? Это иконка, на которую никто не нажимает.\n",
    "* Нужно посчитать, сколько людей нажимает на каждую иконку.\n",
    "* А если на каждую кто-то нажимает? Нужно выбрать отсечку:\n",
    "убираем иконки, которые нужны менее чем 5% пользователей.\n",
    "* Нужно посчитать, какая доля клиентов пользовалась каждой из\n",
    "иконок.\n",
    "* Что такое “пользовались”? Считаем, что человек воспользовался\n",
    "иконкой, если хоть раз нажал на неё.\n",
    "\n",
    "#### **Посчитать то, что требуется посчитать**\n",
    "**Решение:** считаем для каждой иконки долю пользователей,\n",
    "которые нажимали на неё хотя бы один раз. Выкидываем\n",
    "иконки, которыми пользовалось меньше 5% людей.\n",
    "\n",
    "#### **Выводы**\n",
    "\n",
    "* Задачи для аналитики могут появляться и из вашей головы, и от\n",
    "других людей.\n",
    "* Если от результата задачи ничего не зависит, возможно, её не\n",
    "стоит делать.\n",
    "* Спланируйте заранее, как вы будете искать ответ на конкретный\n",
    "вопрос."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Метрики: вторая типичная задача аналитика**\n",
    "\n",
    "#### **Метрики**\n",
    "**Цель:** уметь сравнить между собой две версии продукта.\n",
    "\n",
    "**Решение:** сопоставить каждый из версий какое-то число.\n",
    "Чем больше число, тем лучше версия.\n",
    "\n",
    "* [Метрики: деньги](#Метрики:-деньги)\n",
    "* [Метрики: число пользователей](#Метрики:-число-пользователей)\n",
    "* [Метрики: конверсия](#Метрики:-конверсия)\n",
    "* [Выводы](#Выводы:)\n",
    "\n",
    "##### **Метрики: деньги**\n",
    "\n",
    "* **Точно отражает\n",
    "главную цель\n",
    "компании**\\\n",
    "Главная цель любой\n",
    "компании — заработать\n",
    "как можно больше денег.\n",
    "* **Медленная**\\\n",
    "Особенно в подписочных\n",
    "моделях.\n",
    "* **Не очень чувствительная**\\\n",
    "Сложно отследить, какое\n",
    "именно изменение\n",
    "повлияло на деньги.\n",
    "* **Ограниченно доступная**\\\n",
    "Цифрами прибыли не\n",
    "принято делиться с\n",
    "сотрудниками.\n",
    "\n",
    "<html>\n",
    " <head>\n",
    "  <meta charset=\"utf-8\">\n",
    "  <title></title>\n",
    "  <style>\n",
    "   .thumb img  {\n",
    "    border: 2px solid #55c5e9; /* Рамка вокруг фотографии */\n",
    "    padding: 15px; /* Расстояние от картинки до рамки */\n",
    "    background: #666; /* Цвет фона */\n",
    "    margin-right: 10px; /* Отступ справа */\n",
    "    margin-bottom: 10px; /* Отступ снизу */\n",
    "   }\n",
    "  </style>\n",
    " </head>\n",
    " <body>\n",
    "  <p class=\"thumb\">\n",
    "    <img src=\"img/img3.png\" height=700 width=531 alt=\"Метрики: деньги\" class=\"thumb\">\n",
    "    <img src=\"img/img4.png\" height=700 width=480 alt=\"Метрики: деньги\" class=\"thumb\">\n",
    "  </p>\n",
    " </body>\n",
    "</html>\n",
    "\n",
    "##### **Метрики: число пользователей**\n",
    "\n",
    "* **Коррелирует с целями компании**\\\n",
    "Главная цель любой\n",
    "компании — заработать\n",
    "как можно больше денег.\n",
    "* **Не совпадает с целями компании**\\\n",
    "Когда из появления\n",
    "пользователя не следует\n",
    "немедленное\n",
    "поступление денег.\n",
    "* **Хорошо мотивирует**\\\n",
    "“Сколько жизней мы\n",
    "сегодня сделали лучше?”\n",
    "\n",
    "<html>\n",
    " <head>\n",
    "  <meta charset=\"utf-8\">\n",
    "  <title></title>\n",
    "  <style>\n",
    "   .thumb img  {\n",
    "    border: 2px solid #55c5e9; /* Рамка вокруг фотографии */\n",
    "    padding: 15px; /* Расстояние от картинки до рамки */\n",
    "    background: #666; /* Цвет фона */\n",
    "    margin-right: 10px; /* Отступ справа */\n",
    "    margin-bottom: 10px; /* Отступ снизу */\n",
    "   }\n",
    "  </style>\n",
    " </head>\n",
    " <body>\n",
    "  <p class=\"thumb\">\n",
    "    <img src=\"img/img5.png\" height=700 width=481 alt=\"Метрики: число пользователей\" class=\"thumb\">\n",
    "    <img src=\"img/img6.png\" height=700 width=480 alt=\"Метрики: число пользователей\" class=\"thumb\">\n",
    "  </p>\n",
    " </body>\n",
    "</html>\n",
    "\n",
    "##### **Метрики: конверсия**\n",
    "<br>\n",
    "<br>\n",
    "$$\n",
    "Конверсия\\spaceтестового\\spaceпериода = \\frac{Число\\spaceпользователей, начавших\\spaceтестовый\\spaceпериод}{Число\\spaceпользователей, купивших\\spaceподписку\\spaceв\\spaceтечение\\spaceтестового\\spaceпериода}\n",
    "$$\n",
    "<br>\n",
    "<br>\n",
    "<br>\n",
    "\n",
    "#### **Выводы:**\n",
    "* Метрики нужны, чтобы понимать состояние продукта.\n",
    "* Метрики нужны, чтобы замечать поломки в продукте.\n",
    "* Разные метрики чувствительны к разным типам поломок. Это нормально, если вы смотрите на несколько метрик.\n",
    "\n",
    "### **Заключение**\n",
    "* Аналитики данных работают в команде с людьми. Придётся говорить.\n",
    "* Аналитики данных отвечают на вопросы про существующих пользователей.\n",
    "* Аналитики данных строят метрики и проверяют гипотезы."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## **Домашнее задание**\n",
    "\n",
    "<details>\n",
    "\n",
    "**Цель домашнего задания**\n",
    "* Познакомиться со стандартными задачами продуктового аналитика.\n",
    "* Научиться размышлять как аналитик.\n",
    "\n",
    "\n",
    "**Что нужно сделать**\n",
    "\n",
    "**1.** Узнайте, какими кнопками пользуется больше всего людей. Используйте тот же набор данных.\\\n",
    "Для вас подготовлена сводная таблица с частотой различных действий, вызываемых нажатием на иконку (её мы сделали в классе). Она находится на отдельном листе [«Частота действий»](https://docs.google.com/spreadsheets/d/1DpFfB61-jG3WsnK1PgM0jvEcAd0rEn1QJ_Ycfd5j_eU/edit#gid=1326472326).\\\n",
    "Листы в таблице — как отдельные вкладки в браузере, переключайтесь с одной  на другую в нижней части страницы.\\\n",
    "Ответ представьте в виде таблицы из десяти строк, описывающих десять наиболее часто используемых кнопок. В первой строке — самая часто используемая иконка, во второй — вторая по частоте использования иконка и так далее. В каждой строке укажите название действия, привязанного к этой иконке, и частоту его использования.\n",
    "\n",
    "**2.** Узнайте, какие пункты меню имеет смысл вынести на панель с иконками. Используйте тот же набор данных.\n",
    "\n",
    "Одни и те же действия можно сделать, нажав на иконку или выбрав их из меню (вспомните Google Sheets, где жирность шрифта можно поменять и с помощью иконки, и через меню Format, выбрав в нём пункт Bold).\n",
    "\n",
    "Для вас подготовлены [две сводные таблицы](https://docs.google.com/spreadsheets/d/1I9CwE8fsxybiHuYsmJWxsWxWcVyNxv7E-tUXl0TgHGo/edit#gid=1089684816):\n",
    "* с частотой различных действий, вызываемых нажатием на иконку (её мы сделали в классе), находится на отдельном листе «Частота действий по нажатиям на иконку»;\n",
    "* с частотой различных действий, вызываемых через меню, находится на отдельном листе «Частота действий по вызовам из меню».\n",
    "\n",
    "Листы в таблице — как отдельные вкладки в браузере, переключайтесь с одной на другую в нижней части страницы.\n",
    "\n",
    "Ответ представьте в виде таблицы. Опишите действия, которые необходимо вынести на панель с иконками. В каждой строке укажите название действия и обоснование, почему его нужно вынести. Справа от таблицы приведите свои рассуждения: опишите, как звучит правило, по которому вы решали, что нужно или не нужно выносить действие на панель иконок, как вы к нему пришли. В лекции аналогичные рассуждения приводятся там, где мы формулируем, что такое «бесполезные иконки». Чем полнее ваше пояснение, тем лучше. [Пример оформления ответа](https://docs.google.com/spreadsheets/d/1-Hq7jG94_kIL7EfIH5mVVYqLuDcohtfQMds_jyl9w34/edit) (не повторяйте рассуждения из примера, они некорректные и сложные).\n",
    "\n",
    "**3. Дополнительное задание** (для эксель-джедаев, выполните по желанию).\n",
    "Подумайте, какие действия удобнее всего вызывать из меню, какие действия люди предпочитают искать на панели инструментов, а какие — вызывать с клавиатуры. Подготовьте рекомендации: для каждого действия укажите, стоит ли его добавлять на панель инструментов, оставлять в меню или же показывать новым пользователям подсказку о том, как запустить это действие с клавиатуры.\n",
    "\n",
    "\n",
    "Ответ представьте в виде таблицы, опишите каждое действие в отдельной строке. Строка должна содержать название действия, вашу рекомендацию (например, добавить на панель инструментов, оставить в меню, показать подсказку) и объяснение, почему предложена именно эта рекомендация.\n",
    "\n",
    "\n",
    "**4. Дополнительное задание** (теоретическое, выполните, если очень хочется).\n",
    "Придумайте один-два варианта, которые помогут определить, что клиент использует кнопку. Объясните, почему они имеют смысл. Подумайте, как они могут повлиять на результат выполнения задачи.\n",
    "Ответ опишите в свободной форме на отдельном листе в таблице либо в отдельном Google Документе.\n",
    "\n",
    "\n",
    "**Рекомендации по выполнению**\n",
    "\n",
    "* Если формулировка задания вызывает у вас ступор, посмотрите ещё раз, как мы привязывали к данным очень похожее утверждение. Какие пункты меню имеет смысл вынести на панель с иконками, если мы хотим, чтобы пользователям было легче работать? Как этот критерий сформулировать в числах?\n",
    "\n",
    "* Результат отправьте в виде таблицы. Настройте доступ по ссылке с правом комментирования или редактирования. Так преподаватель сможет оставить комментарии внутри документов при необходимости.\n",
    "\n",
    "* Если вам нужно изменить сводные таблицы или провести какой-то свой анализ данных (например, для выполнения задания 3), скопируйте их через «Файл → Создать копию».\n",
    "\n",
    "\n",
    "**Критерии оценки**\n",
    "\n",
    "«Зачёт» — выполнены пункты первого и второго задания, ответы обоснованы. \n",
    "\n",
    "«На доработку» — выполнены не все обязательные пункты задания или нет обоснования выбора хотя бы по одному из обязательных пунктов.\n",
    "\n",
    "Результат выполнения задания отправьте на проверку преподавателю в виде таблицы. На каждое выполненное задание заведите отдельный лист с названиями вида «Задание 1» и так далее. \n",
    "\n",
    "Отправьте таблицу один раз в конце модуля вместе с выполненным заданием по машинному обучению. Если вы выполняете задание 4 в отдельном документе Google Docs, не забудьте отправить ссылку и на него тоже."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## **1.4** *Машинное обучение, области применения*\n",
    "\n",
    "Лекцию ведёт **Андрей Мещеряков** Data Scientist в EPAM\n",
    "\n",
    "<br>\n",
    "\n",
    "**План урока**\n",
    "\n",
    "1. [Что такое машинное обучение](#Что-такое-машинное-обучение)\n",
    "2. [Чем занимаются инженеры машинного обучения](#Где-используется-машинное-обучение)\n",
    "3. [Ограничения **машинного обучения**](#Ограничения-машинного-обучения)\n",
    "4. [Выводы](#Выводы.)\n",
    "\n",
    "\n",
    "### Данные вокруг нас\n",
    "\n",
    "<html>\n",
    " <head>\n",
    "  <meta charset=\"utf-8\">\n",
    "  <title></title>\n",
    "  <style>\n",
    "   .thumb img  {\n",
    "    border: 2px solid #55c5e9; /* Рамка вокруг фотографии */\n",
    "    padding: 15px; /* Расстояние от картинки до рамки */\n",
    "    background: #666; /* Цвет фона */\n",
    "    margin-right: 10px; /* Отступ справа */\n",
    "    margin-bottom: 10px; /* Отступ снизу */\n",
    "   }\n",
    "  </style>\n",
    " </head>\n",
    " <body>\n",
    "  <p class=\"thumb\">\n",
    "    <img src=\"img/img7.png\" height=700 width=900 alt=\"Данные вокруг нас\" class=\"thumb\">\n",
    "  </p>\n",
    " </body>\n",
    "</html>\n",
    "\n",
    "<br>\n",
    "<br>\n",
    "\n",
    "### Что такое машинное обучение\n",
    "\n",
    "* **Data Scientist**\n",
    "Извлекает важную информацию из данных для решения реальных\n",
    "задач и принятия решений.\n",
    "\n",
    "* **Инженер машинного обучения**\n",
    "Учит машину самостоятельно принимать решения и обосновывать\n",
    "выводы.\n",
    "\n",
    "Зачастую, этой информации слишком много для того, чтобы обработать её вручную и принять решение. Однако мы можем заставить машины **принимать решения за нас**. Главное - <u>обосновывать свои выводы</u>.\\\n",
    "Это и есть задача инженеров **Машинного обучения**: - научить машину самостоятельно анализировать информацию, принимать решения и обосновывать свои выводы.\n",
    "\n",
    "\n",
    "### Где используется машинное обучение\n",
    "\n",
    "Теперь посмотрим, где может применять машинное обучение.\\\n",
    "Впринципе, везде, где есть какие-либо данные. Важно понимать, что **Машинное обучение** как и любая другая технология призвана в первую очередь помогать людям и зарабатывать деньги.\n",
    "\n",
    "\n",
    "#### Маркетинг\n",
    "Возьмём, к примеру, **маркетинг**: Онлайн-маркетинг и персонализированная реклама.\\\n",
    "К примеру, совершая заказ в интернет-магазине, сервис порекомендует сопутствующий товар, который может нам также пригодиться. А затем, рекомендация ещё всплывёт в контекстной рекламе в соц.сетях.\\\n",
    "В данном примере алгоритмы **Машинного обучения** во-первых, порекомендовали товары, которые нам скорее всего понравятся, а во-вторых, соединили наш аккаунт в данном интернет-магазине с аккаунтом в соц.сетях для того, чтобы дополнительно рекламировать нам товар.\n",
    "\n",
    "#### Креативность\n",
    "Другое применение **Машинного обучения** - это т.н. *искусственная креативность*, когда приложение на основе *нейросетей* обрабатывает картинки, например, в стиле какого-нибудь известного художника. Это приложение использует *нейронные сети* для того, чтобы на основе существующей картинки генерировать новую.\n",
    "\n",
    "#### Написание текстов\n",
    "Кроме картинок *нейронные сети* могут генерировать предложения и даже целые тексты.\\\n",
    "В начале 2019 года была создана *нейронная сеть*, способная генерировать тексты любой длины. Эта нейронная сеть настолько хорошо генерировала новостные статьи и пресс-релизы, что компания, которая её изобрела решила не публиковать полную версию, а только урезанную.\\\n",
    "Но и урезанная версия довольно неплохо справляется со своей задачей. Убедимся в этом.\n",
    "\n",
    "Давайте откроем ссылку на [Talk to Transformer](https://app.inferkit.com/demo) и выберем интересную тему из списка, например, *\"Дебютный альбом Илона Маска\"*.\\\n",
    "Видим как *нейронная сеть* работает и постепенно появляется текст про несуществующий дебютный альбом Илона Маска. Постепенно текст появляется потому, что *нейронная сеть* предсказывает только одно следующее слово.\\\n",
    "Однако, общий результат впечатляет! И текст оказывается довольно связным. Нейросеть каждый раз придумывает новый текст случайно.\n",
    "\n",
    "Пример текста, сгенерированного *нейросетью*:\n",
    "\n",
    "<u>Elon Musk's debut album</u>\n",
    "\n",
    "While not normally known for his musical talent, Elon Musk is releasing a debut album\n",
    "\n",
    "\n",
    "**Completion**\n",
    "\n",
    "***While not normally known for his musical talent, Elon Musk is releasing a debut album*** on Friday, as part of a project he's been working on for more than five years, in collaboration with Ian Hunter.\n",
    "\n",
    "SpaceX and Tesla CEO Elon Musk confirmed on Friday that he plans to release his first solo album on the same day that a single from the forthcoming album — a song called \"Trigger Junkie\" — hits iTunes. The single will be available to listen to on Musk's website, where you can also buy\n",
    "\n",
    "\n",
    "9600 weekly characters left\n",
    "\n",
    "***\n",
    "\n",
    "Перевод текста:\n",
    "\n",
    "<u>Дебютный альбом Илона Маска</u>\n",
    "\n",
    "Илон Маск обычно не известен своим музыкальным талантом, но выпускает дебютный альбом.\n",
    "\n",
    "**Завершение**\n",
    "\n",
    "**Илон Маск обычно не известен своим музыкальным талантом, но в пятницу он выпускает дебютный альбом** в рамках проекта, над которым он работал более пяти лет в сотрудничестве с Яном Хантером.\n",
    "\n",
    "Генеральный директор SpaceX и Tesla Илон Маск подтвердил в пятницу, что планирует выпустить свой первый сольный альбом в тот же день, когда сингл из будущего альбома - песня под названием \"Trigger Junkie\" - появится в iTunes. Сингл будет доступен для прослушивания на сайте Маска, где вы также можете купить его.\n",
    "\n",
    "Осталось 9600 еженедельных символов\n",
    "\n",
    "***\n",
    "\n",
    "Кстати, [Google Translate](https://translate.google.com/) - это ещё одно приложение, которое с помощью *нейронной сети* переводит текст на другой язык. Причём, в последнее время, качество перевода заметно выросло, хотя и не достигло пока уровня профессионального переводчика.\n",
    "\n",
    "#### Медицина\n",
    "Некоторые применения **Машинного обучения** приносят пользу, которую невозможно измерить деньгами. В сентябре 2019 года прошёл сертификацию первый в мире рентген аппарат, способный на снимках обнаруживать [пневмоторакс](https://ru.wikipedia.org/wiki/Пневмоторакс) и сигнализировать об этом рентгенологу. Пневмноторакс - это достаточно опасное осложнение, которое, по статистике, встречается у каждого 5000-ного человека, а каждый 20-й случай - летален. Поэтому, важность такого изобретения невозможно переоценить.\n",
    "\n",
    "### Ограничения **машинного обучения**\n",
    "\n",
    "Раз уж мы сказали о преимуществах **машинного обучения**, то нужно сказать несколько слов и о его ограничениях.\n",
    "\n",
    "* **Этические ограничения**\\\n",
    "Мы доверяем принятие решений алгоритмам больше, чем себе,\n",
    "но что если принятое решение плохо повлияет на человека?\n",
    "* **Юридические ограничения**\\\n",
    "Персональные данные человека должны охраняться и не\n",
    "использоваться для его дискриминации.\n",
    "\n",
    "Если **машина** не распознает пневмоторакс на снимке пациента, то кто будет в этом виноват? Порой, мы доверяем алгоритмам больше, чем собственному опыту\n",
    "\n",
    "[Amazon](https://Amazon.com) создал систему **машинного обучения**, которая оценивала резюме кандидатов и автоматически отсеивала неподходящих. После нескольких дней эксплуатации такой системы выяснилось, что она отсеивала резюме женщин в 2 или 3 раза чаще, чем резюме мужчин с аналогичными способностями. Европейский и Американский закон о персональных данных однозначно говорят что никогда нельзя допускать дискриминацию в отношении своих пользователей.\\\n",
    "Поэтому, Amazon был вынужден отказать от использования своей системы несмотря на то, что на её разработку было затрачено много сил и ресурсов.\\\n",
    "Поэтому надо быть особенно внимательными, когда приходится иметь дело с персональными данными.\n",
    "\n",
    "### Выводы.\n",
    "\n",
    "* Инженеры машинного обучения учат машину самостоятельно\n",
    "принимать и обосновывать решение.\n",
    "* Данные – это основа машинного обучения.\n",
    "* Возможности машинного обучения практически не ограничены"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## **1.5** *Работа инженера* ***Machine learning***\n",
    "\n",
    "<br>\n",
    "\n",
    "**План урока**\n",
    "1. [Как инженеры машинного обучения строят работу](#Работа-инженера-машинного-обучения)\n",
    "2. [Как создать качественную модель?](#Как-создать-качественную-модель?)\n",
    "3. [Чем занимаются инженеры машинного обучения](#Где-используется-машинное-обучение)\n",
    "4. [Создание модели машинного обучения](#Создание-модели-машинного-обучения)\n",
    "5. [Выводы](#Выводы)\n",
    "\n",
    "Как инженеры **Машинного обучения** строят свою работу? В данном уроке мы создадим певую модель **машинного обучения** на этом курсе.\\\n",
    "А в конце - небольшое ***практическое задание***, посвящённое **машинному обучению**.\n",
    "\n",
    "### Работа инженера машинного обучения\n",
    "* Инженеры учат машину самостоятельно принимать решение.\n",
    "* Для этого инженеры создают модель машинного обучения (*нейронные сети*).\n",
    "* Модель должна быть качественной.\n",
    "\n",
    "<u>*Модель машинного обучения*</u> - это такой сборник правил, по которым машина будет принимать некоторые решения, однако содержание данного соборника (сами правила) определяются машиной **самостоятельно**. Именно поэтому, это и называется **машинным обучением**.\\\n",
    "Машина самостоятельно учится принимать решения.\\\n",
    "Машина подбирает эти правила таким образом, чтобы примнимать правильные решения как можно чаще.\\\n",
    "\n",
    "Главная задача инженера **МЛ** - не просто создать модель, но и сделать так, чтобы она приносила пользу заказчику. При этом, когда мы говорим \"пользу\" - мы подразумеваем, чтобы она была **качественной** с т.з. заказчика. Т.е. модель должна решать его, т.е. заказчика, задачи. Для того чтобы сделать модель качественной, инженеру нужно организовать свою работу чётко и структурно.\n",
    "\n",
    "### Как создать качественную модель?\n",
    "Найти ответы на следующие вопросы:\n",
    "* Какие задачи будет решать модель?\n",
    "* Какие данные мы можем использовать?\n",
    "* Какую именно модель мы будем обучать?\n",
    "* Как мы проверим модель?\n",
    "\n",
    "Для начала важно понять, а зачем вообще заказчик хочет эту модель? Какие задачи будет реашть модель.\\\n",
    "Далее - сбор необходимых данных. И провека, что они подходят для обучения и в т.ч. не нарушают никаких законов.\\\n",
    "И только после этого, мы можем приступить к созданию модели.\\\n",
    "А после создания модели, нам нужно проверить модель в деле, сделав несколько предсказаний. И часто проведя дополнительное тестирование.\n",
    "\n",
    "Следование чётко определённому процессу несёт определённые преимущества:\n",
    "- во-первых, можно представить работу над моделью ввиде чек-листа, ориентируясь на который, уже точно не забудем сделать что-то полезное для модели и для заказчика\n",
    "- во-вторых, когда вы работаете над несколькими задачами одновременно, вы в любой момент времени знаете статус каждой задачи: что сейчас делается, и какие шаги будут предприняты.\n",
    "\n",
    "### Создание модели машинного обучения\n",
    "\n",
    "#### **Этап 1: Business Understanding**\n",
    "На этом этапе важно понять:\n",
    "1. **Какую задачу хочет решить заказчик?**\\\n",
    "Удалять фотографии на которых изображены кошки\n",
    "2. **Как записать задачу на языке машинного обучения?**\\\n",
    "Выполнять классификацию фотографии на 2 класса: кошек и собак\n",
    "3. **Как понять, что мы хорошо решили задачу?**\\\n",
    "Мы удаляем минимальное количество фотографий с собаками\n",
    "\n",
    "<html>\n",
    " <head>\n",
    "  <meta charset=\"utf-8\">\n",
    "  <title></title>\n",
    "  <style>\n",
    "   .thumb img  {\n",
    "    border: 2px solid #55c5e9; /* Рамка вокруг фотографии */\n",
    "    padding: 15px; /* Расстояние от картинки до рамки */\n",
    "    background: #667; /* Цвет фона */\n",
    "    margin-right: 10px; /* Отступ справа */\n",
    "    margin-bottom: 10px; /* Отступ снизу */\n",
    "   }\n",
    "  </style>\n",
    " </head>\n",
    " <body>\n",
    "  <p class=\"thumb\">\n",
    "    <img src=\"img/img8.png\" height=700 width=800 alt=\"Собаки vs кошки\" class=\"thumb\">\n",
    "  </p>\n",
    " </body>\n",
    "</html>\n",
    "\n",
    "<br>\n",
    "\n",
    "Предположим, к нам обратилась компания, которая разрабатывает приложения \"Собачий Instagram\". Их целевая аудитория - ярые любители собак, которые выкладывают фотографии своих питомцев, а другие пользователи их оценивают. Но в приложении завелись \"тролли\", которые выкладывают фотографии своих кошек, чем очень нервируют пользователей-собачников. И те перестают пользоваться приложением.\\\n",
    "Компания хочет создать такую систему, которая бы проверяла фотографию и удаляла бы её, если на ней изображена кошка. Вцелом, цель компании понятна.\n",
    "\n",
    "Если переложить цель на язык **машиного обучения**, то заказчик хочет получить модель, которая бы выполняла классификацию загруженных фотографий на два класса: кошки и собаки.\n",
    "\n",
    "Показателем качества модели заказчик считает процент неправильно удалённых фотографий, т.е. таких фотографий, на которых в действительности изображены собаки, но наша модель посчитала что там кошки и удалила эту фотографию.\\\n",
    "Процент таких удалений должен быть как можно меньше, чтобы пользователи остались довольны.\\\n",
    "Это и будет основым требованием к нашей системе.\n",
    "\n",
    "#### **Этап 2: Data Understanding**\n",
    "На этом этапе важно понять:\n",
    "1. **Какие данные нужны системе?**\\\n",
    "Фотографии, поскольку\n",
    "приложение заказчика\n",
    "работает с фотографиями.\n",
    "2. **Что должно быть на фотографиях?**\\\n",
    "Кошки, чтобы знать, кого\n",
    "удалять, и собаки, чтобы\n",
    "знать, кого не удалять.\n",
    "3. **Сколько нужно фотографий?**\\\n",
    "1000 фотографий кошек и\n",
    "1000 фотографий собак.\n",
    "\n",
    "Данные в **машинном обучении** играют самую важную роль. И без данных машинное обучение впринципе бесполезно.\\\n",
    "Какие данные нам нужны для работы нашей системы? Т.к. приложение заказчика работает с фотографиями, то логично предположить, что и наша модель должна работать с **фотографиями**.\\\n",
    "Что должно быть изображено на этих фотографиях.\n",
    "\n",
    "Мы как инженеры **МЛ** должны научить модель принимать решения: изображена ли на фотографии кошка, или же собака.\\\n",
    "Для этого, мы должны выступить в роли учителя для машины и объяснить ей как ребёнку, что на этой фотографии изображена кошка, а на этой - собака.\n",
    "\n",
    "Поэтому нам нужны в первую очередь фотографии кошек, чтобы модель знала, какие фотографии *удалять*.\\\n",
    "Кроме того, нам пригодятся фотографии собак, чтобы модель знала кого *не нужно* удалять.\\\n",
    "Заказчик сказал, что кроме кошек и собак на фотографиях больше никого нет, поэтому, мы этим и ограничимся.\n",
    "\n",
    "Следующий немаловажный вопрос: а сколько нам нужно фотографий? **Машинное обучение** очень жадное до данных: чем больше - тем лучше.\\\n",
    "Поэтому, нам нужно как минимум 1000 фотогрфий кошек и 1000 фотографий собак. Но если есть больше, - то будет ещё лучше.\\\n",
    "Ещё один очень важный момент: количество фотографий кошек и фотографий собак должно быть примерно одинаковым. Тогда наша модель сможет их лучше отличать.\n",
    "\n",
    "Вцелом, это все требования, которые мы предъявляем данным: 1000 фотографий кошек, 1000 фотографий собак и количество фотографий кошек примерно одинаково с количеством фотографий собак.\n",
    "\n",
    "В приложении заказчика есть данные, которые отвечают нашим требвания. Данные уже подготовлены и переданы нам для обучения модели. Используем их на следующем этапе.\n",
    "\n",
    "#### **Этап 3: Data Preparation**\n",
    "На этом этапе выполняется подготовка данных.\\\n",
    "Готовим такие данные, чтобы в будущем мы могли легко обучить нашу модель.\\\n",
    "Посмотрим на данные, переданные нам заказчиком.\n",
    "\n",
    "Данные находятся в папке [cats_and_dogs_filtered](hw#2(1)/cats_and_dogs_filtered)\n",
    "Здесть есть ещё две папки: [train](hw#2(1)/cats_and_dogs_filtered/train) и [validation](hw#2(1)/cats_and_dogs_filtered/validation)\\\n",
    "Папка [train](hw#2(1)/cats_and_dogs_filtered/train) содержит ещё две папки: [cats](hw#2(1)/cats_and_dogs_filtered/train/cats) и [dogs](hw#2(1)/cats_and_dogs_filtered/train/dogs)\n",
    "\n",
    "А теперь загрузим эти фотографии в систему, которая поможет нам обучить модель классификации фотографий.\\\n",
    "Для этого воспользуемся сервисом [Teachable Machine](https://teachablemachine.withgoogle.com/) от [Google](https://google.com), который позволяет обучать модели без написания кода.\n",
    "\n",
    "**Инструкция**\n",
    "\n",
    "<details>\n",
    "    \n",
    "Переходим на [сайт](https://teachablemachine.withgoogle.com/), нажимаем на кнопку `Get Start`. Нам нужно классифицировать изображения, поэтому нажмём на панель `Image Project`.\\\n",
    "Здесь мы видим схему получения модели.\\\n",
    "И в первую очередь нам нужно загрузить данные для обучения.\\\n",
    "Слева видно два блока для данных: `Class1` и `Class2`. Переименуем классы в `Cats` и `Dogs` и загрузим фотографии кошек в `Cats`.\\\n",
    "Для этого нужно нажать кнопку `Upload` и выбрать путь к фотографии (фотографии выбираем именно из папки [train](hw#2(1)/cats_and_dogs_filtered/train), а не [validation](hw#2(1)/cats_and_dogs_filtered/validation).\\\n",
    "Итак, мы загрузили 1000 фотографий с кошками. Теперь необходимо загрузить в класс `Dogs` фотографии с собаками.\n",
    "\n",
    "Кнопка `Train Model` стала активной.\n",
    "</details>\n",
    "\n",
    "На этом этап подготовки данных завершён. Переходим к следующему этапу.\n",
    "\n",
    "#### **Этап 4:  Modelling**\n",
    "На этом этапе строится модель.\\\n",
    "Мы будем обучать модель, \"скармливая\" ей фотографии кошек и собак из папки [train](hw#2(1)/cats_and_dogs_filtered/train).\n",
    "\n",
    "Здесь рекомендуется закрыть все тяжёлые приложения и вкладки браузера, чтобы они не тормозили обучение.\n",
    "\n",
    "Мы провели большую подготовительную работу, и теперь просто нажмём на кнопку `Train Model` и полюбуемся процессом обучения модели.\\\n",
    "В этом блоке появилась надпись: `Preparing training data...`.\\\n",
    "Это значит, что система готовит фотографии к обучению. Теперь надпись сменилась секундомером и надписью `0/50`.\\\n",
    "50 - это количество шагов обучения. На каждом шаге обучения система показывает модели все фотографии подряд и говорит, изображена на фотографии кошка или собака, а модель как ребёнок пытается запомнить как выглядит кошка или собака и чем они отличаются друг от друга.\\\n",
    "Когда прогресс будет `50/50`, тогда система закончит обучать модель.\\\n",
    "При этом, вкладки браузера могут немного подвисать. Ещё сверху появилось уведомление о том, чтобы мы не закрывали вкладку пока идёт процесс обучения.\\\n",
    "Потому как, модель обучается прямо в браузере.\n",
    "\n",
    "Процесс обучения модели может занять несколько минут...\n",
    "\n",
    "Итак, после окончания процесса обучения модели. Теперь проверим как работает обученная модель.\\\n",
    "Нужно дать разрешение к веб-камере.\\\n",
    "Теперь нужно поднести к веб-камере кошку или собаку (или фотографию на телефоне) и показать её веб-камере.\\\n",
    "Проверяем работу модели.\n",
    "\n",
    "Теперь проведём более формальную проверку.\\\n",
    "Вернёмся к папке [validation](hw#2(1)/cats_and_dogs_filtered/validation).\\\n",
    "Справа в окне веб-камеры нужно выбрать `File` -> `Choose images`\\\n",
    "Загружаем картинки с кошками по одной в систему и проверяем как модель распознаёт её.\\\n",
    "Далее, проделываем тоже самое с фотографиями собак.\\\n",
    "Система работает как надо...\n",
    "\n",
    "А если теперь выберем фотографию [dog.2018.jpg](hw#2(1)/cats_and_dogs_filtered/validation/dogs/dog.2018.jpg)\\\n",
    "Откроем её и увидим, что вместо собаки наша модель определила кошку. Значит, если бы эту фотографию загрузил пользователь заказчика, то она была бы удалена.\\\n",
    "Нам обязательно нужно посчитать, сколько фотографий система так ошибочно заблокирует.\n",
    "\n",
    "Для этого придётся проверить все фотографии из нашей папки [validation](hw#2(1)/cats_and_dogs_filtered/validation).\\\n",
    "Это долго. И для этого пишут специальные программы. Они делают это автоматически.\n",
    "\n",
    "**99,5% - точность полученной модели**\n",
    "\n",
    "Заказчика этот результат устраивает. Значит мы достигли цели и обучили модель как надо.\n",
    "\n",
    "### Выводы\n",
    "* Инженеры машинного обучения разбивают свою работу на этапы.\n",
    "* Этапы можно использовать как чек-листы при подготовке моделей.\n",
    "* В конце работы модель нужно протестировать.\n",
    "\n",
    "Тестирование проводить на нескольких \"живых\" примерах, а можно проводить более формальное *автоматизированное тестирование*.\\\n",
    "Важно проводить тестирование на тех данных, которые модель не видела во время обучения.\\\n",
    "И если понятно, что модель работает хорошо и почти не ошибается, то можно смело показывать её заказчику."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Домашнее задание\n",
    "\n",
    "<details>\n",
    "\n",
    "**Описание**\\\n",
    "Заказчику понравилось, как вы работали над его задачей, и он хочет поручить вам новую. У заказчика есть приложение, похожее на «собачий инстаграм». В нём люди выкладывают фотографии хот-догов, купленных в разных кафе, а другие пользователи их оценивают. Компания снова столкнулась с недобросовестными пользователями: вместо хот-догов они постят фотографии картофеля фри или стейков и засоряют ленту. Ваша задача — создать модель, которая будет отличать фото хот-догов от фото с другими блюдами. Заказчик знает, что вам понадобится много данных, поэтому уже подготовил необходимые фотографии.\n",
    "\n",
    "<!DOCTYPE html>\n",
    "<html>\n",
    " <head>\n",
    "  <meta charset=\"utf-8\">\n",
    "  <title></title>\n",
    "  <style>\n",
    "   .thumb img  {\n",
    "    border: 2px solid #55c5e9; /* Рамка вокруг фотографии */\n",
    "    padding: 15px; /* Расстояние от картинки до рамки */\n",
    "    background: #667; /* Цвет фона */\n",
    "    margin-right: 10px; /* Отступ справа */\n",
    "    margin-bottom: 10px; /* Отступ снизу */\n",
    "   }\n",
    "  </style>\n",
    " </head>\n",
    " <body>\n",
    "  <p class=\"thumb\">\n",
    "    <img src=\"img/img9.png\" height=700 width=700 alt=\"Хот-дог или не хот-дог\" class=\"thumb\">\n",
    "  </p>\n",
    " </body>\n",
    "</html>\n",
    "\n",
    "**Цель задания**\\\n",
    "Научиться создавать рабочую модель по задаче заказчика.\n",
    "\n",
    "\n",
    "**Что нужно сделать**\\\n",
    "Повторите четыре этапа процесса машинного обучения, которые мы разобрали на практике, и получите работающую модель.\n",
    "\n",
    "1. Определите показатель качества будущей модели, который будет важен заказчику.\n",
    "\n",
    "2. Скачайте и распакуйте данные заказчика, проверьте, что тестовые данные отделены от основных. Посмотрите несколько фотографий в основном наборе данных и убедитесь, что заказчик правильно разложил фотографии по папкам.\n",
    "\n",
    "3. Создайте на Teachable Machines новый проект по классификации изображений с двумя классами: hot-dog и not-hot-dog. В первый класс добавьте изображения хот-догов, во второй — остальной еды.\n",
    "\n",
    "4. Запустите обучение модели. Когда обучение завершится (и до выполнения следующего задания), сделайте скриншот страницы Teachable Machines. Сохраните этот скриншот.\n",
    "\n",
    "5. Проверьте качество модели на нескольких изображениях из папки `validation`. Во время проверки сделайте три скриншота того, как модель определяет фотографии хот-догов, и три скриншота того, как модель определяет фотографии других блюд. Сохраните все шесть скриншотов.\n",
    "\n",
    "\n",
    "**Рекомендации по выполнению**\n",
    "\n",
    "Отправьте на проверку преподавателю сделанные скриншоты. Что должно получиться:\n",
    "\n",
    "* Один скриншот обученной модели.\n",
    "* Три скриншота определения изображений хот-догов.\n",
    "* Три скриншота определения изображений другой еды.\n",
    "    * Не забудьте также выполнить домашнее задание по аналитике, выданное вам ранее. Загрузите его в форму для отправки домашнего задания вместе с этим.\n",
    "\n",
    "[Данные](hw#2(1)/hot_dog_or_not)\n",
    "</details>"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}