python_pd/05_files/05_csv.ipynb

{
 "metadata": {
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.0"
  },
  "orig_nbformat": 2,
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3.9.0 64-bit ('.venv')"
  },
  "interpreter": {
   "hash": "178cad48488a45b94c2e1acb3bfd8ec03d0e926b0801a270a439a0363b59c19a"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2,
 "cells": [
  {
   "cell_type": "markdown",
   "source": [
    "# Модуль ```csv```\r\n",
    "\r\n",
    "\r\n",
    "csv-файл - это тип обычного текстового файла, в котором используется определенная структура для упорядочивания табличных данных. Поскольку это простой текстовый файл, он может содержать только фактические текстовые данные, другими словами, символы ASCII или Unicode.\r\n",
    "\r\n",
    "Структура csv файла схожа с обычными таблицами. У таблиц есть несколько основных элементов:\r\n",
    "- заготовок;\r\n",
    "- строки;\r\n",
    "- столбцы (элементы строк).\r\n",
    "\r\n",
    "Формат csv содержит эти же элементы. Заготовок всегда располагается в первой строке файла. Заготовок опционален, т.е. он может отсутствовать. Каждая строка файла образует строку таблици. Элементы строки (столбцы) должны быть разделены определенным разделителем, который можно задать самостоятельно. Обычно символ-разделитель называется разделителем. В качестве разделителя могут использоваться разные символы, например, символы табуляции (```\\t```), двоеточия (```:```) и точки с запятой (```;```) и др. Для правильного анализа csv-файла необходимо заранее знать, какой разделитель используется.\r\n",
    "\r\n",
    "Вот как выглядит эта структура:\r\n",
    "\r\n",
    "```csv\r\n",
    "column1;column2;column3\r\n",
    "foo;bar;baz\r\n",
    "1;2;3.2\r\n",
    "```\r\n",
    "\r\n",
    "Здесь первая строка является заголовком. На самом деле она ничем не отличается от остальных.\r\n",
    "\r\n",
    "Формат csv удобен при работе с табличными данными. В этот формат можно легко преобразовать данные, полученные из базы данных. Очень часто в этом формате распространяются датасеты для анализа данных. Обычно каждый столбец этого формата имеет один тип данных, например, в датасете о погоде в столбце суточной температуры будут храниться числа с плавающей точкой. Необходимо выбирать символ для точки (запятая или точка), а также разделитель. Нельзя делать разделителем запятую, если она является разделителем в числе. Такой способ организации данных позволяет просто преобразовать данные в текстовый формат и наоборот. В связи с тем, что csv формат хранит текстовые данные, то работать с ними можно и напрямую, читая строки файла и совершая над ними какие-либо манипуляции.\r\n",
    "\r\n",
    "Основным недостатком csv формата является его плохая человекочитаемость, т.к. в большом файле трудно разобрать, где и какие данных находятся.\r\n",
    "\r\n",
    "Библиотка ```csv``` входит в стандартную библиотеку Python и предоставляет возможности для чтения и записи данных в csv-файл. Для начала работы достаточно импортировать этот модуль."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "source": [
    "import csv\r\n",
    "\r\n",
    "\r\n",
    "print(csv.__doc__)"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "CSV parsing and writing.\n",
      "\n",
      "This module provides classes that assist in the reading and writing\n",
      "of Comma Separated Value (CSV) files, and implements the interface\n",
      "described by PEP 305.  Although many CSV files are simple to parse,\n",
      "the format is not formally defined by a stable specification and\n",
      "is subtle enough that parsing lines of a CSV file with something\n",
      "like line.split(\",\") is bound to fail.  The module supports three\n",
      "basic APIs: reading, writing, and registration of dialects.\n",
      "\n",
      "\n",
      "DIALECT REGISTRATION:\n",
      "\n",
      "Readers and writers support a dialect argument, which is a convenient\n",
      "handle on a group of settings.  When the dialect argument is a string,\n",
      "it identifies one of the dialects previously registered with the module.\n",
      "If it is a class or instance, the attributes of the argument are used as\n",
      "the settings for the reader or writer:\n",
      "\n",
      "    class excel:\n",
      "        delimiter = ','\n",
      "        quotechar = '\"'\n",
      "        escapechar = None\n",
      "        doublequote = True\n",
      "        skipinitialspace = False\n",
      "        lineterminator = '\\r\\n'\n",
      "        quoting = QUOTE_MINIMAL\n",
      "\n",
      "SETTINGS:\n",
      "\n",
      "    * quotechar - specifies a one-character string to use as the\n",
      "        quoting character.  It defaults to '\"'.\n",
      "    * delimiter - specifies a one-character string to use as the\n",
      "        field separator.  It defaults to ','.\n",
      "    * skipinitialspace - specifies how to interpret whitespace which\n",
      "        immediately follows a delimiter.  It defaults to False, which\n",
      "        means that whitespace immediately following a delimiter is part\n",
      "        of the following field.\n",
      "    * lineterminator -  specifies the character sequence which should\n",
      "        terminate rows.\n",
      "    * quoting - controls when quotes should be generated by the writer.\n",
      "        It can take on any of the following module constants:\n",
      "\n",
      "        csv.QUOTE_MINIMAL means only when required, for example, when a\n",
      "            field contains either the quotechar or the delimiter\n",
      "        csv.QUOTE_ALL means that quotes are always placed around fields.\n",
      "        csv.QUOTE_NONNUMERIC means that quotes are always placed around\n",
      "            fields which do not parse as integers or floating point\n",
      "            numbers.\n",
      "        csv.QUOTE_NONE means that quotes are never placed around fields.\n",
      "    * escapechar - specifies a one-character string used to escape\n",
      "        the delimiter when quoting is set to QUOTE_NONE.\n",
      "    * doublequote - controls the handling of quotes inside fields.  When\n",
      "        True, two consecutive quotes are interpreted as one during read,\n",
      "        and when writing, each quote character embedded in the data is\n",
      "        written as two quotes\n",
      "\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "Чтение из csv-файла выполняется с помощью ```reader``` объекта. csv-файл открывается как текстовый файл встроенной функцией ```open```, которая возвращает файловый объект. Затем он передается конструктору ```reader``` объекта, который, в свою очередь, выполняет тяжелую работу.\r\n",
    "\r\n",
    "Чтение можно производить не только файлов, но и строк напрямую. Для этого необходимо функции ```csv.reader```, которая является конструктором ```reader``` объекта, передать список строк, которые необходимо разобрать."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "source": [
    "for item in csv.reader(['1,2,3', 'q,w,e', 'True,None,1 + 1j']):\r\n",
    "    print(item)"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "['1', '2', '3']\n",
      "['q', 'w', 'e']\n",
      "['True', 'None', '1 + 1j']\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "Каждая строка, возвращаемая ```reader``` объектом, представляет собой список элементов типа ```str```, содержащих данные, найденные путем удаления разделителей."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "source": [
    "with open('python_pd/05_files/data.csv', 'r') as f:\r\n",
    "    reader = csv.reader(f, delimiter=';')\r\n",
    "    for i, line in enumerate(reader):\r\n",
    "        if i == 0:\r\n",
    "            # чтение заголовка, в файле data.csv он есть\r\n",
    "            print(f'{i}: {\" \".join(line)}')\r\n",
    "        else:\r\n",
    "            # вывод и выравнивание остальных строк\r\n",
    "            print(f'{i}: {\" \".join([\" \" * (7-len(s)) + s for s in line])}')"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "0: column1 column2 column3\n",
      "1:     foo     bar     baz\n",
      "2:       1       2       3\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "Для записи данных в csv файл есть ```writer``` объект. Он создается\r\n",
    "классом ```csv.DictWriter```, который в качестве аргументов принимает\r\n",
    "файловый объект, заголовки полей и разделитель.\r\n",
    "\r\n",
    "Для записи заголовка в файл можно воспользоваться методом\r\n",
    "```writeheader```, без его вызова заголовой записан не будет. Запись\r\n",
    "самих данных, т.е. каждой строки, происходит через вызов метода\r\n",
    "```writerow```. Этот метод принимает словарь формата\r\n",
    "```{'имя_поля': значне, ...}```. Ключи этого словаря должны быть\r\n",
    "названиями полей или столбцов, количество ключей должно совпадать с\r\n",
    "количеством полей, обозначенным через атрибут ```fieldnames```\r\n",
    "```writer``` объекта.\r\n",
    "\r\n",
    "Используя цикл для записи данных будте внимательны и следите за тем,\r\n",
    "чтобы метод ```writeheader``` вызывался один раз. Иначе заголовок файла\r\n",
    "бедет записан несколько раз."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "source": [
    "with open('python_pd/05_files/data.csv', 'w', newline='') as f:\r\n",
    "    fields = ['column1', 'column2', 'column3']\r\n",
    "    writer = csv.DictWriter(f, fieldnames=fields, delimiter=';')\r\n",
    "    writer.writeheader()\r\n",
    "    writer.writerow({'column1': 'foo', 'column2': 'bar', 'column3': 'baz'})\r\n",
    "    writer.writerow({'column1': 1, 'column2': 2, 'column3': 3})"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "# Полезные ссылки\n",
    "\n",
    "- [Документация к модулю ```csv```](https://docs.python.org/3/library/csv.html)\n",
    "- [Reading and Writing CSV Files in Python](https://realpython.com/python-csv/)"
   ],
   "metadata": {}
  }
 ]
}