Оптимизация загрузки данных в бд из json и загрузки страницы #117

lightalloy · 2025-02-15T09:45:15Z

вынесла код в service object
тест на основную функциональность
оптимизировала вставку в бд
оптмизировала загрузку страницы

lightalloy · 2025-02-15T09:46:59Z

spec/services/trips_importer_spec.rb

+      described_class.call(Rails.root.join("fixtures/example.json"))
+    end.to change(City, :count).by(2).and change(Service, :count).by(2).and change(Bus, :count).by(1).and change(Trip, :count).by(10)
+
+    expect(Bus.last.services.count).to eq(2)


Базовый тест, можно бы разбить, но для наших целей хватит))

Также не помешал бы тест на производительность.

lightalloy · 2025-02-15T09:49:02Z

case_study.md

+
+Решила рискнуть и попробовать на `1M.json`, получилось за 30 секунд. Как так? Все записи на месте в бд.
+
+## Б. Отображение расписаний


Не помешало бы реквест-тест добавить, моя недоработка )
Хоть и изменения минимальные в этом пункте.

в ПР видел ещё тесты на view, вот это крутотень конечно

Ну реквест- типа интеграционные, покроют и вью (в той мере, в к-й напишем :)

lightalloy · 2025-02-15T10:22:50Z

db/schema.rb

+    t.index ["name"], name: "index_services_on_name", unique: true
  end

  create_table "trips", force: :cascade do |t|


Вообще думаю, что индексы на to_id и тд связи не помешали бы ))

Но почему то нигде не показало что поиск по Trip какой то медленный запрос, я поэтому и не стал ничего добавлять. Надо следовать мантре)

Согласна. В реальном приложении важна ещё согласованность данных, это, конечно про foreign key, но индекс обычно сразу тоже.
Сейчас попробовала для интереса добавить внешние ключи и индексы. Конечно, вставка стала намного медленнее - ведь субд индексы ещё поддерживать нужно в актуальном состоянии.

А отображение страницы с индексами - первый запрос так же +-, последующие в 2 раза быстрее где-то.

Т.е. как всегда - решение зависит от целей :)

araslanov-e · 2025-02-15T10:26:50Z

app/controllers/trips_controller.rb

    @from = City.find_by_name!(params[:from])
    @to = City.find_by_name!(params[:to])
-    @trips = Trip.where(from: @from, to: @to).order(:start_time)
+    @trips = Trip.where(from: @from, to: @to).includes(bus: :services).order(:start_time)


💪
Любопытно только, почему ты добавила его после where?

Не специально. Вообще ar соберёт.

araslanov-e · 2025-02-15T10:29:59Z

app/services/trips_importer.rb

+      # вот такой insert into buses_services
+      # вообще чаще используем has_and_belongs_to_many , потому что часто в связке потом нужны доп. данные и таймстемпы, и свой id
+      # тогда можно было бы insert_all использовать
+      if buses_services.present?


Ухты, не подумал что так можно было buses_services одним запросом вставить

araslanov-e · 2025-02-15T10:34:02Z

case_study.md

+
+Время: 632  
+
+Решила, что этого хватит.


Аналогичное решение))

araslanov-e

В)

usernaimandrey · 2025-02-15T19:31:29Z

app/services/trips_importer.rb

+  end
+
+  def call
+    json = JSON.parse(File.read(file))


Можно поробовать разбирать JSON потоков
https://github.com/dgraham/yajl-ffi
https://github.com/dgraham/json-stream

И ваще курутотень будет)

spajic

👍 ✅

spajic · 2025-02-18T21:52:12Z

Gemfile

+gem 'rspec-rails'
 gem 'rack-mini-profiler'
+gem 'ruby-prof'
+gem 'strong_migrations'


spajic · 2025-02-18T21:52:47Z

app/services/trips_importer.rb

@@ -0,0 +1,94 @@
+class TripsImporter


лайк за отдельный класс

spajic · 2025-02-18T21:55:24Z

app/views/trips/index.html.erb

    <% end %>
  </ul>
-  <%= render "delimiter" %>
+  ====================================================


можно оставить паршлы, применить рендеринг коллекций и там даже можно delimiter (spacer) задать параметром https://guides.rubyonrails.org/layouts_and_rendering.html#spacer-templates

так будет не настолько тормозить, и при этом сохраняется удобство декомпозиции на паршлы

spajic · 2025-02-18T21:56:28Z

case_study.md

+Сначала попробовала поэтапно идти:
+
+- переписала на один insert trips, не трогая другие части; стало ещё медленнее - откатила пока
+- добавляла уникальные индексы на справочные данные + использовала upsert, но во-первых не так уж сильно оптимизировало, во-вторых оказалось, что `upsert` не возвращает id, если нет вставки. Тест не отловил, т.к. там одна поездка. Дописывать тест не стала (поленилась), но в реальном приложении нужно.  


при вставке какого-то большого объёма данных может иметь смысл наоборот удалить индексы, вставить все данные, а потом уже пересоздать индексы заново

spajic · 2025-02-18T22:00:11Z

app/controllers/trips_controller.rb

    @from = City.find_by_name!(params[:from])
    @to = City.find_by_name!(params[:to])
-    @trips = Trip.where(from: @from, to: @to).order(:start_time)
+    @trips = Trip.where(from: @from, to: @to).includes(bus: :services).order(:start_time)


по идее не помешало бы ещё индекс на trips [from_id, to_id], можно составной

именно на время рендеринга это сильно не влияет (так как процент на выполнение этого SQL маленький), но если бы мы заходили со стороны оптимизации БД - там бы это очень помогло;

lightalloy and others added 9 commits February 12, 2025 18:42

Moved out code to the service, added naive rspec test

1d11f37

Added unique index to services + upsert services

81c9eb3

Kind of optimization

d78d831

Bulk insert trips

5567afd

Unique index to cities + rewrote importer

12be987

Added uniqui index to buses_services

6bbf6bd

Case study, task A (import optimization)

f1cb57f

Simple optimizations for trips rendering

82fc9a1

Small improvements for import and case study

864a979

lightalloy commented Feb 15, 2025

View reviewed changes

araslanov-e reviewed Feb 15, 2025

View reviewed changes

araslanov-e approved these changes Feb 15, 2025

View reviewed changes

usernaimandrey reviewed Feb 15, 2025

View reviewed changes

spajic approved these changes Feb 18, 2025

View reviewed changes


		Решила рискнуть и попробовать на `1M.json`, получилось за 30 секунд. Как так? Все записи на месте в бд.

		## Б. Отображение расписаний


		Время: 632

		Решила, что этого хватит.

Оптимизация загрузки данных в бд из json и загрузки страницы #117

Are you sure you want to change the base?

Оптимизация загрузки данных в бд из json и загрузки страницы #117

Uh oh!

Conversation

lightalloy commented Feb 15, 2025

Uh oh!

Choose a reason for hiding this comment

Uh oh!

lightalloy Feb 15, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

araslanov-e left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

spajic left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

lightalloy Feb 15, 2025 •

edited

Loading