-
Notifications
You must be signed in to change notification settings - Fork 139
Optimization ruby program by memory #106
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Open
beglov
wants to merge
10
commits into
hardcode-dev:master
Choose a base branch
from
beglov:optimization
base: master
Could not load branches
Branch not found: {{ refName }}
Loading
Could not load tags
Nothing to show
Loading
Are you sure you want to change the base?
Some commits from the old base branch may be removed from the timeline,
and old review comments may become outdated.
Open
Changes from all commits
Commits
Show all changes
10 commits
Select commit
Hold shift + click to select a range
31724fa
Streaming approach
beglov 7c47c00
Construct sessions array
beglov ded3c45
Construct user sessions array
beglov c78daf3
Setup stackprof
beglov 0d4089f
Setup ruby-prof
beglov 46b3757
Fix split problem
beglov 9a30629
Fix Date#parse problem
beglov 833ff24
Streaming approach
beglov 8fd4e8e
Fix split problem
beglov f6a7d37
Mission complete!
beglov File filter
Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
There are no files selected for viewing
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| Original file line number | Diff line number | Diff line change |
|---|---|---|
|
|
@@ -12,44 +12,54 @@ | |
| Я решил исправить эту проблему, оптимизировав эту программу. | ||
|
|
||
| ## Формирование метрики | ||
| Для того, чтобы понимать, дают ли мои изменения положительный эффект на быстродействие программы я придумал использовать такую метрику: *тут ваша метрика* | ||
| Для того, чтобы понимать, дают ли мои изменения положительный эффект на быстродействие программы я придумал использовать такую метрику: затрачиваемое количество мегабайт памяти на обработку файла в 10000 строк. | ||
|
|
||
| ## Гарантия корректности работы оптимизированной программы | ||
| Программа поставлялась с тестом. Выполнение этого теста в фидбек-лупе позволяет не допустить изменения логики программы при оптимизации. | ||
|
|
||
| ## Feedback-Loop | ||
| Для того, чтобы иметь возможность быстро проверять гипотезы я выстроил эффективный `feedback-loop`, который позволил мне получать обратную связь по эффективности сделанных изменений за *время, которое у вас получилось* | ||
| Для того, чтобы иметь возможность быстро проверять гипотезы я выстроил эффективный `feedback-loop`, который позволил мне получать обратную связь по эффективности сделанных изменений за несколько секунд. | ||
|
|
||
| Вот как я построил `feedback_loop`: *как вы построили feedback_loop* | ||
| Вот как я построил `feedback_loop`: поскольку в программе имелся тест проверяющий корректность работы и выводилось количество потребляемой памяти, то фактически оставалось только подобрать подходящий объем данных, чтобы не приходилось долго ждать выполнения программы (я остановился на значении 10000 строк). | ||
|
|
||
| ## Вникаем в детали системы, чтобы найти главные точки роста | ||
| Для того, чтобы найти "точки роста" для оптимизации я воспользовался *инструментами, которыми вы воспользовались* | ||
| Для того, чтобы найти "точки роста" для оптимизации я воспользовался memory_profiler, stackprof и ruby-prof. | ||
|
|
||
| Вот какие проблемы удалось найти и решить | ||
|
|
||
| ### Ваша находка №1 | ||
| - какой отчёт показал главную точку роста | ||
| - как вы решили её оптимизировать | ||
| - как изменилась метрика | ||
| - как изменился отчёт профилировщика | ||
|
|
||
| ### Ваша находка №2 | ||
| - какой отчёт показал главную точку роста | ||
| - как вы решили её оптимизировать | ||
| - как изменилась метрика | ||
| - как изменился отчёт профилировщика | ||
|
|
||
| ### Ваша находка №X | ||
| - какой отчёт показал главную точку роста | ||
| - как вы решили её оптимизировать | ||
| - как изменилась метрика | ||
| - как изменился отчёт профилировщика | ||
| ### Находка №1 - Не эффективное формирование массива с сессиями | ||
| - отчёт memory_profiler | ||
| - решил формировать массив путем простой вставки элемнета | ||
| - метрика снизилась с 89 MB до 47 MB | ||
| - указанная проблема перестала быть главной точкой роста | ||
|
|
||
| ### Находка №2 - Создание для каждого пользователя нового массива с сессиями | ||
| - отчёт memory_profiler | ||
| - сформировать массив users_objects в цикле считывания данных из файла | ||
| - метрика снизилась с 47 MB до 34 MB | ||
| - указанная проблема перестала быть главной точкой роста | ||
|
|
||
| ### Находка №3 - Избыточный вызов метода split в методах parse_user и parse_session | ||
| - graph отчёт ruby-prof-а | ||
| - решил избавиться от лишних вызовов метода split | ||
| - метрика снизилась с 34 MB до 33 MB | ||
| - указанная проблема перестала быть главной точкой роста | ||
|
|
||
| ### Находка №4 - Вызов `Date#parse` | ||
| - flat отчёт ruby-prof-а | ||
| - от парсинга даты можно вообще избавиться | ||
| - метрика снизилась с 33 MB до 31 MB | ||
| - указанная проблема перестала быть главной точкой роста | ||
|
|
||
| ### Находка №5 - Вызов split при чтении строк из файла | ||
| - все отчеты указывают на это | ||
| - не присваивать переменной результат вызова метода, а передать ему блок | ||
| - метрика снизилась с 31 MB до 23 MB | ||
| - указанная проблема перестала быть главной точкой роста | ||
|
|
||
| ## Результаты | ||
| В результате проделанной оптимизации наконец удалось обработать файл с данными. | ||
| Удалось улучшить метрику системы с *того, что у вас было в начале, до того, что получилось в конце* и уложиться в заданный бюджет. | ||
|
|
||
| *Какими ещё результами можете поделиться* | ||
| Удалось улучшить метрику системы до 23 MB при обработке файла любого размера и уложиться в заданный бюджет. | ||
|
Collaborator
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. что-то в кейс-стади не вижу шага про переписывание в потоковом виде, хотя это сделано |
||
|
|
||
| ## Защита от регрессии производительности | ||
| Для защиты от потери достигнутого прогресса при дальнейших изменениях программы *о performance-тестах, которые вы написали* | ||
| Для защиты от потери достигнутого прогресса при дальнейших изменениях программы я написал тест который проверяет что программа потребляет не более 23 MB памяти. | ||
Oops, something went wrong.
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
да split with block в этом кейсе крутое решение