* Отправка данных из разных источников логов теперь выполняется общими запросами. что значительно уменьшает количество обращений к хранилищу (в текущей версии к ClickHouse)
* Оптимизация синхронизации потоков. Теперь поток отправки данных в хранилище не блокируем работу потокв чтения логов. Ранее могли возникать кратковременные ожидания.
- Очистка кода
- Улучшения и исправления ошибок для проверок наличия в базе записей логов по периоду и ID
- Инкапсулировал проверку наличия записей логов в методы сохранения записей. Теперь из вне контекста нет необходимости выполнять проверки
- При работе общего буфера событий используютя оптимизированные методы сохранения позиций логов
1. Отказ от таблиц в ClickHouse с движком Buffer из-за проблем со стабильностью работы.
2. Отказ от хранения имени каталога в объекте технологического журнала
3. Улучшены операции массовой вставки данных записей логов
4. Оптимизация количества обращений к ClickHouse при экспорте логов
5. Реализован вспомогательный класс экспорта логов в буфер
6. Реализован механизм общего буфера для передачи записей логов в ClickHouse из различных источников
7. Расширен набор unit-тестов
8. Добавлен пример приложения для работы с общим буфером
9. Обновлены версии библиотек
10. Исправление ошибок и другие небольшие улучшения
Теперь новые записи сначала поступают в буфер в памяти и по достижению ограничений количества записей / размера отправляются в основную таблицу.
Также сброс без каких-либо условий на ресурсы выполняется раз в минуту.
Данный подход позволит оптимизировать операции записи в базу ClickHouse и избежать ошибок при множественной вставке данных в таблицы с движком Merge.
Permitin YuryandGitHub