Всем привет, сегодня я хочу рассказать об оптимизации обработки, которая мне досталась в наследство на новом месте работы.
Итак предыстория такая: есть база с УТ 11 которая работала на выделенном сервере(SQL сервер отдельно от сервера 1С, при этом сам сервер 64 битный) , Периодически появляются проблемы с сервером, проявляется это резким замедлением производительности в самый неожиданный момент, Если в момент тормозов зайти на сервер то можно было увидеть, что процессы 1с(rphost) могли съесть все имеющуюся на сервере память, а скорее всего даже гораздо больше. Вычислить проблему мне удалось подглядев в консоль администрирования 1С в закладке "сеансы" в колонке "Данные СУБД (5 мин)", было очень большое значение, что говорило, что c сервера поступают большой объем данных.
Поговорив с пользователем, я выяснил, что он запустил обработку "Редактор свойств номенклатуры", с большим количеством позиций, в результате чего обработка зависла и ему пришлось убивать 1С через диспетчер задач. Так же мне позже сказали что этой обработкой им советовали пользоваться очень осторожно, т.к. в ней можно получать не более 300 позиций номенклатуры. К слову сказать в текущей базе используется огромное количество свойств номенклатуры(больше 100),
После того как я выяснил что это за обработка, я решил убедиться что эта та самая обработка, которая портит работу сервера. Я решил попробовать ее запустить(на тот момент я не знал о советах по ограничению выбираемого количества номенклатур. Поэтому я решил запустить ее по для получения всего списка номенклатур. И вот что я увидел после запуска на сервере:
В результате такого изменения обработка уже позволяла вывести более 3-6 тысяч позиций за один раз. Однако такой результат меня не совсем устраивал, т.к. если пользователь забудет указать отбор, то сервер все равно зависнет, и все мои действия не дадут нужного результата.
Замер производительности в обработке больше не показывал серьезных проблем в коде, а если быть точнее он указывал на другую строчку, что говорило о том что нужно смотреть СКД:
ПроцессорВывода.Вывести(ПроцессорКомпоновкиДанных);
Это говорило о том, что сервер пытается выгрузить с большой объем данных. Открыв Схему компоновки данных я увидел следующий запрос:
Если его изучить, то можно заметить, что в третьем запросе(пакета запросов), выполняется полное соединение всей номенклатуры со всеми возможными свойствами. После этого к нему прицеплялись существующие данные, и потом уже готовая таблица выгружалась на сервер 1С. При существующем у нас количестве номенклатур(26 тыс) и свойств(более 100), результирующая таблица была настолько огромна, что начинала забивать память сервера, которая была не бесконечна.
С одной стороны, полное соединение в данном случае необходимо, т.к. может оказаться так, что если какое-то из свойств не назначено ни одной номенклатуре из списка, то оно не будет выведено на форму, и как следствие его нельзя будет изменить. С другой стороны получение такого огромного количества значений, многие из которых не заполнены, приводит к засорению памяти.
Так же хотелось оставить текущую функциональность Схемы компоновки данных, к которой привыкли пользователи, и которая позволяла накладывать на получаемый список, различные условия отбора.
В результате этого я решил изменить запрос на такой:
Таким образом СКД Возвращает только данные которые необходимы пользователю. А потом в самой обработке, я получаю весь список свойств(для создания колонок на управляемой форме) и список номенклатуры для получения уже установленных значений.
В результате таких изменений, обработка стала выводить весь список номенклатур 26 тыс позиций менее чем за минуту. При этом память съедается совсем не много, что не критично, т.к. ее всегда должно быть с запасом, для таких случаев, ну и в подтверждение результат нагрузки на сервер, при получении всего списка:
Как видно результат есть и очень отличается от первоначального варианта.
Итак предыстория такая: есть база с УТ 11 которая работала на выделенном сервере(SQL сервер отдельно от сервера 1С, при этом сам сервер 64 битный) , Периодически появляются проблемы с сервером, проявляется это резким замедлением производительности в самый неожиданный момент, Если в момент тормозов зайти на сервер то можно было увидеть, что процессы 1с(rphost) могли съесть все имеющуюся на сервере память, а скорее всего даже гораздо больше. Вычислить проблему мне удалось подглядев в консоль администрирования 1С в закладке "сеансы" в колонке "Данные СУБД (5 мин)", было очень большое значение, что говорило, что c сервера поступают большой объем данных.
Поговорив с пользователем, я выяснил, что он запустил обработку "Редактор свойств номенклатуры", с большим количеством позиций, в результате чего обработка зависла и ему пришлось убивать 1С через диспетчер задач. Так же мне позже сказали что этой обработкой им советовали пользоваться очень осторожно, т.к. в ней можно получать не более 300 позиций номенклатуры. К слову сказать в текущей базе используется огромное количество свойств номенклатуры(больше 100),
После того как я выяснил что это за обработка, я решил убедиться что эта та самая обработка, которая портит работу сервера. Я решил попробовать ее запустить(на тот момент я не знал о советах по ограничению выбираемого количества номенклатур. Поэтому я решил запустить ее по для получения всего списка номенклатур. И вот что я увидел после запуска на сервере:
Как видно из скриншота, я практически сразу понял, что обработка сейчас завесит сервер, поэтому я убил свое соединение, прежде чем сервер стал тормозить.
Мне стало даже интересно, что так сильно убивает память сервера. Ограничив список небольшим количеством номенклатур, я запустил обработку еще раз,но при этом включив замер производительности и вот что увидел:
Как видно из этого скриншота, что 77 процентов работы обработки, занимает поиск свойства в таблице которая была получена из результата запроса. Недолго думая я переписал данный кусок кода изменив его таким образом, что бы поиск по таблице не производился:
Для каждого СтрокаЗначений Из полнаяТаблицаЗначений Цикл
Если ТекущаяНоменклатура <> СтрокаЗначений.Номенклатура Тогда
НоваяСтрока = РазвернутаяТаблица.Добавить();
ТекущаяНоменклатура = СтрокаЗначений.Номенклатура;
ЗаполнитьЗначенияСвойств(НоваяСтрока, СтрокаЗначений);
КонецЕсли;
Если ЗначениеЗаполнено(СтрокаЗначений.Значение) Тогда
Значение = СоответствиеНаименованиеКолонки.Получить(СтрокаЗначений.Свойство);
Если Значение <> Неопределено Тогда
НоваяСтрока[Значение] = СтрокаЗначений.Значение;
КонецЕсли;
КонецЕсли;
КонецЦикла;
В результате такого изменения обработка уже позволяла вывести более 3-6 тысяч позиций за один раз. Однако такой результат меня не совсем устраивал, т.к. если пользователь забудет указать отбор, то сервер все равно зависнет, и все мои действия не дадут нужного результата.
Замер производительности в обработке больше не показывал серьезных проблем в коде, а если быть точнее он указывал на другую строчку, что говорило о том что нужно смотреть СКД:
ПроцессорВывода.Вывести(ПроцессорКомпоновкиДанных);
Это говорило о том, что сервер пытается выгрузить с большой объем данных. Открыв Схему компоновки данных я увидел следующий запрос:
ВЫБРАТЬНоменклатура.Ссылка КАК Номенклатура,Номенклатура.Производитель,Номенклатура.Наименование,Номенклатура.КодПОМЕСТИТЬ ВсяНоменклатураИЗСправочник.Номенклатура КАК НоменклатураИНДЕКСИРОВАТЬ ПОНоменклатура;////////////////////////////////////////////////////////////////////////////////ВЫБРАТЬ РАЗЛИЧНЫЕНаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Свойство КАК Свойство,НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Свойство.Родитель КАК ГруппаСвойствПОМЕСТИТЬ СвойстваИЗСправочник.НаборыДополнительныхРеквизитовИСведений.ДополнительныеРеквизиты КАК НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизитыГДЕНаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Ссылка В(ВЫБРАТЬНаборыДополнительныхРеквизитовИСведений.СсылкаИЗСправочник.НаборыДополнительныхРеквизитовИСведений КАК НаборыДополнительныхРеквизитовИСведенийГДЕНаборыДополнительныхРеквизитовИСведений.Родитель В (ЗНАЧЕНИЕ(Справочник.НаборыДополнительныхРеквизитовИСведений.Справочник_Номенклатура)))И НЕ НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Ссылка.ПометкаУдаленияИ НЕ НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Свойство.ПометкаУдаления;////////////////////////////////////////////////////////////////////////////////ВЫБРАТЬВсяНоменклатура.Номенклатура,ВсяНоменклатура.Производитель,ВсяНоменклатура.Наименование,ВсяНоменклатура.Код,Свойства.СвойствоПОМЕСТИТЬ НоменклатураВсеСвойстваИЗВсяНоменклатура КАК ВсяНоменклатура,Свойства КАК СвойстваГДЕНЕ Свойства.Свойство ЕСТЬ NULL;////////////////////////////////////////////////////////////////////////////////ВЫБРАТЬНоменклатураДополнительныеРеквизиты.Ссылка КАК Номенклатура,НоменклатураДополнительныеРеквизиты.Свойство КАК Свойство,НоменклатураДополнительныеРеквизиты.Значение КАК Значение,НоменклатураДополнительныеРеквизиты.ТекстоваяСтрока КАК ТекстоваяСтрокаПОМЕСТИТЬ ДополнительныеРеквизитыНоменклатурыИЗСправочник.Номенклатура.ДополнительныеРеквизиты КАК НоменклатураДополнительныеРеквизитыИНДЕКСИРОВАТЬ ПОНоменклатура,Свойство;////////////////////////////////////////////////////////////////////////////////ВЫБРАТЬНоменклатураВсеСвойства.Номенклатура,НоменклатураВсеСвойства.Производитель,НоменклатураВсеСвойства.Наименование,НоменклатураВсеСвойства.Свойство,НоменклатураВсеСвойства.Код,ЕСТЬNULL(ЗначенияСвойств.Значение, "") КАК ЗначениеИЗНоменклатураВсеСвойства КАК НоменклатураВсеСвойстваЛЕВОЕ СОЕДИНЕНИЕ ДополнительныеРеквизитыНоменклатуры КАК ЗначенияСвойствПО (ЗначенияСвойств.Номенклатура = НоменклатураВсеСвойства.Номенклатура)И (ЗначенияСвойств.Свойство = НоменклатураВсеСвойства.Свойство)
Если его изучить, то можно заметить, что в третьем запросе(пакета запросов), выполняется полное соединение всей номенклатуры со всеми возможными свойствами. После этого к нему прицеплялись существующие данные, и потом уже готовая таблица выгружалась на сервер 1С. При существующем у нас количестве номенклатур(26 тыс) и свойств(более 100), результирующая таблица была настолько огромна, что начинала забивать память сервера, которая была не бесконечна.
С одной стороны, полное соединение в данном случае необходимо, т.к. может оказаться так, что если какое-то из свойств не назначено ни одной номенклатуре из списка, то оно не будет выведено на форму, и как следствие его нельзя будет изменить. С другой стороны получение такого огромного количества значений, многие из которых не заполнены, приводит к засорению памяти.
Так же хотелось оставить текущую функциональность Схемы компоновки данных, к которой привыкли пользователи, и которая позволяла накладывать на получаемый список, различные условия отбора.
В результате этого я решил изменить запрос на такой:
Как видно из запроса, это уже не пакет запросов, а объединение двух запросов, с разделением на тип получаемых данных. в первом получается список номенклатур, которые отбирает пользователь, во втором отбираются список свойств, которые требуются пользователю.ВЫБРАТЬНоменклатура.Ссылка КАК Номенклатура,Номенклатура.Производитель,Номенклатура.Наименование,Номенклатура.Код,1 КАК ТипПолей,NULL КАК СвойствоИЗСправочник.Номенклатура КАК НоменклатураГДЕНЕ Номенклатура.ЭтоГруппаОБЪЕДИНИТЬ ВСЕВЫБРАТЬNULL,NULL,NULL,NULL,2,ВложенныйЗапрос.СвойствоИЗ(ВЫБРАТЬ РАЗЛИЧНЫЕНаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Свойство КАК Свойство,НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Свойство.Родитель КАК ГруппаСвойствИЗСправочник.НаборыДополнительныхРеквизитовИСведений.ДополнительныеРеквизиты КАК НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизитыГДЕНаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Ссылка В(ВЫБРАТЬНаборыДополнительныхРеквизитовИСведений.СсылкаИЗСправочник.НаборыДополнительныхРеквизитовИСведений КАК НаборыДополнительныхРеквизитовИСведенийГДЕНаборыДополнительныхРеквизитовИСведений.Родитель В (ЗНАЧЕНИЕ(Справочник.НаборыДополнительныхРеквизитовИСведений.Справочник_Номенклатура)))И НЕ НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Ссылка.ПометкаУдаленияИ НЕ НаборыДополнительныхРеквизитовИСведенийДополнительныеРеквизиты.Свойство.ПометкаУдаления) КАК ВложенныйЗапрос
Таким образом СКД Возвращает только данные которые необходимы пользователю. А потом в самой обработке, я получаю весь список свойств(для создания колонок на управляемой форме) и список номенклатуры для получения уже установленных значений.
В результате таких изменений, обработка стала выводить весь список номенклатур 26 тыс позиций менее чем за минуту. При этом память съедается совсем не много, что не критично, т.к. ее всегда должно быть с запасом, для таких случаев, ну и в подтверждение результат нагрузки на сервер, при получении всего списка:
Как видно результат есть и очень отличается от первоначального варианта.
Комментариев нет:
Отправить комментарий