Вопрос к знатокам. Про оптимальный подбор объектов в 8.2.
Предыстория:  
Часто при написании кода в своих и чужих программах приходится учитывать скорость выполнения алгоритмов и хранения данных. Так как объёмы данных и расчёты значительны (фондовый рынок). Умею и использую оптимизацию запросов в MSSQL, прямые запросы из 1с по ado с оптимизацией, черные запросы в базы 7.7. Много уделяю времени на поиск узких мест в базах. Последнюю базу на 7.7 удалось в 20 раз ускорить за счёт этого, например.
Почему это важно:
Пример из жизни (много лет назад видел в одной конторе с толковым начальников и прогами) - в одной конторе была самописка на 7.7, бухпроводки а затем и регистры не справились с нагрузкой, изучив запросы транслятора 1с в sql они переписали всё на работу с справочниками на периодических реквизитах (итог в 50-80 раз увеличилась производительность по сравнению с регистрами).
Сама история:
Скоро собираюсь начать писать самописку на 8.2. До этого на ней ничего не писал. Больше на 7.7, немного на 8.1. Хотелось бы на управляюмых формах, естественно. В серверном варианте, с выводом результатов в клиент.
Что сделал:
Почитал книжки от 1с (толстая которая как словарь и другие, на форумах посмотрел) толком никакой информации нет. Есть абстрактные размышления что регистры быстрее и какие для чего лучше. А вот про миллионы записей и что реально там будет с производительностью - не нашел.
Тем более, что последние релизы 8.2 позволяют использовать внешние источники - вопрос насколько эффективно? Есть вариант написать только интерфейсную оболочку на 1с, а почти всю логику вынести в процедуры и функции MSSQL если будут тормоза (в одной конторе так сделали на NET, а не на 1с правда - итог летает всё и отчётеы с 5 млн строк за 10-30 секунд выводит на экран).
Вопрос: какие объекты наиболее производительные на 8.2 и что думаете по использованию внешних источников?

P.S Вообще, вопросы по производительности к 1с 8.1 возникли после покупки УПП и загрузки кладра в неё. Оказалось при пустой базе в файловом режиме это УГ. Перевели на sql, но осадок остался от разработчиков у которых приложение жутко начинает тормозить при 3-5 пользователях при загрузке маленького кладра России.

(43) Знаешь кто такие толкователи Торы? Вот время от времени они заходят на Мисту и дают разъяснения по поводу лицензионного соглашения 1С.  Вот они сказали, что низяяя :-)

(46)
Данное ограничение необходимо для обеспечения стабильности работы механизмов системы, осуществления поддержки и возможности перехода на новые версии "1С:Предприятия".

а не потому что ата-та.. =)

(49) "Нельзя обращаться к данным информационной базы напрямую, минуя уровень объектов работы с данными "1С:Предприятия" - например при помощи средств СУБД или при помощи внешних компонент, которые реализуют прямой доступ к СУБД. Это ограничение распространяется на любые действия с данными, в том числе на изменение их структуры, а так же на чтение или изменение самих данных информационной базы или служебных данных "1С:Предприятия"."

оттуда же.

(50) нарушил - значит нет тебе поддержки, чтобы не было вопросов, я тут скриптик забацал на скуле, а у меня данные тютю. когото реально оштрафовали за это?

(50)Видишь ли в чём дело, ни информационная база, ни данные в ней не принадлежат 1С, поэтому накладывать ограничения на чужую собственность вряд ли законно в принципе.

(46) Где конкретно?

или 1с когда внедряет решения по переводу на 1с террабайт информации месяцок ждет, когда же все загрузится? =)

Самое прикольное, что данный пункт также запрещает делать резервные копии базы средствами 1С и это при том, что ВНЕЗАПНО! 1С не имеет встроенных средств архивирования.

(53) см. (50)

Самое прикольное, что данный пункт также запрещает делать резервные копии базы СТОРОННИМИ средствами и это при том, что ВНЕЗАПНО! 1С не имеет встроенных средств архивирования.

(57) ну дак ДТ типа уже архив.. хехе =)

(58) Вот именно, что хе-хе.

(55) не запрещает.

"... Это означает, что средства СУБД (или любые другие внесистемные средства) можно использовать только в том случае, если документация по продуктам линейки "1С:Предприятие" (включая ИТС) содержит явную рекомендацию использовать данное средство для решения данной задачи."

Насколько я знаю, создание резервных копий средствами СУБД прописано в документации.

(56) А администратору Баз Даных глубоко наплевать,кто данной базой пользуется.
"Данное ограничение необходимо для обеспечения стабильности работы механизмов системы, осуществления поддержки и возможности перехода на новые версии "1С:Предприятия".
"
При этом структура БД не изменяется.
(60) Огласи весь список рекомдаций? Опять же моя БД, что хочу то и делаю. Кстати а как там на счет аренды БД?

(61) Облаки сейчас хорошо продвигаются.

(60) То есть 1С разрешает в админке нажимать только одну кнопочку, потому что обслсь и даже не смогла написать архивирование для собственного продукта.
Покупая MS SQL я так же и профайлер покупаю. Микрософт мне разрешает профайлером пользоваться, а 1С запрещает :-)
Самому то не противно этот бред одинэсовский каждый раз сюда постить?

(51)
Статья 1280 ГК РФ
1. Лицо, правомерно владеющее экземпляром программы для ЭВМ или экземпляром базы данных (пользователь), вправе без разрешения автора или иного правообладателя и без выплаты дополнительного вознаграждения:
1) внести в программу для ЭВМ или базу данных изменения исключительно в целях их функционирования на технических средствах пользователя и осуществлять действия, необходимые для функционирования таких программы или базы данных в соответствии с их назначением, в том числе запись и хранение в памяти ЭВМ (одной ЭВМ или одного пользователя сети), а также осуществить исправление явных ошибок, ЕСЛИ ИНОЕ НЕ ПРЕДУСМОТРЕНО ДОГОВОРОМ С ПРАВООБЛАДАТЕЛЕМ.

Как-бы к Вашему "значит нет тебе поддержки" добавляется нарушение закона...

(63) это не ко мне.

(64)
1. Изменения в программу (1С) НЕ вносятся.
2. ПРАВООБЛАДАТЕЛЕМ БАЗЫ ДАННЫХ является ПОЛЬЗОВАТЕЛЬ.
3. Фирма 1С не имеет права писать лицензионные соглашения к продуктам фирмы Микрософт.

(64) мне НЕ нужна стабильность работы механизмов системы, мне НЕ нужно осуществление поддержки, мне НЕ нужен переход на новые версии 1с:предприятие.
пункт вуаау

(45) Не пробовал в обход 1С менять индексы.

(45) при изменении структуры хранения. меняется только для того объекта, у кого была произведена реструктуризация.

(66) при чем тут право на БД?

"Нельзя обращаться к данным информационной базы напрямую, минуя уровень объектов работы с данными "1С:Предприятия"" <-- вот это место.

(70) а закон написан для правообладателя. а правообладатель БД - пользователь. наверное это имеется ввиду. так что ищи другую статью

(70) Данные тем более принадлежат пользователю. Какое право имеет фирма 1С ограничивать меня в доступе к моим же данным?

(67) вопрос не стоит "нужно - не нужно", это ведь СОГЛАШЕНИЕ, равно как и договор оно устанавливает УСЛОВИЯ. Не имеете права использовать, ЕСЛИ НЕ СОГЛАСНЫ С ЛИЦЕНЗИОННЫМ СОГЛАШЕНИЕМ.

(61) Это ты ОЧЕНЬ заблуждаешься

Нашёл статью - http://infostart.ru/public/71130/
Кто оптимизацией конфигураций занимается - есть интересные пункты.

(72) >> меня в доступе к моим же данным

В доступе к данным она не ограничивает, она ограничивает В СПОСОБЕ РАБОТЫ с данными. И это ее право.

(73) Вот, я тебе продам коробок спичек, а на этикетке напишу:
Пользователям этих спичек запрещено бриться. Нарушившие это правило обязаны уплатить штраф 1000000 рублей.
Если вы зажгли хотя бы одну спичку, значит вы приняли данное соглашение.
Спросишь какая связь между спичками и бритьём? А какая связь между лицензионным соглашением 1С и продуктами совершенно посторонней фирмы? примерно такая же.

(77) договора Вы тоже пытаетесь опровергать, если они не соответствуют морали из Нового завета, или не укладываются в предпочтения дяди Гриши? Это ведь документ с определенными условиями, причем документ составленные в соответствии с законодательством, имеющий юридическую силу...

(0)кг/ам

+(78) насильно использовать 1С:Предприятие никто не заставляет, да и альтернативы есть ;)

(78) ВНЕЗАПНО. Договор тоже может быть незаконным.

(81) именно поэтому у них приписка зачем нужно это "правило" =)

(81) может, но в нашем случае не является незаконным.

(73) я согласен со всем, но мне не нужна целостность данных и переход от одной версии к другой. поэтому зачем этот пункт?

(84) я разве есть возможность выборочно соглашаться с отдельными пунктами? ;)

(79) То что 1с релизы платформы с новым функционалом и решением вопросов производительности выпускает регулярно ты в расчет не берешь - а зря. Они её постоянно дорабатывают и новые "плюшки" интересны. Так что где ты тут "кг/ам" увидел - непонятно.

(85) данное правило нужно для целостности данных. т.е. если целостность не нужна, то и правило не нужно.

(87)+т.е. в суд не заявишь на 1с, у меня целостность данных нарушена, я всего лишь использовал внешние изменения данных.

(87) да нет там никакого "обратного" условия "если ... то ...". Про целостность данных - это лишь пояснение "для чего оно надо".

(89) псц с логикой.
данное ограничение необходимо для...; и перечислено 3 пункта.
это ограничение необходимо только для этих 3х пунктов.

(0) собственно имею некоторый опыт по работе с большими данными в 8.2, по последнему проекту: прирост в год примерно 15 гигов и это на самописке с 0, где нету всякого хлама :)

могу сказать, что в 8.2 не стоит искать волшебные ускорители и изобретать велосипед, для достижения требуемой скорости следует использовать разумную денормолизацию данных.

хотя конечно код тестить на скорость нужно обязательно :)

(90) "Лицензионное соглашение не позволяет использовать недокументированные фирмой "1С" средства для построения решений на платформе 1С:Предприятие."

(30) Жесть в том что ВСЯ периодика храниться в ОДНОЙ таблице. Ну и чем это принципиально лучше проводок. Там хоть доп.индексы могут быть, а тут...

(90) Я же говорил - толкователи Торы. Они знания по прямой связи от бога получают, им доводы обычных людей не интересны.

(92) и сюдаже сразу последний пункт. читаем ВСЕ вместе. а не только первую строчку

+(92) внимательно и долго смотреть на словосочетание "не позволяет"

(96) внимательно читаем
"Данное ограничение необходимо для "
"Данное ограничение необходимо для "
"Данное ограничение необходимо для "
"Данное ограничение необходимо для "

(97) повторяю, это пояснение "для чего оно надо". Никакого исключения тут НЕТ.

если нам нет необходимости в одном из "для", то данное ограничение НЕ необходимо.

Сложно с вами...

Кто может скопировать сюда фрагмент лицензионного соглашения от фирмы 1С?

(92) Опять фэйл. В SQL формате платформой является программа MS SQL SERVER например, а 1С это так... оболочка дешёвая, но никак не платформа.

(93) Так я и говорю жесть :) И с точки зрения хранения большого объема данных принципиально хуже проводок и тем более регистров . В восьмерке хоть регистры сведений , и то не панацея . А вести учет на справочниках ...

(96) А как можно доказать, что используются недокументированные средства, если структура БД не изменна?

Как говорится регистры не справились с нагрузкой , перенесли на справочники и все залетало . Просто регистры готовить не умеют :))

(103) Возьмёт тебя Боря за Фаберже, сам во всём признаешься.

(103) доказательство - отдельная тема.

(101) да? А я думал, что она СУБД...

Видите ли в чем дело, если Вы захотите использовать какую-либо ФиговуХреновину, на использование которой правообладатель установил определенные ограничения, то Вы ее сможете использовать только в пределах этих ограничений. И совершенно пофиг, что она будет стоять на Вашем танке, который в сотни раз сложнее ее, и в тысячи раз превосходит ее по массе...

(105) Прецинденты огласите!

Кроме того, опять же вернемся к "Нарушена целостность структуры конфигурации" и ее лечению. Лечится она так http://forum.sys-admin.kz/index.php?topic=558.0
а инструментов от 1С нет. Кому предъявлять претензии, ведь простои дорого стоят

(107) Какие ваши основания?
"Лицензионное соглашение не позволяет использовать недокументированные фирмой "1С" средства для построения решений на ПЛАТФОРМЕ 1С:Предприятие."
Совершенно очевидно, что речь идёт о файловом варианте, в SQL формате СУБД это именно программа MS SQL SERVER например, было бы странно, что бы один набор данных хранился и обрабатывался двумя СУБД :-)

(110) >>Совершенно очевидно, что речь идёт о файловом варианте

в очередной раз копипастю:

"Лицензионное соглашение не позволяет использовать недокументированные фирмой "1С" средства для построения решений на платформе 1С:Предприятие. Это означает, что средства СУБД (или любые другие внесистемные средства) можно использовать только в том случае, если документация по продуктам линейки "1С:Предприятие" (включая ИТС) содержит явную рекомендацию использовать данное средство для решения данной задачи."

...пипец просто какой то... РЕШЕНИЕ НЕ ПОСТРОЕНО НА ПЛАТФОРМЕ 1С:ПРЕДПРИЯТИЕ, РЕШЕНИЕ ПОСТРОЕНО НА ПЛАТФОРМЕ MS SQL, Оракл, Датабэйс, или ещё черт знает на какой ПЛАТФОРМЕ, поэтому данный пункт соглашения не может ничего запрещать.

(112) Вы это фирме 1С скажите.

Блин а по теме есть что написать? Тоже приходится работать с огромными объёмами (есть базы по 640гб) c миллионами записей в регистрах, было бы интересно почитать опыт тех кто на 8.2 переходил.

(113) Если бы я был юристом микрософта например, то давно уже засудил бы 1С по этому пункту, а так, как, я им не являюсь, то мне тупо пофигу.

(115) замечу, Вы вообще не юрист, а в разработке лицензионного соглашения принимали участие юристы фирмы 1С...

Ну и что? В этот раз они хапнули больше чем смогут проглотить. Грамотный юрист в суде их на подтирки порвет с такой лицензией.

(113)
"доступ к информационной базе ПРОГРАММНОГО ПРОДУКТА и построение систем на основе ПРОГРАММНОГО ПРОДУКТА с помощью средств и технологических решений, не предусмотренных в сопроводительной документации;

"
SMS предусмотрен в сопроводительной документации?

Доказательство того, что 1С не является платформой очень простое. Имеем на компьютере MS SQL сервер с загруженными данными пользователя и программу 1С:Предприятие с подключением к данной базе данных.
Стираем с компьютера программу MS SQL SERVER и пытаемся получить данные пользователя. Что получаем? Правильно - БОЛТ!
Теперь в аналогичной ситуации стираем с компьютера программу 1С:Предприятие и рисуем в профайлере запросик и О, ЧУДО! Пользователь видит собственные данные. Вопросы относительно того, кто является СУБД и ПЛАТФОРМОЙ, а кто оболочкой  дешёвой у суда ещё имеются? Нет? Ну вот и чудненько. За сим разрешите откланяться.

(114) С извлечением данных проблем вроде нет - таблицы остатков, измерения, агрегаты, индексы, а вот с изменением есть. Там где в скуле update, insert, select into отработает за минуты, в 1С перепроведение документов будет длится часами, а может сутками.
Но в 8.2.14 есть внешние источники данных, может быть здесь получится что-то отыграть.

(114) Ну не так давно делали сравнительные тесты на скорость записи и выборки между справочником и регистром сведений на скулевой базе , в целях реализации расширенной системы логирования на восьмерке (в семерке на справочнике реализовано) . 1.5 миллиона записей , все средствами восьмерки , без прямого обращения к SQL .
В общем если ссылок на объекты нет (ненормализованная база) , выборка данных из справочника примерно вдвое быстрее чем с регистра , если данные нормализованы регистр чуть быстрее на выборке .

(121) а у меня не получилось со справочником, может платформа стара была, но пришлось перепилить на регистр. Может из-за того что в справочнике были поля неограниченной длины и оно их в любом случае тащила, но в общем щас логи на регистре период+счетчик - измерение + два поля с упакованным текстом - работает отлично.

Выборка из справочника естественно по индексированным полям
По скорости записи справочник несколько быстрее (не надо генерить GUID да и сама структура проще) , но опять же зависит от типа данных
В общем с учетом всех факторов остановились на справочнике для реализации данной узкой задачи

>> Может из-за того что в справочнике были поля неограниченной длины
Не может , а точно из-за этого

(123)
>>По скорости записи справочник несколько быстрее (не надо генерить GUID да и сама структура проще) , но опять же зависит от типа данных

эт как ?

(125) Это про GUID или про структуру ?

При реализации лога , допустима вероятность и она высока , что у нас будут абсолютно одинаковые записи (особенно при записи изменений в табличных частях доков , именно для этого все и делается) , для регистра это недопустимо естевенно , приходится добавлять уникальный номер записи

Под типом данных (в контексте предыдущего поста) я подразумевал ссылки на объекты . Если хранить ссылки на объекты , то регистр слегка выигрывает у справочника по скорости выборки , но для реализации лога это не приемлемо , документ может быть уже удален например а запись в логе должна остаться . По этому храним тип документа (как описан в метаданны) его номер и ID

(121) Это интересно. Можно узнать, по каким принципам делали выборки, понять примерные тексты запросов?

(119) Если можно работать без 1С, то зачем вы за него деньги платили и взяли на себя обязательства по его лицензионному соглашению? Работайте со скулем без Платформы 1С:Предприятие, которую вы обозвали дешёвой оболочкой.

Если работать с внешними источниками данных и хранить там данные можно забыть про СКД, что такое СКД можете почитать.
Это один из минусов внешних источников хранения данных.

(119) чето пургу ты прогнал какую то. с помощью 1С ты построил структуру (таблицы всякие, связи прочее) и потом туда данные напихал.
Раз ты удаляеш 1С так и структуру методанных удаляй, а потом своими профайлами ползай сколько влезит

(129) Запросы простые - выбрать все записи соответствующие критерию или диапазону по индексируемым полям .
Причем как правило пользователя интересуют изменения по конкретному документу , либо по номенклатурной позиции за определенный период времени , исходя из этого и построена структура справочника

(130) Меня она вполне устраивает в качестве дешёвой оболочки.
А если на компьютере не будет установлено 1С:Предприятие?
(132) Всё нормально на одном компьютере создаётся структура таблиц, а на другом компьютере, который работает с прямыми запросами 1С даже не ночевало никогда.

(132) Удаление происходит штатными средствами путем нажатия кнопочки унинсталл. Если при унинстале 1С удалится структура метаданных, значит так тому и быть.

(119) Пятнично

(131) Кстати, хороший аргумент. :)

(133) А почему двухкратная разница на выборке получилась, не разбирались? Мне что-то даже в голову ничего не приходит...
Какие измерения у регистра были? У РС индексы своеобразно строятся - все измерения туда входят...

(138) Честно говоря особо не разбирались :(
Возможно из за того что у регистра пришлось делать больше десятка измерений
А может из-за того что справочник как говорится больше похож на стандартную таблицу скуля и за счет этого выборка эффективней .
Если бы можно было в рамках этой задачи хранить ссылки на объекты , измерений потребывалось бы меньше (в ряде случаев можно брать инфу из объекта непосредственно) и структура регистра получилась бы оптимальней

Причем по регистру удобней и быстрее делать разнообразные группировки , в рамках задачи группировки не нужны (ну или почти не нужны) , фактически на скуле отрарабатывается стандартный select

(138)>> РС индексы своеобразно строятся - все измерения туда входят...

Один из факторов почему запись в справочник происходит быстрее

(136) Вот тебе ещё более пятничная история.
Базван, следи за руками, рубашка у меня с коротким рукавом, в них ничего нету.
1. Покумаем МС микрософт скуль сервер.
2. Покупаем клиент-серверную 1С
3. С помощью 1С создаём базу и наполняем её данными пользователя.
4. Нажимаем кнопочку унинсталл, удаляем 1С с компьютера пользователя, возвращаем коробку в магазин, уведомляем фирму 1С о расторжении договора.
Вопрос. Я имею право с помощью средств мс скуль сервера получить доступ с своим данным? Очевидно, что да, раз они не удалились, значит принадлежат мне, а не фирме 1С.
5. Покупаем клиен-серверную 1С и подключаем её к нашим данным.
Очевидно, что поскольку структура БД и Данные пользователя не создавались с помощью ДАННОГО экземпляра программы 1С, то фирма 1С ни в коем разе не может претендовать ни на какую их часть. Делаем с собственной БД, наборами данных всё что заблагорассудится и любыми средствами.

Доказательство того, что Windows не является платформой очень простое. Имеем на компьютере фильм в формате avi и программу Windows с возможностью просмотра файла.
Стираем с компьютера файл avi и пытаемся его посмотреть . Что получаем? Правильно - БОЛТ!
Теперь в аналогичной ситуации стираем с компьютера программу Windows, устанавливаем Linux и О, ЧУДО! Пользователь видит кино. Вопросы относительно того, кто является ПЛАТФОРМОЙ, а кто оболочкой  дешёвой у суда ещё имеются? Нет? Ну вот и чудненько. За сим разрешите откланяться.

(142) 1С создала структуру методанных. Выгружай данные в тхт и делай с ними пофик что.

зы доказывать надоело. когда возмут за одно место тогда и будеш рассказывать сказки.

(144) С применением внешних источников, можно делить базу на 2 источника данных. Но вот по соглашению внешние источники данных тоже являются СУБД и источником данных системы.
Лучше бы озаботились пакетной обработкой данных и использовать аналог Merge для опциональной записи либо только изменений, либо всего при проведении.
Да и доказать довольно таки сложно, т.к. я могу и не знать что сделает фрилансер в во внешних обработках.
Опять же смори (109).

(144) А кровью цыплёнка, я сервер окропить не должен, что бы навсегда очистить его от 1С? 1С:Предприятие это ОС, покупалось для того, что бы производить продукт, продукт в данном случае это базы данных, структуры метаданных. Весь продукт принадлежит владельцу ОС.

(142) Опять нарушение, 1С не давала разрешения на работу с данными не созданными ДАННЫМ экземпляром программы.
Я думаю, скоро в лицензионном соглашении появится требование при расторжении договора вручную уничтожить все метаданные созданные экземпляром, от которого клиент отказывается.
(119), (143) А хотите я также докажу, что силовой провод соединяющий сервер с сетью является не только платформой, но и СУБД? :)