Выгрузка данных 1С 8.3 и MS Excel в BI

Экстрактор данных 1С 8 в BI» - это инструмент автоматизации массивной выгрузки данных из 1С в аналитическую базу данных «Clickhouse» для работы с такими инструментами BI-аналитики как:

• Yandex Datalens
• Apache Superset
• Microsoft Power BI
• Qlik Sense
• Tableau
• LuxmsBI
• Visiology
• Loginom
• Форсайт
• Modus
• Polymatica
• и т.д.

«Экстрактор данных 1С 8 в BI» (далее разработка) реализует:

1. Формирование в пользовательском режиме наборов данных из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц;
2. Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД «Clickhouse», при этом:

• БД «Clickhouse» поддерживается как в облаке Яндекс, так и self-hosted (http и https – доступ);
• Поддержка партицирования таблиц в БД (базе данных) «Clickhouse»;
• Полная выгрузка и выгрузка только изменений (в рамках партиции);
• Многопоточная выгрузка;
• Работа с клиент-серверными и файловыми базами 1С 8.3;
• Полностью автоматическая работа в фоновом режиме.
• Отслеживание и регистрация изменений в базе 1С с последующей выгрузкой их в БД Clickhouse

Экстрактор 1С устанавливается и отлично работает с любыми конфигурациями 1С 8.3 и 1С 8.2
Экстрактор 1С поставляется как:

• Расширение 1С 8.3 (без адаптации подключается на платформе не ниже 8.3.16) (для "типовых" и основанных на БСП конфигурациях 1С);
• Конфигурация "для объединения" - для объединения конфигурации Заказчика с Экстрактором (для старых и нетиповых конфигураций 1С) 

При поставке как "конфигурация" - Экстрактор можно установить на любой платформе 1С 8.3 и 1С 8.2. Главное условие - возможность запустить потом 1С в "Управляемых формах" (в "Тонком клиенте").

Наши текущие клиенты - это компании из сфер:

• Розничная и оптовая торговля
• Производство
• Предприятия сферы услуг
• Автосервисы
• Транспортные и логистические компании
• Аудиторы
• Ломбарды
• Мы сами :)

Ограничений в использовании нашего продукта нет... Экстрактор 1С уже подключен и успешно работает на:

• 1С ERP 2.4 и 2.5
• 1С УПП 1.6
• 1С Управление торговлей 11
• Далион УНО
• АСТОР
• 1С БУхгалтерия 3.0
• Зарплата и управление персоналом 3.0
• Альфа-Авто
• Множестве кастомных конфигураций
• и т.д. и т.п.

Неважно где именно установлена 1С. Если у вас (вашего провайдера) есть возможность установить "Расширение 1С", то Экстрактор данных 1С в BI будет работать

Экстрактор 1С умеет загружать данные из Microsoft Excel, а также умеет данные в MS Excel отдавать.

Power BI и Microsoft Excel легко подключается к базам данных Clickhouse (используя драйвер ODBC Clickhouse)
Следовательно, Экстрактор данных 1С в BI - отличное решение, чтобы:

• Добыть данные из 1С в удобную и быструю базу данных Clickhouse
• А уже из этой базы Clickhouse получать данные 1С для построения дашбордов Power BI, MS Excel и других BI-систем

Между прочим, вот небольшая наша статья о подключении к Clickhouse из MS Excel

• Полная выгрузка - таблица-приемник очищается и загружается полностью;
• Добавление - таблица-приемник НЕ очищается. В нее данные только добавляются (Insert);
• Перезапись партиции - таблица-приемник разбита на логические части (партиции).

Каждая партиция очищается и заполняется данными независимо (это основа работы многопоточности в Экстракторе данных 1С). При этом, в "Экстрактор данных 1С в BI" реализована многопоточная (параллельная) выгрузка данных, что позволяет очень быстро выгружать данные из 1С в Базу данных.

Предположим, что у вас клиент-серверная база 1С (на Microsoft SQL Server или на PostgreSQL). Сразу же возникает соблазн использовать прямой доступ к таблицам 1С, к примеру используя "Коннектор 1С к базам MS SQL/PostgreSQL".  С одной стороны, вы получаете самый быстрый доступ к данным 1С, но с другой стороны возникает угроза безопасности. Ведь для работы с View (представлениями) SQL-базы 1С, необходимо открыть доступ к SQL-серверу снаружи для того же Yandex Datalens или других "облачных" BI-систем.

Плюс ко всему, при таком "прямом" доступе к данным 1С не все сущности можно легко добыть. Например, у вас возникнут сложности с добычей данных по:

• выгрузке проводок по плану счетов в разрезе субконто
• выгрузке остатков на произвольную дату
• выгрузке дополнительных реквизитов
• выгрузке текстовых представлений документов-регистраторов в регистрах сведений, регистрах накопления и бухгалтерских регистрах.

"Экстрактор данных 1С в BI" таких недостатков не имеет и с легкостью справляется с любой задачей по извлечению данных из 1С любой сложности. Один из хороших примеров работы Эктрактора 1С - это выгрузка детальных данных по "Валовая прибыль по оплате" (вот попробуйте собрать такие данные "прямым" доступом к базе SQL 1С). Таких примеров мы можем привести много.
Вообще, Экстрактор 1С позволяет использовать:

• Всю мощь зыка запросов 1С
• Гибкость в компоновке данных при выгрузке в 1С
• Возможности по обработке больших данных аналитической базы данных Clickhouse
• Распараллеливание выгрузки данных для достижения максимальной производительности
• Отслеживание и регистрация с автоматической выгрузкой данных 1С

Работайте в привычном интерфейсе 1С, извлекая данные, и удобно визуализируйте и обрабатывайте информацию, принимайте верные решения в вашей BI-системе.

Экстрактор данных 1С в BI:

• Формирует Набор данных 1С (объект 1С или запрос к данным)
• Обогащает Набор данных вычисляемыми полями
• Ограничивает выборку данных через Отборы и Параметры
• При отсутствии Таблицы-приемника в БД Clickhouse - создает таблицу и сопоставляет ее с Набором данных
• При модификации Набора данных - модифицирует (обновляет структуру) таблицы-приемника в БД Clickhouse
• Отслеживает "Очередь выгрузки". Очередь выгрузки формируется или "Предобработчиком" или регистрацией изменений 1С по отслеживаемым согласно данного Набора данных регистрам, документам или справочникам.
• Выгружает данные в указанное число потоков (фоновых заданий) в разрезе партиций (партиция - это логическое разделение данных 1С по дням, месяцам, годам, Видам номенклатуры и т.д.. Каждая партиция записывается в Clickhouse в отдельную независимую область данных таблицы)

Что является "Набором данных":

1. Основной метод выгрузки - это формирование Запросов на встроенном языке 1С (запросы конструируются Визуальным редактором "Построитель запросов")
2. На основе полученного Запроса Экстрактор получает "Плоскую таблицу", к которой можно применять "Вычисляемые поля" (например использовать дополнительные вычисления над строкой данных, или выводить GUID какого-либо из ссылочных полей)
3. Также, в качестве источника данных можно использовать "Объекты" 1С

Использование и "Запросов" и "Объектов данных" позволяет обращаться абсолютно ко всем сущностям, имеющимся в 1С:

• Регистры накопления (обороты и остатки)
• Регистры сведений (подробные данные и срезы на начало и конец периода)
• Регистры бухгалтерии (обороты и остатки), в том числе и в разрезе субконто
• Перечисления
• Справочники
• Документы
• Регистры расчетов
• Планы видов характеристик
• Планы счетов
• Задачи и бизнес-процессы
• Константы
• И т.д. 

В "Запросах" все эти сущности можно соединять между собой, формируя необходимые вам наборы данных, а Экстрактор сам сформирует таблицы в базе-приемнике согласно структуры данных ваших Наборов данных

1. Экстрактор 1С лицензируется по количеству баз 1С, на которые он устанавливается
2. Лицензия Экстрактора является бессрочной (один раз купил - пользуешься вечно)
3. При покупке лицензии, в течение одного года предоставляются обновления
4. При покупке лицензии, мы предоставляем часовую консультацию по работе с Экстрактором 1С (как настроить, "а давайте вместе сделаем один проект", ответы на вопросы и т.д.)

Для работы любой BI-системы необходимо данные подготовить и потом их сохранить в быстром Хранилище (Базе данных) Так как напрямую из базы 1С вытащить данные нельзя, то нужна специализированная, быстрая аналитическая база данных - коей является Clickhouse.

Именно в базу данных Clickhouse и делает автоматическую выгрузку данных Экстрактор 1С, а уже из базы данных Clickhouse - Yandex Datalens и другие BI-системы получают и визуализируют данные Clickhouse - это бесплатное opensourse-решение от компании Яндекс.

Для наших клиентов, по запросу, мы предоставляем дистрибутивы и помогаем развернуть базу данных Clickhouse:

• На собственных серверах клиента (есть уже готовые образы для Hyper-V, proxmox, Virtual Box) - обратитесь к нам, предоставим бесплатно
• в облаке Yandex Cloud (в этом случае мы разворачиваем для клиента Managed Service for Clickhouse (в случае заключения договора через нашу компанию)

Подробная инструкция есть в нашей статье: Быстрый гайд по развертыванию базы данных Clickhouse в облаке Яндекс (для работы с Yandex Datalens и Экстрактором данных 1С в BI)

Для "Экстрактор данных 1С в BI" подготовлен набор инструкций, с пошаговой настройкой, теорией и практикой, с примерами работы, видео
Ссылка на ДОКУМЕНТАЦИЮ тут: https://1c2bi.ru/docs/