DataReducer — R-консоль для «1С:Предприятия»

Публикация № 642784

Разработка - Инструментарий разработчика

R импорт интеграция консолидация веб HTTP API сервис XML JSON визуализация диаграмма график анализ статистика

Программа для обработки, анализа и визуализации данных информационных баз «1С:Предприятия» с использованием возможностей языка программирования R.
Почему R? Язык R был создан для статистических вычислений и в настоящий момент является одним из наиболее мощных инструментов для работы с данными. Среди многих тысяч пакетов, расширяющих базовую функциональность R, можно найти реализацию практически любых способов преобразований и анализа данных. За кажущейся непривычностью синтаксиса R скрывается возможность выполнения сложных манипуляций с данными простыми лаконичными командами. Нужно также отметить богатую функциональность R в части импорта данных любых форматов из всевозможных источников.

 

Пример 1: Консолидация данных из разных источников и веб-отчеты

Пример 2: Статистические функции языка R и HTML-виджеты

Области применения программы DataReducer:

Консолидация данных

 

Публикация отчетов в веб

DataReducer позволяет объединять данные из разных источников: информационные базы 1С, таблицы Excel, базы данных SQL, XML-документы, файлы множества других форматов.   DataReducer включает веб-приложение, предназначенное для передачи аналитической информации другим пользователям по сети. Данные 1С могут быть быстро опубликованы в виде веб-отчета.

Визуализация данных

 

Интеграция 1С с другими системами

R обладает мощными графическими возможностями. Вы можете создавать интерактивные диаграммы на основе данных из 1С и автоматически встраивать их в страницы сайта или корпоративного портала.   Веб-приложение DataReducer автоматически конвертирует данные в форматы XML и JSON и предоставляет к ним доступ по HTTP. DataReducer можно использовать как сервис интеграции с 1С.

Статистический анализ

 

Предварительная обработка данных

Ко множеству сфер применения R относятся статистика, эконометрика, финансовые исследования, машинное обучение. Если перед вами стоит задача статистического анализа данных 1C, то лучшего инструмента чем R не найти.   DataReducer можно использовать для извлечения и обработки данных перед их передачей в 1С. Возможности R по работе с различными API и форматами данных превосходят аналогичные возможности платформы 1С.

Системные требования

  • Операционная система: Windows 10 x64 / DEB-based Linux x64
  • 1C:Предприятие 8 - Версия 8.3.9 или старше

Схема развертывания

Процесс развертывания DataReducer состоит из следующих этапов:

  1. Публикация интерфейса OData информационных баз 1С на веб-сервере.
  2. Запуск сервисов rserve и rapport в Docker-контейнерах.
  3. Установка и настройка приложения DataReducer Console.

Эти этапы подробно описаны в Руководстве пользователя.


Интерфейс главного окна программы

1. Список информационных баз 4. Наборы данных скрипта R 7. Область вывода графики
2. Дерево метаданных 5. Область вывода сообщений
3. Вкладка скрипта R 6. Таблица данных

Пример 1: Консолидация данных из разных источников и веб-отчеты

Требуется выполнить план-фактный анализ поступлений денежных средств компании за квартал. Компания состоит из двух юридических лиц — организаций «УноФарма» и «ПортоФарма». Бухгалтерский учёт организаций ведётся в двух разных информационных базах «1С:Бухгалтерия предприятия 3.0»:

Запланированные значения поступлений необходимо получить из таблицы Excel, в которой отражены суммарные данные по всем организациям:

Шаги решения поставленной задачи в программе «DataReducer Console»

  1. Добавляем настройки подключения к информационным базам «УноФарма» и «ПортоФарма». Интерфейс OData этих баз предварительно должен быть опубликован на веб-сервере и настроен в соответствии с документацией платформы «1С:Предприятие». В DataReducer можно одновременно работать с данными любого количества информационных баз. Список подключенных баз отображается в главном окне программы.
  2. После подключения информационной базы, DataReducer Console выводит дерево её метаданных. Дерево метаданных включает все сущности, доступные через интерфейс OData (справочники, регистры, виртуальные таблицы и пр.). Для свойств сущностей выводится их тип. Для свойств с ссылочным типом выводится связанная сущность.
  3. Создаём новый скрипт R и открываем его. Каждый скрипт открывается в отдельной вкладке.
  4. Находим в дереве метаданных информационной базы «УноФарма» виртуальную таблицу оборотов регистра бухгалтерии «Хозрасчётный» и через контекстное меню добавляем её в наборы данных скрипта R. Повторяем для информационной базы «ПортоФарма». Любой набор данных можно открыть в отдельном окне и загрузить данные для просмотра.
  5. Поочерёдно открываем окна созданных наборов данных и вводим настройки запросов. Перечень доступных настроек зависит от типа объекта, которому соответствует набор данных. Начало и конец периода получения оборотов регистра бухгалтерии «Хозрасчетный» задаём в виде параметров ${periodBegin} и ${periodEnd}. Значения этих параметров будут общими для всех наборов данных скрипта R.
  6. Пишем код на языке R (см. листинг). Обращение к наборам данных осуществляется по их именам.
  7. Выполняем скрипт. На экран выводятся сообщения о ходе выполнения, в том числе сформированные запросы REST-сервису «1С:Предприятия». В области вывода графики выводится построенная диаграмма. Результаты выполнения скрипта (таблицу данных и диаграмму) можно сохранить в файлы, используя методы языка R.

 

 Листинг примера 1

 

 

На данном примере были продемонстрированы основные инструменты программы «DataReducer Console» для импорта данных информационных баз «1С:Предприятия» и некоторые методы языка R для обработки этих данных. Были консолидированы данные из трёх разных источников: двух информационных баз «1С: Бухгалтерия предприятия 3.0» и файла Excel. С помощью пакета ggplot2 была построена столбчатая диаграмма, отображающая отклонения фактических значений показателей от плановых.

Теперь опубликуем веб-отчет, содержащий результаты анализа.

В строке №96 листинга скрипта изменяем каталог сохранения файлов на /mnt/webapp-files , соответствующий каталогу файлов веб-приложения.

На вкладке «Веб-доступ» скрипта ставим галочку «Веб-доступ». При необходимости на этой вкладке можно изменить имя веб-ресурса и определить роли доступа.

В главном меню программы выбираем «Файл → Загрузить модель на сервер». Список ресурсов модели, к которым открыт веб-доступ, появится на главной странице веб-приложения:

Страница отчета с шаблоном по умолчанию:

Добавим на страницу ресурса период отчета, ссылку на скачивание данных в формате Excel и сгенерированную в R диаграмму. Для этого внесём изменения в шаблон страницы ресурса.

На вкладке «Веб-доступ» скрипта снимаем галочку «Шаблон по умолчанию». После этого шаблон страницы можно редактировать:

Добавляем в контейнер <body> следующие элементы:

<p><i>Период: с ${periodBegin?keep_before('T')} по ${periodEnd?keep_before('T')}</i></p>

<p><a href="/rapport/files/${resourceName}/${requestId}/ПланФакт.xlsx">Сохранить в Excel</a></p>

<p><img src="/rapport/files/${resourceName}/${requestId}/chart.png" class="img-responsive"></p>

После повторной загрузки модели на сервер мы увидим новую страницу ресурса:


Пример 2: Статистические функции языка R и HTML-виджеты

Основное назначение языка R – статистические вычисления. Если перед вами стоит задача статистического анализа данных «1С:Предприятия», то лучшего инструмента, чем R не найти.

В данном примере мы попробуем предсказать значение показателя прибыли от продаж по значениям показателей дебиторской и кредиторской задолженностей при помощи линейной регрессии.

Также мы построим интерактивный график, на который выведем как известные, так и прогнозные значения показателей. График будет иметь формат HTML и может быть опубликован в веб-отчете DataReducer.

Для построения регрессионной модели воспользуемся данными учета компании за 16 предыдущих кварталов. Эти данные мы получим из информационной базы «1С:ERP Управление предприятием 2».

Введём обозначения переменных и определим источники данных.

prib — Прибыль от продаж (зависимая переменная)

Прибыль от продаж = Выручка от продаж - Себестоимость продаж - Коммерческие и управленческие расходы

Источники данных: обороты регистров накопления «Выручка и себестоимость продаж» и «Прочие расходы».

deb — Дебиторская задолженность (независимая переменная)

Источники данных: остатки регистра накопления «Расчеты с клиентами по документам».

kred — Кредиторская задолженность (независимая переменная)

Источники данных: остатки регистра накопления «Расчеты с поставщиками по документам».

Таким образом, каждому кварталу будет соответствовать четыре набора данных по числу запросов к регистрам информационной базы. Необходимо получить данные по 16-ти периодам, значит, всего будет выполнено 64 запроса.

Формируем наборы данных, используя дерево метаданных информационной базы и конструкторы запросов.

 

Наблюдение по каждому кварталу и итоговую таблицу данных для анализа создаём следующим образом:

001  # Получаем значения показателей для каждого квартала
002  Q1_2014 <- data.frame(
003          period = "${Q1_2014_end}",
004          prib   = Q1_2014_ВыручкаИСебестоимость[1, c("СуммаВыручкиTurnover")] -
005                   Q1_2014_ВыручкаИСебестоимость[1, c("СтоимостьTurnover")] -
006                   Q1_2014_ПрочиеРасходы[1, c("СуммаTurnover")],
007          deb    = Q1_2014_РасчетыСКлиентами[1, c("ДолгBalance")],
008          kred   = abs(Q1_2014_РасчетыСПоставщиками[1, c("ДолгBalance")])
009  )
010  Q2_2014 <- data.frame(
011          period = "${Q2_2014_end}",
012          prib   = Q2_2014_ВыручкаИСебестоимость[1, c("СуммаВыручкиTurnover")] -
013                   Q2_2014_ВыручкаИСебестоимость[1, c("СтоимостьTurnover")] -
014                   Q2_2014_ПрочиеРасходы[1, c("СуммаTurnover")],
015          deb    = Q2_2014_РасчетыСКлиентами[1, c("ДолгBalance")],
016          kred   = abs(Q2_2014_РасчетыСПоставщиками[1, c("ДолгBalance")])
017  )
(...)
131 # Объединяем все наблюдения в одну таблицу 
132 df <- rbind(Q1_2014, Q2_2014, Q3_2014, Q4_2014, Q1_2015, Q2_2015, Q3_2015, Q4_2015, 
133  Q1_2016, Q2_2016, Q3_2016, Q4_2016, Q1_2017, Q2_2017, Q3_2017, Q4_2017)

«Q1_2014_ВыручкаИСебестоимость», «Q1_2014_ПрочиеРасходы» и пр. - это имена, которые мы дали наборам данных, соответствующим виртуальным таблицам регистров накопления. «СуммаВыручкиTurnover», «СтоимостьTurnover» и пр. - имена полей этих таблиц, формируемые платформой 1С. Периоды задаем в виде параметров.

 

Смотрим полученную таблицу данных:

 

Создадим интерактивный график изменения показателей по кварталам. Для этого воспользуемся пакетом «dygraphs», предоставляющем R-программисту возможности одноименной JavaScript-библиотеки:

135  # Приводим данные к формату xts
136  library(xts)
137  data_xts <- xts(df[,-1], order.by=as.POSIXct(df[,1]))
138  
139  # Строим график
140  library(dygraphs)
141  graph <- dygraph(data_xts, width=750, height=350) %>%
142      dySeries("prib", label = "Прибыль") %>%
143      dySeries("deb", label = "Деб_зад") %>%
144      dySeries("kred", label = "Кред_зад") %>%
145      dyOptions(drawPoints=TRUE, pointSize=2, drawAxesAtZero=TRUE, labelsKMB=TRUE) %>%
146      dyRangeSelector()
147  
148  # Сохраняем виджет с графиком 
149  library(htmlwidgets)
150  saveWidget(graph, file="/mnt/host/prib.html", selfcontained = TRUE)

 

 

Создаём линейную модель и предварительно оцениваем её:

155  model <- lm(data=df, prib~deb+kred)
156  paste(capture.output(print(summary(model))), collapse='\n')

 

Как видно из последнего столбца таблицы, коэффициенты при переменных deb и kred статистически значимо отличаются от нуля при p < 0.01 и p < 0.001, соответственно. Это указывает на то, что и дебиторская и кредиторская задолженности влияют на показатель прибыли от продаж. Взятые вместе, они на 57% описывают изменения показателя (Multiple R-squared: 0.571).

Теперь проверим данные и посмотрим, можем ли мы нашу модель улучшить.

Для этого воспользуемся методами, реализованными в пакете car (пакет уже установлен в Docker-контейнере rserve).

Проверим, что ошибки регрессии нормально распределены (одна из предпосылок линейной регрессии, которые должны выполняться, чтобы мы могли считать модель адекватной). Выполним это графически, построив Q-Q график, или график Квантиль-Квантиль:

160  library(car)
161  qq <- qqPlot(model, labels = row.names(df), simulate = TRUE, main = "Q-Q plot")
162  print(qq)
163  dev.off()

 

На графике хорошо видно, что одно из наблюдений выпадает из доверительных границ (изображенных пунктирными линиями) — это т. н. «выброс», т. е. наблюдение, которое плохо предсказывается моделью.

 

Удаляем «выброс» и снова оцениваем модель:

165  # Удаляем "выброс"
166  df1 <- df[-c(12),]
167  
168  # Снова оцениваем модель
169  model1 <- lm(data=df1, prib~deb+kred)
170  paste(capture.output(print(summary(model1))), collapse='\n')

 

Как мы видим, после удаления «выброса» значимость коэффициентов при независимых переменных увеличилась и модель в целом стала лучше соответствовать данным (Multiple R-squared: 0.793).

 

Проверим выполнение всех остальных предпосылок линейной регрессии при помощи функции gvlma() из пакета gvlma.

173  library(gvlma)
174  gvmodel <- gvlma(model1)
175  paste(capture.output(print(summary(gvmodel))), collapse='\n')

 

 

Воспользуемся моделью для предсказания прибыли от продаж за три последующих квартала:

177  # Создаем таблицу с плановыми данными дебиторской и кредиторской задолженностей
178  # и приводим её к формату xts
179  q1_2018_plan <- data.frame(period="2018-03-31T23:59:59", deb=${deb_plan1}, kred=${kred_plan1})
180  q2_2018_plan <- data.frame(period="2018-06-30T23:59:59", deb=${deb_plan2}, kred=${kred_plan2})
181  q3_2018_plan <- data.frame(period="2018-09-30T23:59:59", deb=${deb_plan3}, kred=${kred_plan3})
182  plan_df <- rbind(q1_2018_plan, q2_2018_plan, q3_2018_plan)
183  plan_xts <- xts(plan_df[,-1], order.by=as.POSIXct(plan_df[,1]))
184  
185  # Предсказываем прибыль от продаж
186  predicted <- predict(model1, newdata=plan_xts, interval="prediction")

 

Предсказанные значения показателя, а также доверительные интервалы, выводим на интерактивный график:

191  # Объединяем все наборы данных
192  combined <- cbind(data_xts, plan_xts, predicted)
193  
194  # Строим новый график
195  graph1 <- dygraph(combined, width=750, height=350) %>%
196      dySeries("prib", label = "Прибыль", color="red") %>%
197      dySeries("deb", label = "Деб_зад", color = "blue") %>%
198      dySeries("kred", label = "Кред_зад", color = "green") %>%
199      dySeries("deb.1", label = "Деб_зад_план", color = "blue", strokePattern="dashed") %>%
200      dySeries("kred.1", label = "Кред_зад_план", color = "green", strokePattern="dashed") %>%
201      dySeries(c("lwr", "fit", "upr"), label = "Прибыль_прогноз", color = "red", strokePattern="dashed") %>%
202      dyEvent("2018-03-31", "Прогноз", labelLoc = "bottom", color="red", strokePattern="dotted") %>%
203      dyLegend(width = 300) %>%
204      dyOptions(drawPoints=TRUE, pointSize=2, drawAxesAtZero=TRUE, labelsKMB=TRUE) %>%
205      dyRangeSelector()
206  
207  # Создаем каталог для хранения файлов в точке монтирования /mnt/webapp-files,
208  # соответствующей каталогу файлов веб-приложения.
209  requestDir <- '/mnt/webapp-files/${resourceName}/${requestId}
210  dir.create(requestDir, recursive=TRUE)
211  
212  # Сохраняем виджет с новым графиком в каталоге для публикации
213  graphPath <- paste(requestDir, 'prib_predicted.html', sep='/')
214  saveWidget(graph1, file=graphPath, selfcontained = TRUE)

 

 

Подробнее о методах, используемых в данном примере:

  • Лысенко М.В., Лысенко Ю.В., Якушев А.А., Согрина Н.С. «Cтатистический анализ дебиторской и кредиторской задолженности при оперативном прогнозировании прибыли от продаж» // Фундаментальные исследования. – 2016. – № 12-4. – С. 884-890
  • Цикл видео-лекций Демешева Б.Б. по курсу Эконометрики
  • Кабаков Р.И. «R в действии. Анализ и визуализация данных в программе R» / пер. с англ. Полины А. Волковой. – М.: ДМК Пресс, 2014. – 588 с.: ил.

Достоинства

Интеграция с 1С через REST-интерфейс

 

Конструктор запросов к 1С

Способ взаимодействия DataReducer с «1С:Предприятием» не требует запуска клиента 1С и программирования на стороне 1С.   DataReducer позволяет конструировать HTTP-запросы к REST сервису «1С:Предприятия» при помощи графических средств. Результаты выполнения каждого запроса можно посмотреть в отдельном окне.

Кэширование ресурсов 1С

 

Открытый исходный код

Данные, импортированные из 1С, сохраняются в кэше. Это значительно сокращает время повторного обращения к ресурсам и выполнения скриптов R.   Программа имеет открытый исходный код и распространяется по лицензии GNU GPL v2.

Кроссплатформенность

 

Простая установка из Docker-образов

Программа DataReducer написана на Java и работает под управлением операционных систем Windows и Linux.   Серверные компоненты DataReducer распространяются в виде Docker-образов, что упрощает установку и работу с программой.

Техническая поддержка

Вы можете свободно обращаться к автору по любым вопросам, касающимся использования программы.

Также предлагаю расширенную техническую поддержку, которая может включать:

  • Решение конкретных задач с помощью DataReducer (см. Области применения программы)
  • Создание внешних обработок для двусторонней интеграции DataReducer с 1С
  • Подготовка индивидуальных Docker-образов (например, с нужными вам пакетами R)
  • Доработки программы по вашему техническому заданию

Автор будет рад, если в комментариях вы расскажете о вашем опыте использования DataReducer или R для анализа данных 1С!


Сравнение версий

 
 Изменения в версиях

DataReducer 1.1.14 (22.04.19)

  • Исправление ошибок

Руководство пользователя 2.2 (22.04.19)

  • Добавлен раздел "Двусторонняя интеграция с 1С" и новый пример использования

DataReducer 1.1.13 (31.03.19)

  • Изменен формат ввода параметров. Подробности в п. 3.4 Руководства пользователя
  • Набор конфигурационных файлов Docker-контейнера datareducer_rapport дополнен файлами server.xml и log4j2.xml
  • В схему ответа сервера на запрос данных в форматах XML или JSON добавлен атрибут типа поля
  • Другие небольшие доработки и исправление ошибок

Руководство пользователя 2.1 (31.03.19)

  • Документация актуализирована

 

 

Гарантия возврата денег

ООО "Инфостарт" гарантирует Вам 100% возврат оплаты, если программа не соответствует заявленному функционалу из описания. Деньги можно вернуть в полном объеме, если вы заявите об этом в течение 14-ти дней со дня поступления денег на наш счет.

Программа настолько проверена в работе, что мы с полной уверенностью можем дать такую гарантию. Мы хотим, чтобы все наши покупатели оставались довольны покупкой.

Для возврата оплаты просто свяжитесь с нами.

Файлы для установки

Наименование Файл Версия Размер
Файлы для развертывания Docker-сервисов
.zip 7,93Kb
30.08.18
5
.zip 7,93Kb 5 Скачать бесплатно
DataReducer Console — версия для Windows 10 x64 (за SM)
.exe 61,28Mb
22.04.19
1
.exe 1.1.14 61,28Mb 1 Скачать
DataReducer Console — версия для DEB-based Linux x64 (за SM)
.deb 67,20Mb
22.04.19
0
.deb 1.1.14 67,20Mb Скачать
23.04.2019

1000 руб.
1.1.14 0
Цена до 06.04.2020
900 руб.
1000 руб.

Моментальная
доставка

23.04.2019

1000 руб.
1.1.14 1
Цена до 06.04.2020
900 руб.
1000 руб.

Моментальная
доставка

Документация и модели из примеров

Наименование Файл Версия Размер
Руководство пользователя DataReducer
.pdf 2,65Mb
30.08.18
27
.pdf 2.2 2,65Mb 27 Скачать бесплатно
Пример 1: Консолидация данных из разных источников и веб-отчеты
.xml 33,14Kb
30.08.18
5
.xml 33,14Kb 5 Скачать бесплатно
Пример 2: Статистические функции языка R и HTML-виджеты
.xml 414,95Kb
30.08.18
5
.xml 414,95Kb 5 Скачать бесплатно

Техническая поддержка

Наименование Файл Версия Размер
23.04.2019

1000 руб.
0
Цена до 06.04.2020
900 руб.
1000 руб.
23.04.2019

1700 руб.
0
Цена до 06.04.2020
1530 руб.
1700 руб.

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. spezc 640 10.07.17 13:23 Сейчас в теме
Интересная работа. Но мне кажется среди адинесников мало спецов по R будет. А в конторах где есть собственные R-спецы уже имеются инструменты для контакта с базой 1С. Но это только имхо. Желаю удачи найти своего покупателя)
2. Техподдержка 10.07.17 14:02
(1) Спасибо за пожелания! Я, в своё время, открыл для себя R, когда искал решение нестандартной задачи объединения и анализа данных из нескольких разных источников, среди которых были и базы 1С. Оказалось, что средствами 1С эту задачу было решить довольно затруднительно, в то время как в R решение было найдено сравнительно легко. Так R и оказался в копилке моих инструментов, как 1C-ника. Для тех, кто раньше не имел дела с R, я, конечно, рекомендую установить и начать использовать IDE RStudio. Если кому-то из 1С-разработчиков язык R понравится также, как и мне, то, возможно, и моя разработка окажется полезной.
3. Steelvan 10.07.17 22:17 Сейчас в теме
Плюсанул чисто за "замене латинской буквы "R" на кириллическую "Р"".
Если бы логотип был с российским флагом, плюсанули бы еще несколько человек, уж постарался бы :)
4. Техподдержка 10.07.17 22:26
(3) Далее в предложении указано что символизирует это изменение, никакой политики. :) Кроме того, описание вносимых изменений требует лицензия Creative Commons.
5. McSim_ 12.07.17 17:54 Сейчас в теме
Взлетит?
Интересно, что на практике выйдет. Каков эффект.
На Питоне есть аналоги уже?
6. Техподдержка 12.07.17 19:39
(5) Эффект от использования программы сильно зависит от решаемой задачи. В некоторых случаях (пожалуй, в большинстве) программисту проще обойтись привычными инструментами. Но есть области, в которых R может оказать неоценимую помощь. Сложно назвать метод обработки или визуализации данных, который не поддерживался бы R. Но есть и обратный эффект - считается, что у R высокий порог вхождения, если сравнивать его с тем же Python.

Я должен отметить, что существуют инструменты для работы с R, обладающие более развитым функционалом, чем DataReducer Console. Самый известный из них - RStudio. Способов интеграции с 1С (как и с другими платформами) у R тоже масса. Например, существует пакет OData (cran.r-project.org/web/packages/OData/), который позволяет обращаться из R к данным информационных баз по тому же протоколу, который использует DataReducer Console.

Но DataReducer Console работает с данными 1С в терминах, знакомых каждому 1С-специалисту. Программа призвана облегчить решение задачи, которая перед вами стоит, если вы разбираетесь в структуре метаданных 1С, но, возможно, ранее не сталкивались с R.

DataReducer Console поможет и в том случае, если вы не хотите работать с "сырыми" данными OData или строить HTTP-запросы вручную.

Аналогов DataReducer Console, использующих Python (впрочем, как и использующих R), я не встречал. Если кто-то знает аналоги, прошу написать об этом в комментариях. На тему сравнения R и Python есть хорошая статья, перевод которой доступен по адресу habrahabr.ru/company/piter/blog/263457/ .

Всем, кто заинтересовался программой DataReducer Console, я предлагаю описать в комментариях свой кейс, и я постараюсь разобраться - насколько R и DataReducer Console в частности подходят (или не подходят) для решения вашей задачи. Для наиболее интересных задач я, возможно, приведу решение полностью.
McSim_; shootnik; +2 Ответить
9. a.b.vorobjev 14.07.17 15:16 Сейчас в теме
(6) Если честно, аналогов не встречал. Для целей анализа организовывал экспорт данных (в csv), с которыми потом работал традиционными средствами R и Python. Пока хватало. Причиной отсутствия аналогов, думаю является то, что люди которым требуется анализ, и которые умеют его проводить - они уже знакомы с языками, инструментальными средствами и имеют навыки и привычку работы с ними. И им требуется лишь поток данных из произвольной среды (1С в частности).

Функциональным аналогом можно было бы считать средства анализа данных предлагаемые собственно 1С, но они не получили какого либо широкого использования (насколько мне известно). Хотя они достаточно неплохи.
DataReducer; +1 Ответить
10. Техподдержка 14.07.17 17:32
(9) Спасибо за комментарий!

Штатные средства 1С не сравнятся с R, но если для решения конкретной задачи их хватает, и речь идёт об анализе данных одной информационной базы, действительно, проще и лучше ограничиться ими. Задача усложняется, если таких баз несколько и их данные не консолидированы.

Если требуется провести единоразовое исследование, то выгрузка данных в удобочитаемый формат - лучший выбор. Но что если это нужно выполнять регулярно? Конечно, экспорт данных тоже можно автоматизировать. Но на мой взгляд, DataReducer Console предоставляет более удобное решение, которое, к тому же, не требует снятия конфигурации с поддержки.

Аудитория DataReducer Console - это, пожалуй, не опытные специалисты по Data Mining, а рядовые 1С-разработчики и аналитики. Безусловно, среди них R - не самое популярное программное средство. Я сам познакомился с ним почти случайно, когда столкнулся с задачей, выходящей за рамки моей обычной практики.

Поэтому, в дальнейшем я планирую добавить к публикации готовые скрипты, которые не только бы продемонстрировали всю мощь R, но и оказались бы полезным подспорьем для аналитиков, работающих с типовыми конфигурациями 1С.

Также готовится клиент-серверная версия программы, позволяющая обращаться к результатам выполнения скриптов R по HTTP. После выхода этой версии цена на базовую версию будет снижена.
7. McSim_ 13.07.17 00:07 Сейчас в теме
Сам я столкнулся с тем, что клиенты не могут сформулировать задачу, так как не знают, что может ML.
Всё заканчивается банальными прогнозами временных рядов, типа уровня продаж. Добавлял погоду, естественно.
А можно было бы хотя бы номенклатурные пары в покупательской корзине рассчитывать. Что ещё? Очевидно, что на данном этапе задачи придётся ставить самим себе.
DataReducer; +1 Ответить
8. Техподдержка 13.07.17 15:01
(7) К сожалению, это так. Формулировать задания программистам - это дело аналитиков и других специалистов предметной области. А они, привыкнув к доступным им методам анализа, обычно не ждут многого от программистов.

Иногда уже на этапе реализации удается отступить от технического задания и найти более удачное решение поставленной задачи. Тогда заказчик, вдохновившись промежуточным результатом, формулирует новые требования, уже с учетом продемонстрированных ему новых возможностей.

Но ситуации бывают, конечно, разные.
11. user608393_rusmailuser 01.05.18 10:53 Сейчас в теме
Мне очень понравилась программа Data Reduce Console. Удивительно, но делал все по инструкции и все заработало с первого раза. В своей дипломной работе описываю возможности программы и пытаюсь реализовать аналитический модуль. Единственное, что сразу было не понятно где находится консоль вывода результатов и графики. Вывод графики с помощью dev.off() нашел в инструкции, а как выводить результат на консоль искал весь день, хотел даже здесь спросить, но потом нашел в онлайн-руководстве . Конечно, R знаю поскольку постольку, но его надо изучать, потому что если его знать разработка существенно упрощается, а реализовывать готовые аналитические алгоритмы средствами 1С крайне не эффективно.
12. Техподдержка 01.05.18 18:06
(11) Рад, что программа оказалась полезной, и что не возникло существенных затруднений при её использовании. Желаю успешно выполнить и защитить дипломную работу!
user608393_rusmailuser; +1 Ответить
Оставьте свое сообщение

См. также

SALE! 10%

Интернет-магазин в Телеграм. Подсистема для разработки ботов с готовыми скриптами

Инструменты и обработки no Конфигурация (md, cf) v8 УТ11 УУ Платные (руб) WEB Интеграция Оптовая торговля

Онлайн продажи через Telegram в 2019 году составили 1.1 млрд рублей продаж, а на днях разрешили дистанционную продажу лекарств (ссылки в конце статьи). У курьерских служб и интернет-магазинов бум продаж в связи с карантином. Это значит, самое время создать магазин в телеграм на базе 1С. В публикации описание, как это можно сделать с помощью подсистемы для разработки ботов, а также готовые скрипты для быстрого старта.

18990 руб.

20.03.2020    981    0       

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

SALE! 10%

Интеграция API b2b.4tochki.ru (Форточки)

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::ОУ v8::УФ УТ11 Транспорт, автопарки, такси УУ Платные (руб) Ценообразование, прайсы Оптовая торговля WEB

Внешняя обработка адаптирована для УТ 11, предназначена для наполнения вашей базы данных товарами и сопутствующей информацией, предоставляемой b2b.4tochki.ru, обновления остатков и цен.

6800 руб.

31.01.2020    1227    0       

SALE! 10%

"Морские контейнерные грузоперевозки" с возможностью трекинга (отслеживания маршрута) движения контейнеров из открытых источников в интернет Расширение конфигурации 1С: Предприятие 8.3

Отчеты и формы Программист Бухгалтер Пользователь Архив с данными v8 БП3.0 Windows Платные (руб) WEB Управление услугами и сервисом

Расширение конфигурации Бухгалтерия предприятия, редакция 3.0 (при минимальных изменениях любой типовой конфигурации), позволяющее вести историю данных по морским контейнерным грузоперевозкам. Бонусом поставляется внешняя обработка, способная загружать данные отслеживания контейнеров из открытых источников в интернет.

3000 руб.

13.01.2020    1579    1       

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

SALE! 10%

Телефонный справочник организации: управляемые формы, вэб клиент, api

Отчеты и формы no Конфигурация (md, cf) v8 v8::УФ 1cv8.cf Платные (руб) WEB Управленческие

Удобное представление информации по сотруднику: полное ФИО, должность, дата рождения, контакты и состояние сотрудника (работает, в отпуске или болеет, когда и на сколько собирается отпуск или когда запланировал). Рекомендуется работать через WEB интерфейс. 5 стартмани или 1000 руб.

1000 руб.

03.12.2019    2289    1    0       

SALE! 10%

Интеграция с Onliner.by API

Инструменты и обработки Программист Расширение (cfe) v8 УТ11 Беларусь Платные (руб) WEB

Расширение для добавления товаров, обновления цен на площадку Onliner.by.

6800 руб.

21.11.2019    2022    3       

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

SALE! 10%

Конвертер Excel-файла PROM в файл для загрузки товаров на Rozetka

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Розничная и сетевая торговля (FMCG) УУ Платные (руб) Розничная торговля Обмен через XML WEB

Многие небольшие интернет магазины начинают свои продажи с работы на маркетплейсах. Электронные торговые площадки имеют очень высокую посещаемость, огромный перечень товаров и очень удобные для покупателей отборы товаров по определенным параметрам. Это выводит товары интернет магазинов в топ поисковых систем и позволяет экономить бюджет на оплате услуг по разработке и продвижению собственного сайта. Самыми посещаемыми торговыми площадками Украины являются Prom и Rozetka. Товары на Prom довольно легко экспортируются, для этого нужно либо заполнить Excel-файл в необходимом формате и загрузить его, либо же вручную добавлять товар в личном кабинете этой площадки. В случае с Rozetka дело обстоит сложнее. В ее личном кабинете нет возможности создавать товары вручную. Они могут быть загружены только с помощью xml-файла определенного формата, а это вызывает большие сложности у владельцев интернет-магазинов и они вынуждены обращаться за помощью к программистам. С помощью этой обработки можно конвертировать экселевский файл для Prom в файл xml полностью удовлетворяющий требованиям Розетки.

1000 руб.

07.11.2019    4001    9    0       

Онлайн-курс «Автоматизация процессов управления МТО: методика сбора и формализации требований» с 1 апреля по 13 мая 2020 года. Промо

Цель курса - повысить полноту и качество сбора и формализации требований к автоматизации процессов управления материально-техническим обеспечением. Курс основан на процессном подходе, позволяет в полном объеме выявить и учесть все факторы, влияющие на специфику процессов управления МТО. Участники курса получают теоретические знания в области организации процессов управления МТО и готовый инструментарий для сбора и формализации требований по автоматизации этих процессов (шаблоны, опросники, модели).

40000 рублей

SALE! 10%

Загрузка данных из ПО R-keeper 7 UCS в 1С:Бухгалтерию 8.3

Инструменты и обработки Программист Бухгалтер Внешняя обработка (ert,epf) v8 v8::БУ БП3.0 Рестораны, кафе и фаст-фуд Россия БУ Платные (руб) Внешние источники данных Интеграция

Внешняя обработка для загрузки номенклатуры и документов продаж из базы данных SQL программы R-keeper 7 фирмы UCS в 1с Бухгалтерию 8.3. С возможностью загрузки за период и синхронизации справочников.

4000 руб.

16.10.2019    3570    0       

SALE! 10%

Выполнение произвольного кода или запроса с параметрами через Web-сервис (замена COM-подключений)

Инструменты и обработки Программист Архив с данными v8 Платные (руб) Обмен данными 1С Инструментарий разработчика WEB

В процессе работы в 1С часто возникает потребность получить данные из другой базы.  Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

1500 руб.

24.09.2019    3413    7       

Базовый курс по обмену данными в системе 1С:Предприятие. Онлайн-интенсив с 12 по 28 мая 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, обеспечивающих обмен данными между различными прикладными 1С-решениями и взаимодействие с другими информационными системами. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”.

5500 рублей

SALE! 10%

Отправка посылок через UPS

Инструменты и обработки Пользователь Расширение (cfe) v8 v8::ОУ ERP2 УТ11 Россия УУ Платные (руб) WEB

Прямая выгрузка отправлений из 1С в UPS через API-интерфейс. Внимание! Выгрузка доступна только для зарегистрированных на сайте UPS пользователей, запросивших специальный ключ доступа для использования API.

10000 руб.

17.09.2019    2368    0       

Время учиться: до 3 апреля скидки на курсы до 40%! Промо

Для тех, кто решил провести самоизоляцию с пользой, Инфостарт запускает акцию «Время учиться». С 30 марта до 3 апреля 2020 года наши курсы и видеозаписи докладов INFOSTART EVENT 2019 INCEPTION продаются со скидкой!

SALE! 10%

HTML-описание номенклатуры: заполнение и выгрузка на сайт Битрикс

Инструменты и обработки Программист Пользователь Расширение (cfe) v8 ERP2 УТ11 КА2 УУ Оптовая торговля Розничная торговля Платные (руб) WEB

Расширение предназначено для заполнения html-описаний номенклатуры в 1С и выгрузки этих описаний на сайт Битрикс.

2000 руб.

04.09.2019    6545    25    5       

SALE! 10%

[ЕХТ] Фреймворк для расширений

Инструменты и обработки Программист Расширение (cfe) v8 v8::УФ Платные (руб) Инструментарий разработчика

«Фреймворк для Расширений» это универсальное решение, позволяющее обрабатывать в Расширениях любые события Конфигурации без заимствований форм, модулей и объектов. Фреймворк выполнен в виде расширения с открытым исходным кодом. Работает в любых Конфигурациях с режимом совместимости 8.3.12 и выше без необходимости внесения изменений в Конфигурацию.

2000 руб.

27.08.2019    4180    6       

Базовый курс для начинающих 1С-программистов. Онлайн-интенсив со 2 июня по 2 июля 2020 г. Промо

Данный онлайн-курс является начальной ступенью по изучению базовых принципов программирования в системе “1С:Предприятие” и предназначен для обучения 1С-программированию “с нуля”.

4500-9500 рублей

1C:Предприятие для программистов: Расчетные задачи (зарплата). Онлайн-интенсив с 01 по 17 июня 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, которые предназначены для автоматизации периодических расчетов, а именно - для расчета зарплаты. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей прикладного решения “1С:Зарплата и управление персоналом” и прочих прикладных решений, в которых реализован функционал расчета зарплаты.

4900 рублей

SALE! 10%

Формирование УПД для документооборота ЭДО с ОЗОН ozon.ru (все типовые конфигурации)

Инструменты и обработки Бухгалтер Пользователь Архив с данными v8 УНФ БУ Документооборот и делопроизводство Оптовая торговля Платные (руб) Внешние источники данных

Обработка создает файл xml универсального передаточного документа (далее УПД) или торговой накладной (далее 2 – передаточный документ (акт)) для отправки в ОЗОН (ozon.ru) ©

3000 руб.

24.07.2019    14323    46    174       

SALE! 10%

Рассылка прайс-листов и прием заказов + мобильное приложение COMIRON PRICE

Инструменты и обработки Пользователь Конфигурация (md, cf) v8 УУ Монитор заказов Розничная торговля Ценообразование, анализ цен Платные (руб) Ценообразование, прайсы Внешние источники данных

Комплекс программ (подсистема 1С + приложение на IOS / Android) обеспечивает автоматизацию рассылок прайс-листов покупателям и получение обратно заказов. Удобное клиентское приложение для IOS и Android, позволяющее принимать прайс-листы, выбирать интересующий товар (смотреть фотографии и описание), заказывать и оплачивать товар. Отслеживать статус своего заказа.

2500 руб.

23.07.2019    3343    0       

Онлайн-курс «Практические аспекты внедрения регламентированного учета и расчета себестоимости в 1С:ERP на крупных промышленных предприятиях» с 20 апреля по 15 мая 2020 года. Промо

Курс рассчитан для подготовки экспертов по регламентированному учету и учету затрат для внедрения на крупных промышленных предприятиях с «исторически сложившимся» учетом

9000 рублей

SALE! 10%

Работа с заказами ZZAP

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 1cv8.cf Автомобили, автосервисы УУ Монитор заказов Платные (руб) WEB

Обработка загрузки заказов покупателей с сайта ZZAP для Альфа-Авто. Подходит для платформы как 8.2, так и 8.3. Необходимо иметь логин, пароль и api ключ ZZAP.

1000 руб.

18.07.2019    3425    1    0       

Подборка решений для взаимодействия со ФГИС «Меркурий» Промо

С 1 июля 2019 года все компании, участвующие в обороте товаров животного происхождения, должны перейти на электронную ветеринарную сертификацию (ЭВС) через ФГИС «Меркурий». Инфостарт предлагает подборку программ, связанных с этим изменением.

SALE! 10%

Просмотр файлов обмена заказами Битрикс

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 УНФ УТ11 КА2 Платные (руб) WEB

Обработка предназначена для программистов, тестирующих обмен заказами с сайтом Битрикс. Обработка позволяет просмотреть xml-файлы обмена заказами, выгружаемые из Битрикса в 1С.

1000 руб.

21.06.2019    4441    19    10       

Новый раздел на Инфостарте - Electronic Software Distribution Промо

Инфостарт напоминает: на нашем сайте можно купить не только ПО, связанное с 1С. В нашем арсенале – ESD-лицензии на ПО от ведущих вендоров: Microsoft, Kaspersky, ESET, Dr.Web, Аскон и другие.

  • Низкие цены, без скрытых платежей и наценок
  • Оперативная отгрузка
  • Возможность оплаты с личного счета (кешбек, обмен стартмани на рубли и т.п.)
  • Покупки идут в накопления для получения скидочных карт лояльности Silver (5%) и Gold (10%)

Онлайн-интенсив "1C:Предприятие для программистов: Бухгалтерские задачи" с 22 июня по 8 июля 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, которые предназначены для решения задач бухгалтерского учета. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей прикладного решения “1С:Бухгалтерия” и прочих прикладных решений, в которых реализованы соответствующие механизмы для автоматизации бухгалтерских задач.

4900 рублей

SALE! 10%

Внешний табель на HTML5/jQuery для ЗУП/ЗКГУ 3.1

Инструменты и обработки Бухгалтер Внешняя обработка (ert,epf) v8 v8::СПР ЗКГУ3.0 ЗУП3.x Россия БУ Зарплата Учет рабочего времени Платные (руб) Обработка документов Внешние источники данных

Внешняя обработка создает шаблоны табелей по подразделениям для заполнения из браузера, после чего можно загрузить данные заполненных шаблонов в информационную базу в документ "Табель". Тестировалась на ЗУП 3.1.8.246 и выше.

3500 руб.

08.05.2019    6109    8    18