Нестандартный коннектор DATAREON: 500 000 документов холдинга автоматически в Nextcloud
Коннектор для DATAREON сам находит новые документы по всей компании, раскладывает их по категориям и загружает в Nextcloud.
- 500 000
- файлов автоматически загружено и классифицировано
- 2 года
- в эксплуатации без доработок
Задача
Собрать все рабочие документы крупного строительного холдинга в одно хранилище так, чтобы сотрудники ничего не меняли в привычной работе: система должна сама находить новые файлы и раскладывать их по местам.
Как было до проекта
- Документы лежали на рабочих столах, личных дисках, файловых серверах отделов, FTP и в личных облаках.
- У каждого отдела своя структура папок, общей не было.
- Плодились дубли и версии, сложно было понять, какой договор актуальный, важные файлы терялись.
Что я сделал
- 1
Хранилище на базе того, что уже есть
Взял за основу Nextcloud, уже развёрнутый на серверах заказчика: открытый код, удобный интерфейс и REST API на WebDAV. Покупать новое ПО не пришлось.
- 2
Коннектор под шину заказчика
Интеграции у холдинга шли через DATAREON, поэтому написал для платформы нестандартный программируемый коннектор. По расписанию он обходит заданные папки, сетевые шары и FTP и ловит новые файлы.
- 3
Многоуровневая классификация
Файл определяется по расширению, затем по исходному пути (например, папка смет), затем по имени и тегам. В сложных случаях коннектор заглядывает внутрь файла. Неопознанные файлы попадают в отдельный каталог для ручной разметки.
- 4
Передача и аудит
Классифицированный файл уходит в модуль процессов DATAREON и стандартными коннекторами по REST в Nextcloud. Каждый шаг фиксируется: в базе ведутся таблицы маршрутов, и по любому файлу видно, откуда и куда он ушёл.
Результат
- 500 000 файлов загружено и разложено по категориям автоматически.
- Путь файла от папки сотрудника до Nextcloud занимает секунды, привычки людей менять не пришлось.
- Решение работает в продакшене два года без доработок.
Хранилище документов приживается, когда людям не нужно ничего делать вручную. Автоматический сбор и классификация решают это лучше любых регламентов.
