Лавинообразный рост неупорядоченных данных начал тревожить экспертов

Лавинообразный рост неупорядоченных данных начал тревожить экспертов

03.12.2018      14419

Объем неструктурированных данных растет в 10 раз быстрее, чем упорядоченных. Специалисты опасаются, что без технологий обработки этого массива информации развитие цивилизации остановится.

Стремительный рост

Аналитики компании Igneous пришли к выводу, что почти половина ЦОДов Северной Америки сталкивается с задачей обработки большого объема неупорядоченных данных. 59% дата-центров управляют более чем 10 млрд файлов, а каждый год их объем растет на 23%. Такие сведения представлены в «Государственном докладе, посвященном анализу неструктурированных данных».

Всего в опросе приняло участие 200 руководителей ИТ-компаний. 55% респондентов рассказали, что их организациям приходится иметь дело с машинными данными: сведениями о работе приложений, серверов, гаджетов, мобильных устройств, объектов «интернета вещей», производственных датчиков. Объем неструктурированных данных в 10 раз превышает аналогичный показатель упорядоченных.

В среднем компания каждого опрошенного руководителя использует не менее семи серверов для хранения информации (NAS). У каждой третьей организации таких устройств более 10. Каждое двенадцатое предприятие имеет в своем распоряжении больше 50 NAS.

Вся ценность в данных

Большинство опрошенных предпринимателей уверены, что информация – одна из основных ценностей их бизнеса, наравне с клиентами и сотрудниками. При этом респонденты ставят ее выше бренда, интеллектуальной собственности и даже физических активов. По мнению руководителей, сведения составляют около 40% рыночной стоимости среднестатистического предприятия.

Больше всего респонденты обращают внимание на доступность информации и инструменты для ее анализа. Авторы опроса делают вывод, что это свидетельствует о необходимости повышения скорости доступа к неструктурированным данным и создания решений для их обработки. Исследователи отмечают, что сейчас на рынке достаточно устройств и программных комплексов для хранения неупорядоченных данных, но ощущается нехватка аналитических средств.

Надежды и опасения

Технический директор P1 Technologies Джефф Диниско весьма пессимистично оценивает будущее рынка обработки информации. По его мнению, без новых технологий для анализа неструктурированных нельзя сделать качественный скачок вперед. «Мы просто ничего не сможем сделать с таким массивом информации», – отметил он.

Топ-менеджер Igneous Киран Багешпар дает более оптимистичный прогноз. Он уверен, что, даже несмотря на нехватку аналитических инструментов, неупорядоченные данные находят все больше применения, их роль в развитии общества растет. В качестве примера эксперт приводит машинное обучение, которое на смогло бы существовать без изучения больших объемов информации.

Татьяна Бочарникова, глава представительства NetApp в России и странах СНГ, согласна с результатами исследования и тем фактом, что количество неупорядоченных данных растет по всему миру. Она также отметила тенденцию к оптимизации расходов компаний на ИТ-инфраструктуру, в том числе касающихся хранения информации.



Источник: https://infostart.ru/journal/news/tekhnologii/lavinoobraznyy-rost-neuporyadochennykh-dannykh-nachal-trevozhit-ekspertov_956412/
Автор:
Аналитик


Какой объем дисковой памяти использует ваш домашний ПК?


Менее 256 ГБ (15.38%, 14 голосов)
15.38%
256-512 ГБ (19.78%, 18 голосов)
19.78%
512 – 1024 ГБ (20.88%, 19 голосов)
20.88%
1024 – 2048 ГБ (16.48%, 15 голосов)
16.48%
Более 2 ТБ (23.08%, 21 голосов)
23.08%
Нет домашнего ПК (4.4%, 4 голосов)
4.4%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Senator_I 15 03.12.18 10:08 Сейчас в теме
Двух дисков по 500 Гбайт не хватает ,периодически на внешние HDD информацию переношу.
Kochergov; +1 Ответить
2. trdm 03.12.18 10:37 Сейчас в теме
Достаточно научиться отсеивать важное от второстепенного и эта проблема исчезнет.
ccserg; Senator_I; +2 Ответить
3. Senator_I 15 03.12.18 11:01 Сейчас в теме
(2) Много раз были случаи, когда удаленные данные, которые даже стопроцентно не понадобятся, через время оказывались нужными позарез! Одну программу бесплатную, к примеру, полтора дня искал в интернете первый раз, когда попытался второй раз найти, так и не нашел, благо на другом компьютере сохранилась.
Kochergov; +1 Ответить
4. Поручик 4608 03.12.18 11:16 Сейчас в теме
(3) В облако запихивайте. Учётка на яндексе или мыл.ру есть у всех, тем более денег не просят
SITR-utyos; +1 Ответить
5. Senator_I 15 03.12.18 11:28 Сейчас в теме
(4) На Яндексе уже место закончилось, там самые необходимые "под рукой" данные, на майле есть еще немного места, но ненадолго.
22. Timur.V 57 04.12.18 11:54 Сейчас в теме
(5)
Можно создать несколько ящиков. Для каждого ящика место считается отдельно.
8. fd13 03.12.18 11:52 Сейчас в теме
(4) Учеток там не держу. Пользую гугловый диск (иногда) - совместная работа над документами неплохо организована, бывает полезно. Все основное в личном облаке на Synоlogy.
10. suepifanov 03.12.18 14:58 Сейчас в теме
(3) Плюшкины в наше время гигабайты копят)
ccserg; sergathome; Stref75; +3 Ответить
11. Senator_I 15 03.12.18 15:24 Сейчас в теме
(10) а промышленность идет навстречу, благо, цена нескольких гигабайт не соизмерима с автомобилем, как раньше.
15. spectre1978 59 04.12.18 09:14 Сейчас в теме
(3) у меня тоже такие случаи были. Но как по мне, все равно это ни разу не повод собирать весь хлам. Я лучше раз в десять лет помучаюсь с тем что "надо позарез", чем буду обрастать всем этим барахлом, в котором, если уж по чесноку, все равно ничерта не найдешь...
30. Healer 1 04.12.18 16:10 Сейчас в теме
6. Senator_I 15 03.12.18 11:29 Сейчас в теме
(2) P.S. кстати, тратить свой законный выходной на разбор данных вовсе не хочется! ;-)
13. Неопределено 86 04.12.18 04:25 Сейчас в теме
(6) Так не собирайте их. Ума не приложу чем можно было забить дома терабайт дискового пространства.
16. Senator_I 15 04.12.18 09:15 Сейчас в теме
(13) Ну во-первых там не только личные данные, но и софтина всякая, фильмы опять же и т.п. И не за один год скопилось, у меня ПК в 2001 появился.
17. Неопределено 86 04.12.18 09:32 Сейчас в теме
(16) Я, конечно, отстал на 3 года, но у меня тоже есть разный софт в виде игр по 20+Гб каждая и при этом занято всего гигабайт 300, а фильмы в наше время широкополосного доступа в сеть можно посмотреть и онлайн в 1080.
18. Senator_I 15 04.12.18 10:00 Сейчас в теме
(17) Вот перекроют доступ к онлайн фильмам,тогда посмотрим кто прав. )))
19. TODD22 18 04.12.18 10:18 Сейчас в теме
(17)человек пытается интернет скачать, а то вдруг отключат.
sergathome; +1 Ответить
21. Неопределено 86 04.12.18 11:03 Сейчас в теме
(19) Чего там качать? Эту штуку скинуть на дискету и готово.
33. Senator_I 15 04.12.18 16:58 Сейчас в теме
(21) Ну вот, я себя чувствую единственным виноватым в увеличении объема цифрового мусора. Я скачал файл из интернета, теперь он мне не нужен, как мне его закачать обратно??? ;-)
23. Timur.V 57 04.12.18 12:04 Сейчас в теме
(17)
(19)
Смотрел ролик с ютуба, кажется на Кубе трудно с интернетом.
Там у ~100 человек есть доступ в интернет. Они скачивают фильмы, музыку, может ещё что-то.
Затем к каждому такому человеку приходят люди со своими HDD и закачивают себе информацию.
Т.е. даже когда официально доступа к интернету нет, нашли способ обмениваться информацией.

А в России всё хорошо с интернетом? Поисковик Яндекс отбивается частично.
26. TODD22 18 04.12.18 14:19 Сейчас в теме
(23)
Затем к каждому такому человеку приходят люди со своими HDD и закачивают себе информацию.

Я так в начале нулевых ещё ходил, когда диалап был....
А в России всё хорошо с интернетом?

Вы не в РФ или у вас какие то проблемы с интернетом?
Вроде нигде с инетом проблем нет уже давно. У нас магазины даже в самых "зашореных" ПГТ и те с нормальным интернетом.
27. Timur.V 57 04.12.18 14:28 Сейчас в теме
(26)
У меня в Москве, интернет хорошо работает только через Tor браузер и VPN.
28. TODD22 18 04.12.18 14:58 Сейчас в теме
(27)у меня то же в Москве. И без тора нормально. Разве что на nnm через впн иногда захожу.
36. Неопределено 86 05.12.18 02:39 Сейчас в теме
(23) Мы раньше тоже ходили в гости с винтом, тут ничего нового. Не знаю, как в России в целом, но вчера общались со знакомым на тему интернета и оказалось что он на Кипре платит больше 30 евро за 10Мб/с, в то время как я плачу 10 за 100. Думаю, да, с интернетом у нас всё хорошо.
34. Senator_I 15 04.12.18 17:05 Сейчас в теме
(17) Ради интереса посмотрел что где на рабочем ноутбуке, так вот, папка 1cv8 в программных файлах, 1,28 Гбайт, установочник + развернутая пустая база почти 500 Мбайт. Всего, на диске С только винда и рабочие фалы с документами, 79 Гбайт занято, прочий софт, драйвера и прочее на диске D - 94,8 Гбайт, ноутбук использую только для работы, ни единого лишнего, развлекательного и т.п. файла.
38. katenok86 246 05.12.18 15:18 Сейчас в теме
(34)У меня временных файлов 1с, которые в \AppData\Roaming за месяц на 30 Гб накапливается, котрые 1с по идее сама должна чистить) Но приходится вручную
Senator_I; +1 Ответить
7. mkalimulin 804 03.12.18 11:30 Сейчас в теме
"...несмотря на нехватку аналитических инструментов..."
это мозгов что-ли?
shard; awk; +2 Ответить
12. Darklight 29 03.12.18 17:11 Сейчас в теме
(7)Автоматизированные адаптивные интеллектуальные обладающие как бинарной так нечёткой логикой анализа средства:
1. Поиска и классификации данных (массивов данных - здесь и далее)
2. Группировки, ранжирования и сравнения
3. Перераспределения расположения согласно заданным критериям
4. Ликвидации дублирующей и устаревшей информации
5. Версионирования, архивирования (в в прямом смысле, а не просто сжатие), распределение по динамичеcкой карте востребованности
6. Прогнозирования появления будущих структур информации/изменения текущих данных, их распределения по разным критериями (включая востребованность, конфиденциальность и занимаемое место)
7. Управления конфиденциальной и приватной информацией, а так же наоборот публичными и общими данными
8. Верификации, сличения, контроля и защиты данных

P.S.
Лично я уж без таких средств тону в объёме имеющихся у меня личных данных - а это десятки терабайт накоплений на HDD и терабайты на оптических дисках! Это только дома. А на работе - рабочие данные занимают ещё больше!
9. VmvLer 03.12.18 14:00 Сейчас в теме
необходимо разрабатывать и внедрять простые технологии самоуничтожения (self-destruction), т.е. каждый файл должен:
1. кроме системных свойств (дата создания, размер..) иметь свойство "период жизни".
2. задача администраторов принудительно задавать "период жизни" для типов файлов компании

аналитические данные и инструменты быстро устаревают. Пользователи просто забывают удалить хлам,
а сервера и дата-центры тонут в кучах г.

таким образом, спасение цивилизации заключается в том, что данные должны потерять особенность быть вечными
SKravchenko; Darklight; +2 Ответить
24. _wlad_ 04.12.18 13:54 Сейчас в теме
(9) Поджигатели Александрийской библиотеки такую сложную идеологию не придумывали, но результат похожий.
Senator_I; +1 Ответить
14. spectre1978 59 04.12.18 09:10 Сейчас в теме
А по-моему, неструктурированная информация - это по сути мусор, и большой вопрос, есть ли смысл ее вообще накапливать. Видимо, я не в тренде...
20. TODD22 18 04.12.18 10:39 Сейчас в теме
(14)
А по-моему, неструктурированная информация - это по сути мусор
для кого то мусор. А для кого то полезные для анализа данные.
25. _wlad_ 04.12.18 13:59 Сейчас в теме
(14) Вы предлагаете если в квартире вдруг бардак, то надо не наводить порядок, а просто всё вынести на помойку, сесть на полу и медитировать в пустой комнате как Будда ?

Но вы этого не знаете - мусор или нет, ведь она неструктурирована.
29. spectre1978 59 04.12.18 15:02 Сейчас в теме
(25) Нет, я предлагаю не накапливать мусор в процессе. Это довольно просто. Нужно просто класть на место то, что берете, и вовремя выносить ведро. Применительно к информации - это вопрос информационной культуры производителей и потребителей информации. К сожалению, с этим есть проблемы.
31. Healer 1 04.12.18 16:10 Сейчас в теме
Вообще на руборде есть практически всё.
32. sergathome 3 04.12.18 16:16 Сейчас в теме
Напомнило анекдот про гондурас.
35. ccserg 59 04.12.18 17:24 Сейчас в теме
накачают все подряд из сети , и потом места не хватает , это мусор а не данные )))
90 % этих данных никогда не понадобятся
37. vipetrov2 05.12.18 07:52 Сейчас в теме
Эта проблема существует уже давно, а решений нет. Анализировать не структурированные данные можно с помощью ИИ, но в этом направление развитие идет слабо. Зато всякую бребятину с помощью ИИ делают, а что надо запинывают в долгий угол. В этом плане интересно, правительства хотят следить за интернетом и записывают все подрят, а анализировать эти данные возможности нет. Там спецслужбы в ручном режиме по необходимости выдергивают информацию об одном человеке. Так что свободе в интернете ничего не угрожает.
Оставьте свое сообщение

См. также

«Сбер» начнет использовать российские TLS-сертификаты для платежного шлюза

Новость Безопасность ИТ-новость Минцифры

Банк запланировал переход на сертификаты, выпущенные Национальным удостоверяющим центром (НУЦ) Минцифры, на 30 января 2023 года. Клиентам необходимо добавить на свои серверы корневой сертификат ведомства.

30.01.2023    1564    VKuser24342747    1       

Минцифры подготовило правила отказа от передачи биометрических данных

Новость ИТ-новость Минцифры

Гражданин имеет право отказаться от сбора и распространения своих биометрических данных. Отказ можно оформить в МФЦ только при личном присутствии.

24.01.2023    1048    VKuser24342747    0       

Банки смогут получить право на передоверие полномочий по электронной подписи

Новость ИТ-новость Цифровая подпись Цифровая экономика

Комитет Госдумы рекомендует принять соответствующий законопроект. Документ позволит компаниям финансового сектора использовать электронную подпись наравне с другими организациями.

20.01.2023    923    VKuser24342747    0       

«ВКонтакте» начал поддерживать получение уведомлений от Госуслуг

Новость Госуслуги ИТ-новость Мессенджеры Налоги

Оповещения с Единого портала госуслуг будут отображаться в Вконтакте и приложении «VK Мессенджер». Кроме того, стала доступна оплата штрафов ГИБДД прямо в VK.

19.01.2023    1039    VKuser24342747    0       

Минцифры подготовило правила аккредитации госорганов на владение информсистемами для биометрии

Новость Законодательство ИТ-новость Минцифры

Проект постановления содержит требования к Цетробанку и госорганам, а также к сторонним организациям, которые будут привлекаться ведомствами в качестве операторов. Требования согласованы с ФСБ.

19.01.2023    978    VKuser24342747    0       

Утвержден профстандарт специалиста по информационной безопасности

Новость Безопасность ИТ-новость

Новый профстандарт вступит в силу 1 сентября 2023 года. А пока у работодателей в кредитно-финансовой сфере есть время проанализировать трудовой функционал специалистов по ИБ и при необходимости уточнить его.

17.01.2023    1657    user1816563    0       

Национальная система пространственных данных начала работу в России

Новость ИТ-новость Цифровая экономика

Пилотный проект по запуску цифровой платформы стартовал в четырех регионах РФ. При помощи системы можно получать актуальные данные о земле и недвижимости, пользоваться электронными сервисами.

12.01.2023    1825    VKuser24342747    0       

Госдума рассмотрит законопроект о цифровом рубле

Новость Законодательство ИТ-новость Цифровая экономика

Документ определяет выпуск и обращение цифрового рубля на территории России, назначает оператора нового платежного средства и его полномочия и обязанности по сохранности денег пользователей.

11.01.2023    3715    VKuser24342747    2       

Оператором Единой биометрической системы стал «Центр Биометрических Технологий»

Новость ИТ-новость

Ранее за работу платформы отвечал «Ростелеком». На «Центр Биометрических Технологий» возложены задачи по развитию в России цифровых технологий идентификации и аутентификации, в том числе на основе биометрических персональных данных.

22.12.2022    2463    VKuser24342747    2       

GitHub бесплатно проверит репозитории на наличие секретных токенов

Новость GitHub Безопасность ИТ-новость

ИТ-хостинг запустил систему сканирования общедоступных репозиториев, чтобы предотвратить случайное раскрытие конфиденциальной информации, такой как учетные данные и токены аутентификации.

22.12.2022    1827    VKuser24342747    1       

GitHub к концу 2023 года введет обязательную двухфакторную аутентификацию

Новость GitHub Безопасность ИТ-новость

Веб-хостинг потребует от всех пользователей, загружающих код, включить двухфакторную аутентификацию (2FA) для дополнительной защиты своих аккаунтов.

21.12.2022    2112    VKuser24342747    0       

Госдума рассмотрит законопроект о провайдере для госсайтов

Новость Государственные, бюджетные структуры Законодательство ИТ-новость

Документ предусматривает запрет на размещение государственных информационных ресурсов на хостингах, не включенных в специальный реестр. Сейчас около 20% ресурсов госорганов размещены на иностранных площадках.

20.12.2022    1732    VKuser24342747    1       

«Яндекс» открыл доступ к фреймворку Yatagan для сборки Android-приложений

Новость ИТ-новость Яндекс Разработка

Инструмент свободно распространяется через GitHub. Перед публикацией в открытом доступе фреймворк долгое время применялся во внутренних проектах компании. Решение основано на API Dagger.

16.12.2022    2563    VKuser24342747    1       

В России появится национальная издательская система вместо иностранных аналогов

Новость Импортозамещение ИТ-новость

Программный комплекс будет создан на базе существующего отечественного решения Axiocat. Сейчас это приложение не внесено в Единый реестр российского ПО, хотя применяется некоторыми компаниями.

15.12.2022    1774    VKuser24342747    0       

Google рассказала о проблемах и преимуществах поддержки разработки на Rust в Android 13

Новость Google ИТ-новость Языки программирования

По итогам внедрения поддержки разработки на Rust снизилось число уязвимостей, связанных с управлением памятью. Инженеры считают, что основное внимание нужно уделить написанию нового кода, а не переписыванию старого.

14.12.2022    1860    VKuser24342747    0       

Банки обяжут принимать оплату по картам «Мир» с QR-кодом в смартфоне

Новость Банки ИТ-новость

Оператор платежной системы «Мир» разослал российским банкам документ с требованием обеспечить прием платежей по новой технологии. Первый этап внедрения завершится в апреле 2023 года.

14.12.2022    2057    VKuser24342747    1       

Госдума рассмотрит законопроект о создании Национального удостоверяющего центра

Новость Законодательство Интернет ИТ-новость

Информационная система позволит российским сайтам получать сертификаты безопасности без участия иностранных организаций. Для их выдачи будет применяться отечественная криптография.

09.12.2022    1904    VKuser24342747    0       

Госдума планирует отложить срок обязательного перехода на машиночитаемые доверенности

Новость Законодательство ИТ-новость

Госдума в первом чтении одобрила законопроект, который продлевает переходный период для машиночитаемых доверенностей. Еще полгода организации смогут не применять МЧД при использовании электронных подписей.

08.12.2022    1994    VKuser24342747    0       

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    2399    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    2365    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    3114    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    2268    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    2164    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    2527    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    3437    VKuser24342747    14