Типы больших данных
Каждый день пользователи генерируют 2,5 квинтиллиона байт данных. Согласно прогнозам Statista, к концу 2021 года в Интернете будет сгенерировано 74 зеттабайта (74 триллиона ГБ) данных. Управлять таким бессодержательным и многолетним аутсорсингом данных становится все труднее. Итак, для управления такими огромными сложными данными были введены Большие данные, связанные с извлечением больших и сложных данных в значимые данные, которые невозможно извлечь или проанализировать традиционными методами.
Все данные не могут храниться одинаково. Методы хранения данных можно точно оценить после определения типа данных. Облачная служба, такая как Microsoft Azure, является универсальным местом для хранения всех видов данных; большие двоичные объекты, очереди, файлы, таблицы, диски и данные приложений. Однако даже в облаке существуют специальные сервисы для работы с определенными подкатегориями данных.
Например , облачные службы Azure, такие как Azure SQL и Azure Cosmos DB, помогают в обработке и управлении малочисленными типами данных.
Данные приложений — это данные, которые создаются, считываются, обновляются, удаляются или обрабатываются приложениями. Эти данные могут быть сгенерированы через веб-приложения, приложения для Android, приложения для iOS или любые другие приложения. Из-за разнообразия типов используемых данных определение подхода к хранению имеет некоторые нюансы.
Типы больших данных
Структурированные данные
Структурированные данные можно грубо определить как данные, которые находятся в фиксированном поле в записи. Он связан определенной схемой, поэтому все данные имеют одинаковый набор свойств. Структурированные данные также называют реляционными данными. Он разделен на несколько таблиц для повышения целостности данных путем создания одной записи для отображения сущности. Отношения обеспечиваются применением ограничений таблицы.
Язык структурированных запросов (SQL) необходим для объединения данных. Структурированные данные легко вводить, запрашивать и анализировать. Все данные имеют одинаковый формат. Однако принуждение к согласованной структуре также означает, что любое изменение данных слишком сложно, поскольку каждая запись должна быть обновлена, чтобы соответствовать новой структуре. Примеры структурированных данных включают числа, даты, строки и т. д. Бизнес-данные веб-сайта электронной коммерции можно рассматривать как структурированные данные.
| Имя | Учебный класс | Раздел | Ролл Нет | Оценка |
|---|---|---|---|---|
| Компьютерщик1 | 11 | А | 1 | А |
| Компьютерщик2 | 11 | А | 2 | Б |
| Компьютерщик3 | 11 | А | 3 | А |
Минусы структурированных данных
- Структурированные данные можно использовать только в случаях предопределенных функций. Это означает, что структурированные данные имеют ограниченную гибкость и подходят только для определенных конкретных случаев использования.
- Структурированные данные хранятся в хранилище данных с жесткими ограничениями и определенной схемой. Любое изменение требований будет означать обновление всех этих структурированных данных для удовлетворения новых потребностей. Это огромный недостаток с точки зрения управления ресурсами и временем.
Полуструктурированные данные
Полуструктурированные данные не связаны какой-либо жесткой схемой хранения и обработки данных. Данные не в реляционном формате и не организованы аккуратно в строки и столбцы, как в электронной таблице. Однако есть некоторые функции, такие как пары ключ-значение, которые помогают отличить разные объекты друг от друга. Поскольку полуструктурированные данные не нуждаются в языке структурированных запросов, их обычно называют данными NoSQL . Язык сериализации данных используется для обмена частично структурированными данными между системами, которые могут даже иметь различную базовую инфраструктуру.
Данные создаются в виде обычного текста, поэтому для извлечения ценной информации можно использовать различные инструменты редактирования текста. Благодаря простому формату считыватели сериализации данных могут быть реализованы на оборудовании с ограниченными вычислительными ресурсами и пропускной способностью.
Языки сериализации данных
Разработчики программного обеспечения используют языки сериализации для записи данных в памяти в файлы, передачи, хранения и анализа. Отправителю и получателю не нужно знать о другой системе. Пока используется один и тот же язык сериализации, данные могут быть легко поняты обеими системами. Существует три преимущественно используемых языка сериализации.
1. XML — XML означает расширяемый язык разметки . Это текстовый язык разметки, предназначенный для хранения и передачи данных. Парсеры XML можно найти практически на всех популярных платформах разработки. Это человек и машиночитаемый. XML имеет определенные стандарты для схемы, преобразования и отображения. Это самоописание. Ниже приведен пример реквизитов программиста в формате XML.
XML
<ProgrammerDetails> <FirstName>Jane</FirstName> <LastName>Doe</LastName> <CodingPlatforms> <CodingPlatform Type="Fav">GeeksforGeeks</CodingPlatform> <CodingPlatform Type="2ndFav">Code4Eva!</CodingPlatform> <CodingPlatform Type="3rdFav">CodeisLife</CodingPlatform> </CodingPlatforms></ProgrammerDetails> <!--The 2ndFav and 3rdFav Coding Platforms are imaginative because Geeksforgeeks is the best!--> |
XML выражает данные с помощью тегов ( текст в угловых скобках ) для формирования данных (например, имя) и атрибутов (например, тип) для представления данных. Однако, будучи многословным и объемным языком, другие форматы приобрели большую популярность.
2. JSON — JSON (обозначение объектов JavaScript) — это облегченный формат файлов с открытым стандартом для обмена данными. JSON прост в использовании и использует читаемый человеком/машиной текст для хранения и передачи объектов данных.
Javascript
{ "firstName": "Jane", "lastName": "Doe", "codingPlatforms": [ { "type": "Fav", "value": "Geeksforgeeks" }, { "type": "2ndFav", "value": "Code4Eva!" }, { "type": "3rdFav", "value": "CodeisLife" } ]} |
Этот формат не такой формальный, как XML. Это больше похоже на модель пары ключ/значение, чем на формальное представление данных. Javascript имеет встроенную поддержку JSON. Хотя JSON очень популярен среди веб-разработчиков, нетехнический персонал считает работу с JSON утомительной из-за его сильной зависимости от JavaScript и структурных символов (скобки, запятые и т. д.).
3. YAML — YAML — это удобный язык сериализации данных. Образно говоря, это означает, что YAML не является языком разметки. Он принят техническими и нетехническими обработчиками по всему миру из-за его простоты. Структура данных определяется разделением строк и отступами и снижает зависимость от структурных символов. YAML чрезвычайно универсален, и его популярность является результатом его удобочитаемости человеком и машиной.
Каталог товаров, организованный по тегам, является примером полуструктурированных данных.
Неструктурированные данные
Неструктурированные данные — это такие данные, которые не соответствуют какой-либо определенной схеме или набору правил. Его расположение является незапланированным и случайным. Фотографии, видео, текстовые документы и файлы журналов обычно считаются неструктурированными данными. Несмотря на то, что метаданные, сопровождающие изображение или видео, могут быть полуструктурированными, фактически обрабатываемые данные неструктурированы.
Резюме
Данные приложений можно разделить на структурированные, полуструктурированные и неструктурированные данные. Структурированные данные аккуратно организованы и подчиняются фиксированному набору правил. Полуструктурированные данные не подчиняются какой-либо схеме, но имеют определенные отличительные особенности для организации. Языки сериализации данных используются для преобразования объектов данных в поток байтов. К ним относятся XML, JSON и YAML. Неструктурированные данные вообще не имеют структуры. Все эти три вида данных присутствуют в приложении. Все три из них играют одинаково важную роль в разработке находчивых и привлекательных приложений.