Разница между небольшими данными и большими данными
Небольшие данные: их можно определить как небольшие наборы данных, которые способны влиять на решения в настоящем. Все, что происходит в настоящее время и данные о которых можно накапливать в файле Excel. Малые данные также полезны при принятии решений, но не нацелены на значительное влияние на бизнес, скорее, для короткого промежутка времени Малые данные можно охарактеризовать как небольшие наборы данных, которые способны влиять на текущие решения. Практически все, что в настоящее время выполняется, и данные о которых можно получить в файле Excel. Небольшие данные также полезны при принятии решений, но не предназначены для того, чтобы иметь большое влияние на бизнес, а на короткий период времени.
В двух словах, данные, которые достаточно просты для понимания человеком, в таком объеме и структуре, которые делают их доступными, краткими и работоспособными, называются небольшими данными.
Большие данные: они могут быть представлены как большие блоки структурированных и неструктурированных данных. Объем хранимых данных огромен. Поэтому аналитикам важно тщательно изучить все, чтобы сделать их актуальными и полезными для принятия правильных бизнес-решений.
Короче говоря, наборы данных, которые действительно огромны и сложны, с которыми обычные методы обработки данных не могут справиться, называются большими данными.
Ниже представлена таблица различий между малыми данными и большими данными:
| Характерная черта | Мелкие данные | Большое количество данных |
|---|---|---|
| Технология | Традиционный | Современный |
| Коллекция | Как правило, он получается организованным образом, чем вставляется в базу данных. | Сбор больших данных осуществляется с помощью конвейеров с очередями, таких как AWS Kinesis или Google Pub / Sub, для балансировки высокоскоростных данных. |
| Объем | Данные в диапазоне десятков или сотен гигабайт | Размер данных превышает терабайт |
| Области анализа | Витрины данных (Аналитики) | Кластеры (специалисты по данным), витрины данных (аналитики) |
| Качество | Содержит меньше шума, поскольку данные собираются менее контролируемым образом | Обычно качество данных не гарантируется. |
| Обработка | Требуются конвейеры пакетной обработки | Имеет конвейеры как пакетной, так и потоковой обработки. |
| База данных | SQL | NoSQL |
| Скорость | Регулируемый и постоянный поток данных, агрегирование данных происходит медленно | Данные поступают на чрезвычайно высоких скоростях, большие объемы агрегации данных за короткое время |
| Состав | Структурированные данные в табличном формате с фиксированной схемой (реляционная) | Множество разнообразных наборов данных, включая табличные данные, текст, аудио, изображения, видео, журналы, JSON и т. Д. (Нереляционные) |
| Масштабируемость | Обычно они масштабируются по вертикали. | В основном они основаны на горизонтально масштабируемых архитектурах, что обеспечивает большую гибкость при меньших затратах. |
| Язык запроса | только сиквел | Python, R, Java, продолжение |
| Аппаратное обеспечение | Достаточно одного сервера | Требуется более одного сервера |
| Значение | Бизнес-аналитика, анализ и отчетность | Сложные методы интеллектуального анализа данных для поиска закономерностей, рекомендаций, прогнозов и т. Д. |
| Оптимизация | Данные можно оптимизировать вручную (с помощью человека) | Требуются методы машинного обучения для оптимизации данных |
| Место хранения | Хранение на предприятиях, локальных серверах и т. Д. | Обычно требуются распределенные системы хранения в облаке или во внешних файловых системах. |
| Люди | Аналитики данных, администраторы баз данных и инженеры данных | Специалисты по данным, аналитики данных, администраторы баз данных и инженеры по данным |
| Безопасность | Практика обеспечения безопасности малых данных включает в себя права пользователей, шифрование данных, хеширование и т. Д. | Обеспечение безопасности систем больших данных намного сложнее. Лучшие методы обеспечения безопасности включают шифрование данных, изоляцию кластерной сети, строгие протоколы контроля доступа и т. Д. |
| Номенклатура | База данных, хранилище данных, витрина данных | Озеро данных |
| Инфраструктура | Предсказуемое распределение ресурсов, в основном вертикально масштабируемое оборудование. | Более гибкая инфраструктура с горизонтально масштабируемым оборудованием |