ARENADATA

Аналитическая платформа с открытым кодом

ARENADATA

Главная

 / Продукты

Рекомендации по установке продукта

#ARENADATA

Описание и состав дистрибутива

#ARENADATA DISCOVERY

 

Дистрибутив содержит набор пакетов для развертывания компонентов Apache Hadoop на распределённых и псевдо-распределённых системах (некоторые компоненты не могут должным образом работать на псевдо-распределенных системах в ввиду технических ограничений самих компонентов). В дистрибутив включены последние стабильные версии официальных релизов Apache Hadoop.

 

В дистрибутив могут быть включены патчи, подготовленные Arenadata, необходимые для обеспечения стабильного функционирования компонентов, их взаимодействия, развертывания в рамках данной сборки и не входящие в официальные проекты Apache Hadoop.

 

В текущей версии дистрибутива включен архив ADH-1.3.0.1.tar.gz включающий следующий набор компонентов и их версий:

 

• Hadoop 2.7.1

• Zookeeper  3.4.6

• HBase  0.98.12

• Pig 0.15.0

• Hive  1.2.1

• Tez  0.6.2

• Sqoop  1.4.5

• Mahout 0.11.0

• Flume  1.6.0

• Hue  3.9.0

Специально для  ситуации, когда on-line доступ в интернет регламентирован, мы приготовили архив ADH-UTILS-1.3.0.1.tar.gz с набором сторонних компонент для обеспечения возможности офф - лайн установки платформы Hadoop:

 

• Bigtop Groovy  2.4.4

• Bigtop Utils 1.1.0

• Bigtop JSVC 1.0.15

• Bigtop Tomcat 6.0.36

• EPEL 6.8

• ExtJS 2.2.1

• FPing 2.4

• Hadoop-Lzo 0.6

• Libconfuse 2.7

• LZO 2.0.6

• MySQL Java Cconnector 5.1.29

• Perl-Crypt-DES 2.0.5

• Perl-Net-SNMP 5.2.0

• RRD-Tool 1.4.5

• Snappy 1.0.5

• Postgresql Server 8.4.20

 

Каждый архив содержит скрипт setup_repo.sh для создания YUM репозитория и проверки прав доступа в автоматическом режиме.

 

 

Конфигурация кластера Hadoop

 

Hadoop и Hbase кластеры имеют два типа машин:

 

• Master - HDFS NameNode, YARN ResourceManager и HBase Мастер.

• Slave - HDFS узлы DataNode, YARN NodeManagers и Hbase RegionServers.

• DataNodes, NodeManagers и Hbase RegionServers могут быть расположены совместно или для коалокации данных.

Кроме того, HBase требует использования отдельного компонента (Zookeeper) для управления кластером Hbase.

 

Рекомендуется разделять главные узлы/admin nodes и подчиненные узлы, потому что:

• Нагрузка на подчиненных узлах должна быть изолирована от мастеров.

• Подчиненные узлы часто требуют техническое обслуживание, в виду большой нагрузки как на процессор, так и на дисковую подсистему.

 

Для целей разработки и тестирования, возможно развернуть Hadoop на одном узле (все мастера и подчиненные процессы находятся на той же машине).

 

Конфигруация из двух узлов, требует разделения NameNode и ResourceManager на главном узле, и DataNode и NodeManager на подчиненном узле.

 

Кластеры из трех или более машин, как правило, используют один узел для NameNode, один для ResourceManager и все остальные компоненты, как подчиненные узлы. Кластер высокой доступности (HA) будет использовать первичный и вторичный NameNode, а также возможно использовать первичный и вторичный ResourceManager.

 

Как правило, средних и большой Hadoop кластер состоит из двухуровневой или трехуровневой архитектуры, построенный на серверах размещенных в отдельных стойках. Каждая стойка серверов взаимосвязана с другими с помощью 1 или 10 GbE через один или несколько коммутаторов.

 

Для  получения полной версии документации необходимо заполнить и отправить форму запроса на странице Скачать.

 

 

Аппаратные рекомендации для узлов кластера Hadoop

 

Таблица 1. Конфигурация серверов в зависимости от типа нагрузки

Тип сервера

Рабочая нагрузка / Тип кластера

Хранение

Процессор (# ядра)

Память (ГБ)

Сеть

 

Slaves

Сбалансированная нагрузка

Вычисления / нагрузка на процессор, память

Хранение / нагрузка на диск. подсистему

Двенадцать

2-3 ТБ диски

 Двенадцать

1-2 ТБ диски

 Двенадцать

4 + диски ТБ

8

10

8

128 -256

128-256

128-256

1 GB onboard, 2x10 GBE mezzanine / external

1 GB onboard, 2x10 GBE mezzanine / external

1 GB onboard, 2x10 GBE mezzanine / external

Сбалансированная нагрузка

Четыре или более

2-3 ТБ RAID 10

8

128-256

1 GB onboard, 2x10 GBE mezzanine / external

NameNode

Сбалансированная нагрузка

Четыре или более

2-3 ТБ RAID 10

8

128-256

1 GB onboard, 2x10 GBE mezzanine / external

Resource Manager

Подготовка окружения для установки Arenadata Ambari

 

Таблица 2. Системные требования

 

Поддерживаются следующие операционные системы:

• Red Hat Enterprise Linux (RHEL) 6.4+ (64-бит)

• CentOS 6.4+ (64-бит)

• SUSE Linux Enterprise Server (SLES) 11 SP3

Установщик использует много пакетов из репозиториев базовой ОС. Все машины в кластере должны иметь доступ к полному набору репозиториев базовой ОС. Хранилища могут быть либо установлены локально или через прокси сервер из другого места.

Требования к операционной системе

 

Мастер создания кластера является веб-инструментом и работает в браузере. Вы должны использовать машину, которая может запускать веб-браузер. Машина может также просто иметь сетевое подключение к машине, где установлен сервер Ambari.

• Windows (Vista, 7)

 Internet Explorer 9.0 и выше (для Vista + Windows 7)

 Firefox Последний стабильный релиз

 Сафари Последний стабильный релиз

 Google Chrome последняя стабильная версия

• Mac OS X (10.6 или более поздняя)

 Firefox Последний стабильный релиз

 Сафари Последний стабильный релиз

 Google Chrome последняя стабильная версия

• Linux (RHEL, CentOS, SLES)

 Firefox Последний стабильный релиз

 Google Chrome последняя стабильная версия

Требования к браузеру

Следующие компоненты должны быть установлены на всех ваших узлах:

• YUM и Репозитории (RHEL / CentOS)

• Python (2.6 или новее)

• Httpd, NTP

Требования к программному обеспечению

Поддерживаются следующие среды выполнения Java:

• Oracle JDK-7u79-Linux-x64.tar.gz или более поздняя версия

Требования к Java

Ambari, Hive / HCatalog и Oozie требуют собственных баз данных.

• Ambari: по умолчанию использует инстансы сервера PostgreSQL 8.x, установленний Ambari. Кроме того, можно использовать существующий инстанс PostgreSQL 9.x, MySQL 5.x или Oracle 11g.

• Hive / HCatalog:. Ambari установит экземпляр MySQL на хосте Hive Metastore Также можно использовать существующий инстанс PostgreSQL 9.x, MySQL 5.x или Oracle 11g.

• Oozie: по умолчанию использует инстанс Derby, установленный Ambari. Также можно использовать существующий инстанс PostgreSQL 9.x, MySQL 5.x или Oracle 11g..

OpenSSL-1.0.1e-16.el6.x86_64 или выше требуется на всех узлах

Требования к браузеру

Требования OpenSSL

По всем вопросам вы можете обращаться к нам по наши контактам или через любую

форму связи, которая находится на нашем сайте

!

КОНТАКТЫ

У вас есть вопросы?

Вы можете связаться с нами любым

удобным для вас способом.

#ARENADATA

Платформа эффективного

хранения и обработки данных

info@arenadata.io

Написать письмо на почту

www.arenadata.io

Проект компании   ©IBS, 2017. Все права защищены.