И так VMware vSphere 4.1 благополучно скачана, установлена на тестовых хостах и начался практический разбор новых фич.
Решил начать с iSCSI Hardware Offloads.
Из релиза известно что
vSphere 4.1 enables 10Gb iSCSI hardware offloads (Broadcom 57711) and 1Gb iSCSI hardware offloads (Broadcom 5709).
Что это и с чем его едят? Собственно теперь сетевые карточки с функцией iSCSI Offload или Accelerated iSCSI в терминологии HP и некоторых других производителей будут в ESX/ESXi работать как iSCSI HBA и в документации VMware дается обозначение таким адаптерам как Dependent Hardware iSCSI Adapters.
Более точное определение из доков VMware что такое Dependent Hardware iSCSI Adapters (зависимый железный iSCSI адаптер)
A dependent hardware iSCSI adapter is a third-party adapter that depends on VMware networking, and iSCSI configuration and management interfaces provided by VMware.
This type of adapter can be a card, such as a Broadcom 5709 NIC, that presents a standard network adapter and iSCSI offload functionality for the same port. The iSCSI offload functionality appears on the list of storage adapters as an iSCSI adapter. Although the iSCSI adapter is enabled by default, to make it functional, you must set up networking for the iSCSI traffic and bind the adapter and an appropriate VMkernel iSCSI port.
Ура, возрадуйтесь коллеги у кого есть сетевухи построенные на выше перечисленных чипах, раньше данный функционал был доступен только в ОС семейства Windows, RHEL и еще некоторых *nix систем для которых нужно было инсталлировать драйвер, в ESX/ESXi данной поддержки не было.
Пока официально поддерживаются только два чипа это Broadcom 57711 и Broadcom 5709, не очень много, но все же, хотя думаю, в будущем список расширится.
Супер, пробежала мысль в голове, но мне пока не судьба сейчас попробовать заявленный iSCSI Hardware Offloads, так как у меня нет хостов с данными чипами, но есть хост с парой сетевых карточек HP NC373T построенных на Broadcom 5708. Чипы 5708 и 5709 почти что похожи, но с некоторыми функциональными отличиями, хотя драйвер используют один и тот же и оба поддерживают iSCSI Offload. Каково мое было удивление, когда после обновления до ESXi 4.1 в разделе Storage adapter я увидел два iSCSI HBA которые как раз и были моими картами на 5708 чипе.
Так как Dependent Hardware iSCSI Adapters не чисто отдельная железная HBA, а сетевуха с функцией iSCSI Offload то ее необходимо правильно настроить. ESX/ESXi 4.1 видят такую сетевую как два устройства: физ. сетевую карту и физическую iSCSI HBA. В моем примере vmnic2 она же vmhba32 и vmnic3 она же vmhba33.
Для полноты картины приведу рисунок общей конфигурации из доков VMware.
На рисунке в левой части показано подключение через софтверный iSCSI инициатор через две сетевые карты с 2-мя портами VMkernel, а справа через две сетевые карты которые поддерживают iSCSI Offload.
Конфигурация очень похожа чем то на конфигурацию софтверного iSCSI инициатора в ESX/ESXi с небольшими нюансами. Для информации моя статья о конфигурации софтверного iSCSI инициатора, а также статья о настройки multipathing и RR для софтверного iSCSI инициатора.
Едем дальше.
Первым делом что нужно сделать это создать порты VMKernel для трафика iSCSI и сделать активными только те сетевые карты, которые соответствуют своим HBA. В моем примере iSCSI1 будет работать через vmnic2, а iSCSI2 будет работать через vmnic3. Для этого я сделаю отдельный vSwitch и делаю все необходимые настройки.
Далее необходимо порты VMkernel привязать к существующим зависимым адаптерам iSCSI.
Это уже делается из консоли либо локальной (благо теперь уже и у ESXi она тоже официально поддерживается), либо удаленной или через vSphere CLI.
Я удаленно через SSH все сделаю.
esxcli swiscsi nic add -n vmk1 -d vmhba32
esxcli swiscsi nic add -n vmk2 -d vmhba33
Осталось настроить таргеты в свойствах iSCSI HBA (также как и в софтверном инициаторе) и сделать рескан адаптеров.
Добавил 2 LUN. Вот что у меня получилось.
А вот и multipathing до LUN.
На этом все.
[…] Читать дальше (источник): iSCSI Hardware Offloads в ESX/ESXi 4.1 […]
Доброго времени суток!
Разгружается ли ЦПУ при использовании хба Broadcom 5709? Проверялось ли это на опыте?
Пока только выяснил, что для Broadcom 5709 на esx 4.1 не поддерживается Jumbo Frames, также toe и tcp checksum не включаются, т.е. обработку пакетов также выполняет ЦПУ.
root@esx#vmkiscsi-tool -V -l vmhba33
iSCSI Nic Properties:
— mtu: 1500 (bytes)
— toe: off
— tso: on
— tcp checksum: off
— NIC driver: bnx2
— driver version: 2.0.7d-2vmw
Напрашивается вывод, что никакой значительной разгрузки ЦПУ и повышения производительности системы не будет, если так, то смысл было в esx4.1 добавлять iSCSI Hardware Offloads? Или я заблуждаюсь?
Я сам не измерял загрузку CPU, небыло нужды как то, сама VMware говорит что нагрузка на CPU снизилась на 60-80%. Да и кстати с современными CPU нагрузка со стороны софтверного iSCSI почти не сказывается на его производительности.
То что MTU 1500 это понятно, так как выставленно стандартное значение. Как включить поддержку JF можно прочитать по этому линку http://cloudgeek.me/2010/06/enable-jumbo-frames-esx-esxi-4/
Сам 5709 поддерживает железно iSCSI Hardware Offloads, так что разгрузко реально есть, и я думаю варя в дровах для esx(i) коректно сделала эту работу.
Можете проверить, а потом тут отписаться о результатах.
Что касается Jumbo Frames, то сама варя заявляет:
Broadcom iSCSI adapters do not support IPv6 and Jumbo Frames. (это касательно esx4.1)
На практике при установке MTU 9000 отваливаются луны и в логах появляются такие ошибки
iSCSI HBA can support mtu of 1500
vmnic3 network i/f mtu is set to 9000
То что 5709 поддерживает iSCSI Hardware Offloads согласен, но смущает то, что при просмотре свойств hba свойства toe (TCP Offload Engine) и tcp checksum в выключенном состоянии. Подозреваю, что в дровах под esx4.1 данный функционал еще не реализован до конца.
Возможно еще не допилили дрова, зная варю, думаю допилят в ближайших патчах. А насчет загрузки CPU можно забить на это в принципе, я уже писал почему, выше.