Подробная статья со скринами о включение инициатора iSCSI, добавление iSCSI таргета и нового datastore к хосту VMware ESX/ESXi 4.
Немного об iSCSI.
Про iSCSI можно почитать, например, тут или тут.
А теперь главное. Что меня самого поначалу путало, так это терминология. Особено понятия клиетской и серверной части. Иногда и сейчас путаю их в состояние своей большой загрузки 😉 
iSCSI target (цель) — это контролер или приложение предоставляющее доступ к общему хранилищу данных. Попросту это может быть физическая железка или же ее программный вариант. Это и есть серверная часть.
iSCSI initiator (инициатор) — клиентская часть, осуществляющая клиентский доступ к хранилищу данных по iSCSI. Так же может быть реализовано и аппаратно и программно.
В VMware ESX/ESXi 4 Server уже есть программный инициатор iSCSI и основная его настройка не очень сложна. Далее опишу процесс активации и конфигурации инициатора iSCSI и добавления LUN в datastore в VMware ESX/ESXi 4 Server.
Да кстати совет: при настройке iSCSI и хранилищ лучше под это дело выделять отдельную физическую сетевую карту (а лучше несколько), также всю сеть, по который будет бегать трафик iSCSI заводить в отдельный vlan ну и конечно использовать пару физических коммутаторов на случай отказа одного из них.
И еще небольшое отступление. Для активации инициатора iSCSI у вас должен быть сконфигурирован VMKernel, т.е порт группа должна быть добавлена к vSwitch. Если не сконфигурирован VMKernel, то придется его конфигить. Как добавить порт группу для VMkernel можно прочитать тут.
Поехали.
Активация iSCSI инициатора в VMware ESX/ESXi 4 и добавление цели.
Открываем VMware vSphere клиент и конектимся к нужному хосту. Идем в Configuration — > Storage Adapters. Далее в Storage Adapters находим iSCSI Software Adapter.
Лезем в Properties. И видим следующее. Пока инициатор iSCSI не задействован. Жмем Configure.
И просто ставим галку Enabled.
После получится примерно следующее
Теперь инициатор iSCSI в ESX активирован. Далее надо настроить таргет. Поэтому идем на вкладку Dynamic Discovery.
Нажимаем Add и забиваем IP и порт iSCSI цели. После получается примерно следующее.
Далее просто закрываем все и нас попросят сделать рескан адаптеров, с чем и соглашаемся.
Вуаля, все. После появится описание добавленого iSCSI таргета.
Вот и все с активацией инициатора iSCSI и добавлением тагрета.
Теперь осталось добавить iSCSI LUN в datastores.
Добавление iSCSI LUN в в datastores.
Идем Configuration -> Storage и жмем Add Storage.
Выбираем Disk/LUN.
Выбираем из списка нужный сторадж.
Тут отображается инфа о подключаемом сторадже.
Забиваем имя нового datastore.
Выбираем размер блока, от него зависит какой максимальный размер файла будет на сторадже. Также тут можно выбрать и размер раздела.
В конце мастер выдаст суммарную информацию о создаваемом datastore. Все жмем Finish и ждем когда создастся новый datastore.
Теперь в списке datastores появился новый datastore.
Вот и все по инициатору iSCSI и добавление iSCSI LUN в datastores.
Service Console не обязательна. Только попинговать таргет, разве что.
И возможно ещё понадобится указание разрешенных инициаторов в софте таргета.
А если несколько адаптеров, то указать нужный или настроить failover detection
Желательно конечно иметь порт Service Console, но не обезательно. Подправил текст. При нескольких адаптерах конечно надо настроить failover detection и failover order, просто в данной статье я не рассматривал конфигурацию с 2-х и более сетевыми картами, это больше пример для первоначальной настройки. Хотя в производственной среде как минимум 2 физ.карты надо отводить на iSCSI трафик для обеспечения отказоустойчивости.
[…] ESX(i) с небольшими нюансами. Для информации моя статья о конфигурации софтверного iSCSI инициатора, а также статья о настройки multipathing и RR для софтверного […]
Ребят подскажите плиз, ESXi 4.0, делаю всё тоже самое, хост виртуальных и хранилище связаны напрямую по гигабитке, но при этом выщше 7 метров в секунду данные не передаются.
7 МБ/c это где у Вас скорость? Внутри ВМ? Или же с vmfs разделом?
Есть известная проблема с ESXi и скоростью загрузки/выгрузки файлов с vmfs разделов. Вроде как не починили ее, в 4.1 версии я не пробовал, но вроде и не слышал что починили.
7-11 Мб/с скорость с iSCSI LUNом. причём я не могу понять, там какое-то разделение канала между всеми службами, типа есть всегда резерв для чего-то там, или это косяк какой-то.
Скорость мерил по разному. Перекачивал файлы с локального датастора (массив в серваке) на хранилище по гигабитке. Иногда выходило около 20 метров в секунду.
Виртуалки встают на паузу и запускаются в целом приемлимо по времени, не сказать что тормозит (и это с 4 Гб оперативы).
Почитал мануалы Vmware, по их рекомендациям выполнил в CLI команду vicfg-module.pl —server -s iscsivmk_LunQDepth=255 iscsi_vm
k. Поставил максимальное значение 255.
Провёл тест.
Взял две виртуалки, Server 2K8R2 обе, стоят тулзы, одна запущена с локального датастора, вторая с хранилища, обе подрублены к одному vSwitch. Начала перегонять файл 3 Гб по SMB. Скорость записи на диск — около 9-10 Мб/с, при том что в пределах vSwitch линк очень быстрый, т.е. узкое место связь с хранилищем. Надеялся как раз что вдруг апдейт до 4.1 решит проблему.
Тут кстати интересно просмотрелась работа винды, сначало на большой скорости файл при передаче кешировался в оперативе, сколько хватило места конечно, т.е. сетка между виртуалками выдала около 360 Мбит/с, а потом как началась писанина на диск (который хостится на хранилище) всё это дело упало до 9-10 Мб/с.
Кароч, не знаю, всю неделю с этим мучаюсь. Таргет поднят на Ubuntu Server 10.4.
Смотреть надо всю инфраструктуру вашей SAN (сетка, сторадж, хосты).
Также советую обновить все прошивки на железках, может дело и где то в них.
Мне все таки думается что проблема у Вас в SAN, а не в сфере.
Ради интереса возмите IOmetr или HDTune и прогоните тесты внутри ВМ на диске который лежит на iSCSI таргете… какая будет скорость….
Сторадж:
2 x Xeon 4cores, RAID 1 из двух Western Digital Black Caviar 2TB
4 Gb RAM RDIMM DDR2 667
сетевушка D-Link.
Самопальный сторадж я бы сказал.
Установлена Ubuntu Server 10.4, на ней пакет iscistarget, создан простейший таргет, без всяких наворотов.
MTU на сетевушке зачем-то подняли до 8000, хотя не уверен что от этого есть существенная польза.
Сервер Dell R710, 4 портовая гигабитная сетевушка Intel.
ESXi 4.0 пока ещё.
scsivmk_LunQDepth=255
Под рукой был Everest, выполнил тесты харда, не все прошли нормально, но те что получились тут:
http://img30.imageshack.us/g/bufferedreadtest.png/
Там также заскринил перфоманс vmnic3 (адаптер который напрямую связан со стораджем, по кабелю 6 категории, кроссовер)
Как видно, при буферизованном чтении удалось добиться 50 метров в секунду, прямое линейное чтение показало странные результаты, на «пустых» участках скорость зашкаливала все допустимые пределы, а данные читались на скорости около 35-37 метров в секунду. Тест «Последовательная запись» вообще не смог проработать, остальные результаты на скринах.
Пока надеюсь проапдейтиться до 4.1, потом попробовать задействовать кеш на таргете. Может получится.
Вот такие вот результаты. А, ещё есть идея включить blockio вместо fileio на таргете.
Надо уже свой блог по этой проблеме заводить )))
Здравствуйте!
Делаю, начинаю добавлять сторадж. дохожу до момента, где «Тут отображается инфа о подключаемом сторадже.» в статье. Да, получаю окошко, что-то там видно, но сразу выпадает окно ошибки с содержанием:
Call «HostDatastoreSystem.QueryVmfsDatastoreCreateOptions» for object «ha-datastoresystem» on ESXi «10.1.0.6» failed.
пробывал на ESXi4/4.1 — одинаково. NAS работает — есть подключения с серверов на базе FreeBSD,Linux.
Куда покопать?
Спасибо.
Здравствуйте!
Делаю, начинаю добавлять сторадж. дохожу до момента, где \"Тут отображается инфа о подключаемом сторадже.\" в статье. Да, получаю окошко, что-то там видно, но сразу выпадает окно ошибки с содержанием:
Call \"HostDatastoreSystem.QueryVmfsDatastoreCreateOptions\" for object \"ha-datastoresystem\" on ESXi \"10.1.0.6\" failed.
пробывал на ESXi4/4.1 — одинаково. NAS работает — есть подключения с серверов на базе FreeBSD,Linux.
Куда покопать?
Спасибо.
Добрый день.
Сам с подобным не сталкивался.
Кстати размер луна случаем не больше 2Tb?
Куда копать Вам привожу ссылки
http://communities.vmware.com/message/1587674
http://www.eversity.nl/blog/?p=93
Помогла разобраться последняя ссылка… для VmWare надо размер блока iSCSI 512, а у меня — 4k… размер луна — не больше, а вот размер всего массива, на котором iscsi раздел выделен — больше…
и это никак не лечится?
презентованный LUN должен быть не больше 2Tb — 512 байт, размер массива не имеет значения.
т.е. победить размер блока iSCSI никак не получится?
Просто размер блока ставится на ВЕСЬ массив, и для 1 луна я не могу изменить. А у меня есть лун 4Тб
Размер блока задается при форматирование луна в vmfs.
Про размер блока который вы говорите, я так понял это при создание самого массива. Ну что я могу сказать пересоздавайте с нужным размером блока.
Да и луны больше 2Tb-512 байт не поддерживает esx/esxi так что разбивайте луны с этим учетом.
Добрый день. Подскажите как сделать чтоб iSCSI видели сразу несколько ESX серверов, а то добавил я Сторадж iSCSI он прицепился к конкрентному ESX’y и при перемешении вирт машины с другого ESX’a в этот iSCSI выдается ошибка что мол другой хост не видел этот iSCSI, хотя в iSCSI Initiatir я на обоих ESXах.
Приветствую.
Настроить сторадж так чтобы он был доступен на каждом хосте.
Собственно все.
Здравствуйте!
А возможно ли подключить к ESX одновременно 2 iSCSI таргета, так чтоб одновременно виделись диски обеих?
У меня 2 сервера c FREENAS. На каждом настроен iSCSI таргет. Подключаются они к ESX-у оба.
Во вкладке Path настроек StorageAdapter-а видно оба пути. (Оба Active, но один с (I/О), а другой без)
А во вкладке Devices видно диск только одного таргета (который был подключен первым).
Причем каждый по-очереди, подключается нормально, а вот вместе ну никак не хотят.
Да без проблем можете и 3 и 4 таргета подключить.
Видимо что то с настройками у вас не то.
Проверьте видны ли пути до обоих серверов? Может у вас несколько путей только до 1 таргета. Если ничего не получается напишите мне на почту, и вышлите скриншоты.
Добрый день! А расскажите поподробнее, как на 2 хостах подключить один и тот же iSCSI стораж, таргет подключаю на обоих хостах, на первом хосте добавляю стораж, он добавляется, на втором добавляю — он пишет, что стораж уже отформатирован и надо его переформатировать — после этого действия он уже недоступен на первом хосте. И названия должны быть разные на каждом хосте?
Вы немного неправильно делаете. На втором хосте зайдите просто в раздел Datastore и нажмите Refresh. После обновления у Вас появятся уже ваши Datastore, которые были созданы на первом хосте.
Михаил, благодарю, все получилось!
Михаил, просветите еще по одному вопросу. Как теперь перенести виртуальную машину с одного storage на другой? Какие то стандартные средства? Или просто копирование файлов? Если да, то каких именно? ESX 3.5 у меня.
Storage VMotion. Если есть vCenter с лицензиями и хост видит оба датастора, то просто правой кнопкой по ВМ — Migrate — Change DataStore.
Если нет vCenter ну и соответствующей лицензии, то руками копировать файлы через, способов много, например scp или же бесплатный veaam fastscp
Добрый день! Может не совсем в тему но всеже….
Имеются 2 ESX (3.5 и 4.1) оба подключены по FiberChanel к SAN. На одном ESX(3.5) был подключен раздел с SAN, там же был отформатирован. Как подключить тот же раздел на втором ESX(4.1) но без форрматирования?
Если добавлять через Add Storage… требует форматирования, а уменя там уже лежит информация. При выборе режима просмотра не по Datastores а по Devices то диски видны, а вот разделы не отображаются.
Все очень просто, идете на хосте в раздел datastore и просто делаете refresh. Ваши датасторы появятся, если все правильно подключено.
К сожалению не появляются. В разделе Storage Adapters видны адаптеры и диски подключенные к этим адаптерам. Так же могу посмотреть пути подключения этих дисков. И не знаю уже, что у меня не так сделано или подключено.
Судя по тому, что адаптеры и диски видны то значит драйвера установлены….
Может что-то не настроенно в комутаторах Fiber Chanel?
Напишете мне на почту, вышлите скрины, так тяжело что то сказать. Если пути до lun видны и lun сами видны, то и datastore у вас должен появиться.
Михаил здравствуйте!
Все получилось… Дело в том, что я временно для тестов подключил ESX к SAN только через один HBA (по одному пути).
SAN работает в режиме activ-passiv и по все видимости активным был другой путь нежеле тото по которому был подключен мой тестовый ESX. Как только я подключил второй HBA все заработало.
Ура!
Михаил, надо было тогда сразу и про iSCSI multipath конфигурацию рассказать 🙂
Описал уже давно, только в отдельной статье — http://cloudgeek.me/2010/05/conf-mlpath-roundrobin-lun-esx/
Yes he is very right bcoz I’ve tried so many ways. All-in failed. I have read many comments result is the same The only suggestion to you. Make your disk fdisk on storge. and Do not format!!! never
and try agian on vmware introduce
best regard
semih soykal
Добрый вечер! У меня VMware ESXi 4.1(3 Хоста) + NetApp,подключён через iSCSI.Один из серверов (2003R2)построен так: Boot(Drive C)- на Storage VMware,а остальные 4 диска(E,F,G и H)- напрямую к NetApp через Microsfot iSCSI инициатор Servera. Чувствую — что-то не то… Всё время при копировании файлов на сервер/с сервера зависания,туча ошибок диска и т.д.
Причём только с дисками E,F,G,H.
Hard — C7000 + BL460 G6 + Flex10
2 Michael Kleinerman
Немного не так сделано. Надо было активировать и настроить програмный iscsi инициатор на хосте или хостах или же хардверный, если есть. В виндовсе не нужно было инициатор настраивать.
Затем создать луны на СХД, и на них уже положить диски для винды, разница между RDM и vdmk по производительности незначительная, практически можно не учитывать.
Если всетаки хочется RDM в гостя, то все тоже самое, только делаем RDM и прокидываем лун в гостя.
Нужна помощь.
Кто юзал IBM BladeCenter E
Есть N блейдов HS22 в корзине.
есть хранилище DS3524, диски в RAID 10
Нужно установить ESXi так, чтобы были видны все блейды как единое целое.
Как настроить контроллер хранилища, как устанавливать ESXi?
Я в основном H корзины юзал. E корзина почти таже H, только чуть меньше и проще.
Только вот не понял что Вы имеете ввиду под этим: «Нужно установить ESXi так, чтобы были видны все блейды как единое целое.» ?????
Как настроить SP это Вам мануал надо читать. На сайте IBM по этой теме есть редбуки, поищите, там все хорошо описывается — http://www.redbooks.ibm.com/. А так вообще много моментов начиная от уровня рейд, заканчивая созданием и мапом лунов. Долго описывать.
А как установить ESXi тоже в мануале можно прочитать, на сайте вари лежит все, вот тут смотрите http://www.vmware.com/support/pubs/