‫חיבור מ ‪ vmware vsphere 5.0‬למערכת אחסון ‪iscsi‬‬
‫נכתב וצולם על ידי יזהר הורביץ‪ ,‬דצמבר ‪1122‬‬
‫בהמשך למפגש של קבוצת ‪ sbs users group‬שהתקיים בסוף נובמבר ‪:1122‬‬
‫‪http://sbu.co.il‬‬
‫מסמך זה מתאר ומדגים הגדרות חיבור משרת ‪ vmware esxi 5.0‬למערכת אחסון ‪hp p4300‬‬
‫בפרוטוקול ‪. iscsi‬‬
‫המאמר מבוסס על מערכת בסביבת ‪ production‬אצל אחד הלקוחות של חברת אופק חדש במחשוב‬
‫שבה אני עובד‪.‬‬
‫המאמר הזה לא בא להחליף את התיעוד המסודר של ‪( vmware‬ראה קישור בהמשך)‪ ,‬ואינו מיועד‬
‫לתת הנחיות מדוייקות או סדר פעולות‪ ,‬אלא בתור השלמה לתיעוד עם דגש על צילומי מסך של‬
‫ההגדרות העיקריות שקשורות ל ‪. iscsi‬‬
‫כמו כן לצורך הבנת וביצוע ההגדרות דרוש נסיון וידע קודם בסביבת ‪ ,vmware‬וכמובן גם עם מערכת‬
‫האחסון המתאימה (המאמר מתייחס אמנם למערכת ספציפית אך יכול להתאים לכל מערכת ‪.)iscsi‬‬
‫‪:RTFM‬‬
‫לכל מי שמתכנן להתקין מערכת ‪ vmware‬בסביבת ‪( iscsi‬וגם בחיבורים אחרים כמו ‪ ,)FC‬אני ממליץ‬
‫מאד להיעזר במאמרים המפורטים של ‪ vmware‬בקישור הזה‪:‬‬
‫‪http://www.vmware.com/support/pubs‬‬
‫‪http://pubs.vmware.com/vsphere-50/index.jsp‬‬
‫למשל המאמר בנושא אחסון בסביבת ‪ vmware 5.0‬בפורמט ‪( pdf‬קיים גם בפורמטים נוספים)‪:‬‬
‫‪http://pubs.vmware.com/vsphere-50/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenter‬‬‫‪server-50-storage-guide.pdf‬‬
‫מאמר נוסף שהוא לא פשוט לקריאה אך מומלץ מאד לכל מי שעוסק בתחום‪:‬‬
‫‪http://virtualgeek.typepad.com/virtual_geek/2009/09/a-multivendor-post-on-using-iscsi‬‬‫‪with-vmware-vsphere.html‬‬
‫תיאור המרכיבים העיקריים של המערכת שממנה צילמתי את הדוגמאות‪:‬‬
‫* שני שרתים מדגם ‪.hp proliant dl360 g7‬‬
‫בכל שרת יש ‪ 1‬מעבדים‪ ,‬זכרון ‪ 6 ,32gb‬כרטיסי רשת‪ ,‬וזוג דיסקים עבור מערכת הפעלה‪.‬‬
‫‪ 4‬כרטיסי רשת מיועדים למערכות הוירטואליות ול ‪ vmware‬עצמו ‪ 1 +‬כרטיסים ייעודיים לחיבור ‪.iscsi‬‬
‫* מערכת וירטואליזציה ‪ vmware vsphere essentials plus 5.0‬כאשר על השרתים מותקן‬
‫‪. vmware esxi 5.0‬‬
‫* מערכת אחסון ‪ hp lefthand p4300‬בחיבור ‪. iscsi‬‬
‫במסמך הזה לא אכנס לפרוט לגבי המערכת אלא אני מתמקד באופן החיבור אליה מהשרתים‪.‬‬
‫* שני מתגים ‪ – hp procurve 2910al‬אחד מחובר למערכת האחסון‪ ,‬והשני לרשת התקשורת הרגילה‬
‫של הארגון‪.‬‬
‫כרטיסי רשת ‪:dependent hardware iscsi adapter‬‬
‫בשרתי ‪ hp proliant‬מהדגמים החדשים (וגם בהרבה דגמים אחרים) יש כרטיסי רשת של ‪Broadcom‬‬
‫שיכולים לתפקד בסביבת ‪ vmware‬גם כ‬
‫‪– Dependent hardware iscsi adapter‬‬
‫כלומר כרטיס רשת שיש לו רכיב לטיפול בפקודות של פרוטוקול ‪ ,iscsi‬ואם מפעילים אותו אפשר‬
‫לשפר ביצועים ולהפחית עומס מהמעבד הרגיל של השרת‪ ,‬לעומת שימוש ב‬
‫‪ , Software iscsi adapter‬שמבצע את כל הפעולות על ידי תוכנה‪.‬‬
‫ניתן לראות שהאופציה הזו קיימת‪ ,‬על ידי כניסה ל ‪: storage adapters‬‬
‫להסבר על שלושת סוגי החיבור השונים‪:‬‬
‫‪http://pubs.vmware.com/vsphere-50/topic/com.vmware.vsphere.storage.doc_50/GUID‬‬‫‪7A4E3767-CB54-4E88-9BA8-298876119465.html‬‬
‫הגדרות רשת בשרת ‪:vmware‬‬
‫הגדרנו ‪ vswitch‬נפרד עבור החיבור למערכת האחסון‪ ,‬שמחובר לשני כרטיסי רשת פיסיים (החיבורים‬
‫האחרים לרשתות רגילות כמו ‪ lan‬ו ‪ dmz‬לא מופיעים בתמונה)‪:‬‬
‫יש להיכנס ל ‪ properties‬ולהגדיר שכל ‪ VMKernel Port‬למשל ‪ ,iscsi-1‬יהיה ממופה לכרטיס רשת‬
‫פיסי יחיד‪ ,‬למשל ‪ vmnic4‬בדוגמה שלי‪ .‬ההגדרה הזו היא חשובה ויש הסבר לנושא במאמר‪.‬‬
‫יש לחזור למסך ‪ ,storage adapters‬ועבור כל כרטיס שרוצים להשתמש בו בתור‬
‫‪,Dependent hardware iscsi adapter‬‬
‫יש לבצע מיפוי שלו לכרטיס רשת הפיסי המתאים‪ ,‬ול ‪ vmkernel port‬שלו‪:‬‬
‫בגרסה ‪ vsphere 4.x‬זה נעשה על ידי פקודות ‪ ,CLI‬אך החל מגרסה ‪ 0.1‬הוסיפו ממשק גרפי‬
‫שמאפשר להגדיר ולבדוק את המיפוי ‪ bind‬בין כל המרכיבים ‪,‬למשל בדוגמה שלנו זה מראה את‬
‫הקשר בין האלמנטים הבאים‪:‬‬
‫‪vmhba32  iscsi-1  vmk1  vmnic4‬‬
‫יש להעתיק מכל חיבור ‪ iscsi‬את ה ‪ iqn‬שלו‪ ,‬ולהגדיר אותו במערכת האחסון‪.‬‬
‫בדוגמא שלנו יש שני כרטיסי ‪ iscsi‬בכל שרת‪ ,‬לכן לכל שרת יהיו שני שמות ‪ , iqn‬להלן אחד מהם‪.‬‬
‫הגדרות במערכת האחסון‪:‬‬
‫אני לא נכנס לכל הפרוט של הקמת מערכת אחסון ‪ ,hp p4300‬אך נציין שאחד השלבים בהגדרה‬
‫הבסיסית הוא הקמת ‪ cluster‬של מערכות האחסון‪ ,‬שיש לו כתובת ‪ ip‬משותפת‪ ,‬בדומה ל ‪ cluter‬של‬
‫שרתים ‪ .‬בדוגמא שלנו הכתובת היא ‪ , 2.1.266.11.2‬והיא תשמש אותנו בהמשך‪:‬‬
‫יש להגדיר את ה ‪ iqn‬של כל שרת (במקרה שלנו יש לכל שרת שני ‪ iqn‬שונים עבור כל כרטיס)‪:‬‬
‫מכיוון שיש במערכת ‪ 1‬שרתי ‪ vmware‬שלכל אחד ‪ 1‬חיבורים (סהכ ‪ ,)4‬ולכולם אמורה להיות גישה‬
‫לאותם ‪ ,volumes‬רצוי להגדיר אותם בקבוצה כדי שיהיה יותר פשוט להגדיר הרשאות במערכת‬
‫האחסון‪:‬‬
‫יוצרים ‪ volume‬בגודל הרצוי‪ ,‬ונותנים הרשאות לקבוצת השרתים שהגדרנו קודם‪:‬‬
‫בשלב הזה אפשר לחזור לשרתי ‪ ,vmware‬ולהתחבר ל ‪ volume‬שיצרנו‪.‬‬
‫מגדירים בכרטיסיה ‪ Dynamic Discovery‬את כתובת ה ‪ ,storage cluster‬שהיא במקרה שלנו‬
‫‪2.1.266.11.2‬‬
‫מבצעים ‪ Rescan‬לכרטיס (אפשר גם לבחור ‪ ,rescan all‬אך בדרך כלל פעולה של ‪ rescan‬לכרטיס‬
‫מסויים אחד היא מהירה יותר)‪:‬‬
‫אפשר לראות ברשימה את ה ‪ volumes‬שיש לשרת גישה אליהם‪:‬‬
‫מבצעים פרמוט של ה ‪ volume‬ל ‪ VMFS‬באחד השרתים‪ ,‬על ידי ‪Add Storage‬‬
‫לחילופין – אם מתכננים להגדיר את ה ‪ volume‬בתור ‪ RDM‬ייעודי של אחד השרתים הוירטואליים‪ ,‬אז‬
‫לא מבצעים את הפעולה הזו כי הפרמוט יתבצע בהמשך מתוך ה ‪. GUEST‬‬
‫יש להיזהר לא לדרוס בטעות מידע קיים – פעולה של ‪ add storage‬מפרמטת ומוחקת את תוכן הכונן!‬
‫הגדרות ‪ – MPIO‬גישה במקביל וחלוקת עומס בין הכרטיסים‪:‬‬
‫את כל מה שהגדרנו עבור כרטיס אחד למשל ‪,vmhba32=iscsi-1=vmk1=vmnic4‬‬
‫יש להגדיר באופן דומה עבור הכרטיס השני למשל ‪. vmhba33=iscsi-2=vmk2=vmnic5‬‬
‫באופן הזה יהיו לפחות שני מסלולים לגישה לכל ‪. volume‬‬
‫נכנסים ל ‪ properties‬של ה ‪:volume‬‬
‫ושם ל ‪Manage Paths‬‬
‫ומשנים בחלק העליון את ההגדרה לאופציה שנקראת ‪ – Round Robin‬שהמשמעות שלה היא חלוקה‬
‫של התעבורה באופן מחזורי בין שני המסלולים‪:‬‬
‫זהו – הגענו למצב שבו יש גישה למערכת האחסון ב ‪ ISCSI + MPIO‬דרך שני כרטיסי רשת נפרדים‪,‬‬
‫כאשר חלק מהטיפול בפרוטוקול ‪ ISCSI‬מתבצע ברכיב חומרה ייעודי על הכרטיסים‪.‬‬
‫יש לחזור על ההגדרות גם בשרת השני‪.‬‬
‫בהצלחה!‬
‫יזהר הורביץ‬
‫אופק חדש במחשוב‬