‫השפעת תיקני אמינות‪/‬זמינות חדשים על תכנון חשמל במרכזי מיחשוב‬
‫)‪(UPTIME INSTITUTE TIER STANDARDS‬‬
‫אבי פינס ‪ M.Sc. MBA‬אביאם מערכות בע"מ‬
‫‪ .1‬מבוא‬
‫סיווג מרכזי מיחשוב (‪ )DATA CENTERS‬לפי ‪( TIERS‬רמות) הוגדר ע"י ‪ UPTIME INSTITUTE‬באמצע שנות‬
‫ה‪ 09-‬ועבר עדכון משמעותי בשנים האחרונות‪.‬‬
‫המטרה העיקרית של סיווג לפי ‪ TIERS‬הינה להדריך בתכנון טופולוגיה של התשתיות אשר תבטיח רמת‬
‫זמינות (‪ )AVAILABILITY‬גבוהה במרכזי מיחשוב כפי שנגזר מהדרישות העיסקיות של בעלי מרכז‬
‫המיחשוב‪.‬‬
‫אין בסיווג לפי ‪ TIERS‬נוסחאות או רשימת מכולת והערכת האתר נקבעת לפי יכולתו לאפשר תחזוקה‬
‫ולעמוד בפני תקלות‪ .‬סיווג לפי ‪ TIERS‬מאפשר הערכה אפקטיבית וקונסיסטנטית של זמינות מרכזי‬
‫מיחשוב שונים (והשוואה ביניהם)‪.‬‬
‫בשנים האחרונות הגישה של ‪ UPTIME INSTITUTE‬הינה להגדיר מסגרות כלליות לפתרונות כדי לעודד‬
‫יישומים חדשניים ויצירתיים‪ .‬ה‪ UI-‬בפירוש אינה מגדירה "רשימת מכולת" שאם רוכשים אותן מקבלים‬
‫אוטומטית רמת ‪ TIER‬מסוימת‪ .‬ההערכה מתבצעת לפי ניתוח זמינות כמתואר לעיל‪.‬‬
‫מאמר זה מתיחס להגדרות ולהנחיות החדשות של ‪ UI‬שפותחו בשנים ‪ 8992‬עד ‪ 8902‬ולהשלכותיהן על‬
‫תכנון החשמל של מרכזי מיחשוב‪.‬‬
‫‪ .2‬הגדרת טופולוגיה של ‪( TIERS‬רמות)‬
‫ההגדרות של רמות (‪ )Tiers‬במרכזי מיחשוב מתארות את דרישות המבנה (טופולוגיה) לתשתיות באתר‬
‫מיחשוב ב‪ 4-‬רמות‪ .‬ההגדרות מתפתחות כך שרמה גבוהה יותר כוללת את כל הדרישות של הרמות‬
‫הנמוכות יותר‪.‬‬
‫•‬
‫‪ – TIER I‬יכולת בסיסית – נדרשות הפסקות עבודה נרחבות לצורך ביצוע תחזוקה או תיקונים‪.‬‬
‫תקלות בציוד ההזנה והחלוקה תגרומנה להפרעות בפעילות האתר‪.‬‬
‫•‬
‫‪ – TIER II‬רכיבים בעלי יתירות – עדיין נדרשות הפסקות עבודה נרחבות לצורך ביצוע תחזוקה‬
‫או תיקונים‪ .‬תקלות בציוד ההזנה עלולות להפריע לפעילות האתר‪ .‬תקלות בציוד החלוקה יגרמו‬
‫להפרעות בפעילות האתר‪.‬‬
‫•‬
‫‪ – TIER III‬תחזוקה בו זמנית (‪ – )CONCURRENT MAINTAINABILITY-CM‬כל רכיב בציוד‬
‫ההזנה והחלוקה ניתן להסרה לצורך תחזוקה מתוכננת או החלפה בלי להפריע לעבודה תקינה‪.‬‬
‫האתר עדין חשוף לתקלה בציוד או טעות משתמש‪.‬‬
‫•‬
‫‪ – TIER IV‬חסין לתקלות (‪ – )TOLERANT FAULT-FT‬תקלה בציוד הזנה או בציוד חלוקה לא‬
‫תפריע לעבודה תקינה‪ .‬בנוסף לכך האתר מאפשר תחזוקה בו זמנית‪.‬‬
‫הערה‪ :‬במונח "תשתיות" (‪ )INFRASTRUCTURE‬אנו מתיחסים לרכיבי הזנה (הזנות החשמל‪ ,‬שנאים‪,‬‬
‫גנרטורים‪ ,‬אל פסק‪ ,‬מיזוג וכו') ולרכיבי חלוקה (לוחות חשמל‪ ,‬מפסקים‪ ,‬מפסקי העברה‪ ,‬כבילה וכו')‪.‬‬
‫דרישות הרמות השונות מסוכמות בטבלה מס' ‪.0‬‬
‫טבלה ‪1‬‬
‫ציוד הזנה אקטיבי למיחשוב‬
‫מסלולי הזנה (‪)Distribution‬‬
‫תחזוקה בו זמנית (‪)CM‬‬
‫חסין לתקלות (‪( )FT‬ארוע אחד)‬
‫הפרדה‬
‫‪Tier I‬‬
‫‪Tier II‬‬
‫‪Tier III‬‬
‫‪Tier IV‬‬
‫‪N‬‬
‫‪0‬‬
‫לא‬
‫לא‬
‫לא‬
‫‪N+1‬‬
‫‪0‬‬
‫לא‬
‫לא‬
‫לא‬
‫‪N+1‬‬
‫‪ 0‬אקטיבי‪ 0 ,‬חלופי‬
‫כן‬
‫לא‬
‫לא‬
‫‪ N‬אחרי כל תקלה‬
‫‪ 8‬אקטיביים בו זמנית‬
‫כן‬
‫כן‬
‫כן‬
‫הערה‪ :‬בטבלה זו אין התיחסות ישירה לדרישות יכולת מיזוג‬
‫דוגמאות למימוש הרמות השונות מבחינת מערך החשמל מובאות באיורים ‪ 0‬עד ‪.4‬‬
‫איור ‪ : 2‬דוגמה אופיינית למימוש ‪Tier I‬‬
‫איור ‪ :1‬דוגמה אופיינית למימוש ‪Tier II‬‬
‫‪ .3‬הגדרת שרידות מבצעית (‪ )Operational Sustainability‬ביחס לרמות השונות‬
‫עמידה בתקן ‪ TIER‬ברמה זו או אחרת עדין לא קובעת את הזמינות והאמינות של האתר‪ .‬כדי להבטיח‬
‫תפעול רציף ואמין יש לוודא שהאתר מנוהל נכון (נהלים‪ ,‬טיפולים שוטפים‪ ,‬הדרכה וכו')‪ ,‬שהאתר מסוגל‬
‫ומתוכנן לעמוד בסיכונים (גניבה‪ ,‬שריפה‪ ,‬תקלות) ושהאתר מנוהל ביעילות ותוך שמירה על עלויות‬
‫נמוכות‪.‬‬
‫הגדרת השרידות המבצעית (‪ )OS‬מיחסת לעלויות‪ ,‬רמת ניהול האתר ולניהול סיכונים לאחר שהטופולוגיה‬
‫כבר נבחרה‪ .‬הדרישות של שרידות מבצעית מתגברות ונעשות מורכבות יותר ככל שרמת ה‪ TIER-‬גבוהה‬
‫יותר‪.‬‬
‫שלושת הרכיבים של שרידות מבצעית הם‪:‬‬
‫‪ .0‬ניהול ותפעול (איוש‪ ,‬תיעוד‪ ,‬הדרכה‪ ,‬ארגון‪ ,‬נהלים‪ ,‬תחזוקה‪ ,‬עלויות וכדו')‬
‫‪ .8‬תכונות המבנה (תכנון‪ ,‬ביצוע‪ ,‬בדיקות‪ ,‬התאמת הבניין‪ ,‬ביטחון וגישה‪ ,‬מחסנים)‬
‫‪ .2‬מיקום האתר (סיכוני שיטפון‪ ,‬אסונות טבע‪ ,‬קירבה לשד"ת ומפעלים כימיים וכו')‬
‫איור ‪ : 3‬דוגמה אופיינית למימוש ‪Tier III‬‬
‫איור ‪ : 4‬דוגמה אופיינית למימוש ‪Tier IV‬‬
‫בטבלה ‪ 8‬מסוכמים מאפיינים עיקריים של רמות (‪ )Tiers‬שונים מבחינת טופולוגיה‪ ,‬שרידות מבצעית‬
‫ומאפייני ביצוע‪ .‬הטבלה מבוססת על נתונים שנאספו בשטח‪.‬‬
‫טבלה ‪ : 2‬מאפיינים עיקריים של רמות (‪)Tiers‬‬
‫סוג הבניין‬
‫איוש‪/‬משמרות‬
‫נקודת כשל‬
‫משותפות (‪)SPF‬‬
‫הפסקה לטיפולים‬
‫‪ Downtime‬לשנה*‬
‫זמינות*‬
‫תכנון העמסה‬
‫זמן תכנון והקמה‬
‫קיים מאז‬
‫‪Tier I‬‬
‫‪Tier II‬‬
‫‪Tier III‬‬
‫‪Tier IV‬‬
‫רגיל‬
‫שעות עבודה‬
‫רבות‪ +‬טעות אנוש‬
‫רגיל‬
‫‪ 0‬למשמרת‬
‫רבות‪+‬טעות אנוש‬
‫ייעודי‬
‫‪ 0-8‬למשמרת*‬
‫מעט‪+‬טעות אנוש‬
‫‪ 8‬בשנה‬
‫‪ 82.2‬שעות‬
‫‪00.19%‬‬
‫‪099%‬‬
‫‪ 2‬חודשים‬
‫‪0019‬‬
‫‪ 8‬לשנה‬
‫‪ 88‬שעות‬
‫‪00.99%‬‬
‫‪099%‬‬
‫‪ 2-1‬חודשים‬
‫‪0099‬‬
‫אין‬
‫‪ 0.1‬שעות‬
‫‪00.02%‬‬
‫‪09%‬‬
‫‪ 09-89‬חודשים‬
‫‪0029‬‬
‫ייעודי‬
‫רציף‪+8 ,‬‬
‫אש‪ ,‬כיבוי חרום‪,‬‬
‫מעט טעות אנוש‬
‫אין‬
‫‪ 9.2‬שעות‬
‫‪00.00%‬‬
‫‪09%‬‬
‫‪ 09-29‬חודשים‬
‫‪0009‬‬
‫*בד"כ ‪ 5.1-2‬משמרות‬
‫‪.4‬‬
‫השפעת תיקני ה‪ Tiers-‬החדשים על תכנון חשמל במרכזי מיחשוב‬
‫‪ .4.1‬האם מותר להשתמש במפסק סטטי ב‪?Tier IV-‬‬
‫כבל היציאה מהמפסק הסטטי לעומס הינו בודד ואינו ביתירות כנדרש ב‪ , Tier IV -‬ולכן אינו עומד‬
‫בדרישת היתירות של כל רכיב חלוקה ברמה ‪.IV‬‬
‫במקרה זה התקן "מוותר" ומאפשר שימוש במפסק סטטי אשר מותקן‬
‫בתוך הכונן (”‪( .)Rack 19‬תשובה פורמלית של ‪ .)UI‬משום שזו הדרך‬
‫היחידה להתאים עומסים עם כניסה בודדת להזנה כפולה‪ .‬שימוש‬
‫במפסק סטטי בתוך כונן מקטין את החשיפה לתקלה בכבל הבודד מכיון‬
‫שהוא קצר ומותקן בתוך הכונן‪.‬‬
‫יש כמובן לבחור במפסק סטטי עם הגנה מפני "יצוא" קצר בין שתי‬
‫ההזנות וכן אפשרות לביצוע עקיפה פנימית ללא הפסקת העומס‪.‬‬
‫איור ‪ : 5‬מפסק סטטי בכונן "‪ 11‬כולל‬
‫עקיפה לתחזוקה‬
‫‪ .4.8‬האם התקנת ‪ ,EPO‬כנדרש לפי תקנים מקומיים רבים אינה מותרת לפי תקני ‪?Tier‬‬
‫על פי נתוני שטח‪ ,‬תפעול שגוי של כיבוי חרום (‪ )EPO‬הינו אחד הגורמים העיקריים להפסקות‬
‫(‪ )SHUTDOWNS‬בפעילות של מרכזי מיחשוב קריטיים‪ .‬לפיכך ‪ UI‬אינה מעודדת התקנת ‪.EPO‬‬
‫למרות האמור לעיל‪ ,‬כאשר התקנת ‪ EPO‬נדרשת ע"י תקנות או חוקים מקומיים‪ ,‬יש לבצע את ההתקנה‬
‫תוך תכנון למניעת טעויות בתפעול (תשובה פורמלית של ‪)UI‬‬
‫‪ .4.3‬האם ניתן להשתמש בהזנה מרובת מסלולים באתרי ‪? Tier IV‬‬
‫הזנה מרובת מסלולים (‪ )MFR‬עונה להגדרות של ‪( Tier IV‬ראה דוגמה באיור ‪ .)1‬גישת התכנון החדשה‬
‫פתוחה ומעודדת תכנונים חדשים ומשופרים‪.‬‬
‫שיקולים בעד הזנה מרובת מסלולים‪:‬‬
‫• חיסכון בהשקעה ובגודל המתקן‬
‫‪MULTI FEED‬‬
‫‪REDUNDANCY‬‬
‫•‬
‫•‬
‫•‬
‫חיסכון בעלויות תפעול‬
‫הפרדה טובה יותר באתר‬
‫ניצול טוב יותר של הציוד‬
‫שיקולים נגד שימוש בהזנה מרובת מסלולים‪:‬‬
‫• אתר מורכב יותר ומחייב רמת ניהול והדרכה גבוהה יותר‬
‫יש לשקול את היתרונות והחסרונות בעת בחירת הטופולוגיה‬
‫המתאימה לאתר‪.‬‬
‫‪167kVA‬‬
‫‪333kVA‬‬
‫‪UPS 1‬‬
‫‪500kVA‬‬
‫‪167kVA‬‬
‫‪1/3 DATA CENTER‬‬
‫‪167kVA‬‬
‫‪333kVA‬‬
‫‪167kVA‬‬
‫‪UPS 2‬‬
‫‪500kVA‬‬
‫‪1/3 DATA CENTER‬‬
‫‪167kVA‬‬
‫‪333kVA‬‬
‫‪167kVA‬‬
‫‪UPS 3‬‬
‫‪500kVA‬‬
‫‪1/3 DATA CENTER‬‬
‫איור ‪ : 4‬הזנה תלת מסלולית‬
‫‪ .4.4‬האם מומלץ לחבר צד אחד של עומסים עם הזנה כפולה לרשת החשמל כמתואר ב‪?Tier III-‬‬
‫אנו איננו ממליצים על חיבור צד אחד של העומסים לרשת מהסיבות הבאות‪:‬‬
‫• צד העומסים המחובר לרשת חשוף להפרעות חשמל (ניסיון שלנו שספייקים (‪ )Surges‬גבוהים‬
‫ברשת גרמו לקילקול עומסים ואף לנפילת האתר כולו בשל "יצוא" של התקלה לאל פסק דרך‬
‫עומסים שנפגעו‪.‬‬
‫• ברגע הפסקת חשמל כל העומסים עוברים לאל פסק (מכת עומס גדולה ברגע קריטי)‪.‬‬
‫• סיכון של עומס יתר סמוי‪.‬‬
‫• ניתן לממש את היתירות ע"י העברת המערכת השניה לצד הרשת או ע"י שימוש בהזנה מרובת‬
‫מסלולים (‪.)MFR‬‬
‫‪ .4.5‬הפרדה (‪ )Compartmentalization‬באתרי ‪Tier IV‬‬
‫הפרדה הינה דרישה של ‪ Tier IV‬ויש לה יתרונות גם ביישומי ‪ .Tier III‬נדרשת הפרדה פיזית ובידוד פיזי‬
‫בין ציודים אקטיביים וחלוקת חשמל כדי למנוע השבתה של האתר בעת ארוע‪.‬‬
‫דוגמאות‪:‬‬
‫• מערכות אל פסק יותקנו בחדרים נפרדים כדי למנוע השבתה של מערכות בעת ארוע שריפה‬
‫למשל‬
‫• מסלולי כבלים נפרדים יותקנו במרחק זה מזה ועם בידוד פיזי ביניהם (נדרש גם ב‪ Tier III-‬כדי‬
‫לאפשר שימוש במסלול החילופי בעת ארוע שריפה במסלול הראשי)‪.‬‬
‫• צ'ילרים יותקנו בחדרים נפרדים ומבודדים פיזית כדי למנוע הפרעה לפעילות של ציוד תקין בעת‬
‫זליגת גז למשל‪.‬‬
‫איור ‪7‬‬
‫‪ .4.4‬האם כדאי להקים מרכזי מיחשוב בבניינים רבי קומות? ובאיזו קומה?‬
‫בד"כ עדיף שלא להקים מרכזי מיחשוב בבניינים רבי קומות מהשיקולים הבאים‪:‬‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫תשתיות אספקת מתח וקירור למרכז המיחשוב יקרות ומסובכות יותר בשל‬
‫מרחק‪ ,‬עומס רצפה וכו'‬
‫קיים סיכון נוסף במקרה של רעידות אדמה‪ ,‬שריפות וכו'‪.‬‬
‫יש לבדוק השלכות על ביטחון‪/‬בטיחות‪/‬גישה‬
‫אם הבנין אינו מותאם במיוחד (‪ )PURPOSE BUILT‬למרכז מיחשוב הקשיים‬
‫עלולים להיות ללא פתרון‪.‬‬
‫יש לוודא שהבנין נבנה בהתאם או (רצוי) מעבר לתקן הבניה‬
‫השפעה על יכולת התרחבות (לפעמים דווקא מאפשר ולפעמים מגביל יכולת‬
‫התרחבות)‬
‫קירבה לגורמי סיכון בקומות סמוכות במבנה (מתקנים שעלולים לגרום לשריפה‪ ,‬למשל)‪.‬‬
‫השפעה שלילית על הפרדה‪.‬‬
‫‪" .4.7‬עומס יתר סמוי" במתקני ‪ Tier III‬ו‪Tier IV-‬‬
‫"עומס יתר סמוי" הינה אחת התקלות שעלולה להיגרם עקב ניהול לקוי באתר‬
‫שבו יש הזנה כפולה לעומסים‪.‬‬
‫כל אחד מקוי ההזנה לכל עומס מסוגלות לשאת זרם כפול מזה שזורם בהן במצב‬
‫תקין‪.‬‬
‫אם העומס באחת ההזנות עולה מעל ‪ ,99%‬המערכת נמצאת ב"עומס יתר‬
‫סמוי"‪ .‬הכל מתנהג תקין עד אשר נפסקת הזנה אחת עקב השבתה מתוכננת או‬
‫תקלה‪ .‬העומס בהזנה השניה יעלה מעל ‪ 099%‬וההגנות יפלו וינתקו את הציוד‬
‫הקריטי‪.‬‬
‫‪CB‬‬
‫‪32A‬‬
‫‪HIDDEN‬‬
‫‪OVERLOAD‬‬
‫‪20A‬‬
‫‪ .4.4‬חיבורי הזנה לא נכונים במתקני ‪ Tier III‬ו‪Tier IV-‬‬
‫זוהי דוגמה נוספת לניהול לא תקין‪.‬‬
‫אם עקב חוסר ניהול‪/‬חוסר מעקב שתי ההזנות של עומס קריטי חוברו לאותו‬
‫מקור הזנה (ראה איור ‪.)2‬‬
‫הפסקה של אותה הזנה לצורך תחזוקה או במקרה של תקלה תגרום לנפילת‬
‫העומס הקריטי‬
‫‪CB‬‬
‫‪32A‬‬
‫‪20A‬‬
‫איור ‪ : 4‬עומס יתר סמוי‬
‫‪CB‬‬
‫‪32A‬‬
‫איור ‪ : 1‬חיבורי הזנה לא נכונים‬
‫ביבליוגרפיה‬
‫‪.0‬‬
‫‪.8‬‬
‫‪.2‬‬
‫‪.4‬‬
‫‪.9‬‬
‫‪.1‬‬
‫‪Data Center Site Infrastructure, Tier Standard: Topology.‬‬
‫‪Uptime Institute, LLC, updated 2014.‬‬
‫‪Data Center Site Infrastructure, Tier Standard: Operational Sustainability. Uptime‬‬
‫‪Institute, LLC, updated 2014.‬‬
‫‪Tier Myths and Misconceptions. Uptime Institute, LLC, 2014‬‬
‫‪Tier Classifications Define Site Infrastructure Performance. (White Paper) by W.Pitt‬‬
‫‪Turner & others, an Uptime Institute Publication, 2008‬‬
‫‪Data Center Design and Implementation Best Practices. ANSI/BICSI 002-2011.‬‬
‫‪Systems for supplying power… US Patent 8330297B2 , 2012‬‬
‫‪CB‬‬
‫‪32A‬‬