‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫כנס חשמל ‪4102‬‬
‫הרצאה של עמי אשכנזי בפורמט ‪WORD‬‬
‫אבני דרך בתכנון ‪ Data Center‬להשגת ‪ PUE‬נמוך ויעילות אנרגטית‬
‫מגמות צריכת האנרגיה במתקני ‪Data Center‬‬
‫צפיפות האנרגיה במתקן ‪ Data Center‬גבוהה פי ‪ 01‬עד פי ‪ 011‬ממתקן משרדים רגיל‪ .‬צפיפות‬
‫האנרגיה בארונות שרתים יכולה להגיע עד ‪ 30kW‬ציוד בארון אחד‪ .‬עומס ציוד המחשוב משתנה‬
‫בהתאם לעומס העבודה על מעבדי השרתים ובהתאם לדרישות מערכות גיבוי הנתונים‪.‬‬
‫היקפי צריכת האנרגיה של אתרי מחשבים ושרתים מגיעה בארה"ב ובאירופה לכ ‪ 3%‬מצריכת‬
‫האנרגיה הכוללת‪.‬‬
‫הספק חשמלי ותפוקות קירור בהיקפים מאוד גדולים מושקעים במתקנים קיימים אשר אינם‬
‫יעילים אנרגטית‪ .‬מתקני מחשב שאינם יעילים גובים ו"שואבים" משאבי אנרגיה משמעותיים‬
‫שאפשר להפנותם ולהשקיעם בציוד המחשוב עצמו‪.‬‬
‫איור ‪ :0‬מרכיבי צריכת האנרגיה במתקן ‪Data Center‬‬
‫התפלגות צריכה אופיינית ב ‪Data Center‬‬
‫ציוד המחשוב והתקשורת במתקן הוא המרכיב הקריטי שאותו צריך להזין באופן קבוע ולדאוג‬
‫לשמירת טמפרטורת עבודה מתאימה‪ .‬עומס ציוד המחשוב מתחלק לעומס השרתים ולעומס של‬
‫ציוד התקשורת‪.‬‬
‫עומס התשתיות של המתקן הוא המרכיב אשר מאפשר לקרר את הציוד ולספק לו חשמל לצורך‬
‫הפעילות השוטפת‪ .‬עומס זה הוא מערכות מזוג אויר‪ ,‬יחידות ‪ ,UPS‬השנאה וחלוקה‪ ,‬תאורה‬
‫וכדומה‪.‬‬
‫‪Page 1 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫איור ‪ :4‬התפלגות אופיינית של צריכת האנרגיה במתקן ‪.Data Center‬‬
‫במקרה המתואר באיור ‪ 4‬העומס הקריטי מהווה ‪ 33%‬ומתחלק ל ‪ 43%‬ציוד שרתים ו ‪ 01%‬ציוד‬
‫תקשורת‪ .‬עומס התשתיות מהווה ‪ 32%‬מהם ‪ 01%‬מזוג אויר (מתחלק ל ‪ 32%‬עומס צ'ילרים‬
‫לקירור ו ‪ 03%‬מפוחים)‪ 00% ,‬להמרה וגיבוי כגון ‪ ,UPS‬מצברים‪ ,‬שנאים וחלוקה ועוד כ ‪3%‬‬
‫לתאורה‪.‬‬
‫‪ – PUE‬מדד יעילות אנרגטית במתקני מחשב‬
‫)‪Power Usage Effectiveness (PUE‬‬
‫מדד ‪ PUE‬מתאר את היחס בין העומס הכולל של המתקן לבין עומס ציוד השרתים והתקשורת‪.‬‬
‫ככל שהמתקן יעיל יותר נקבל מדד ‪ PUE‬יותר קרוב ל ‪.0‬‬
‫𝒓𝒆𝒘𝒐𝒑 𝒚𝒕𝒊𝒍𝒊𝒄𝒂𝑭 ‪𝑰𝑻 𝒑𝒐𝒘𝒆𝒓 +‬‬
‫𝒓𝒆𝒘𝒐𝒑 𝑻𝑰‬
‫= 𝑬𝑼𝑷‬
‫אם נחשב לדוגמה את ה ‪ PUE‬במתקן המובא באיור ‪ 4‬נקבל ערך של ‪ 0..1‬שזהו ערך הקרוב‬
‫לממוצע‪.‬‬
‫‪33 + 32‬‬
‫‪33‬‬
‫= ‪0..1‬‬
‫בסקר של מתקני מחשוב גדולים שנערך בשנה שעברה ע"י המכון האמריקאי ‪Uptime Institute‬‬
‫התקבלה תוצאה ממוצעת בערך ‪ PUE‬של ‪.0.1-0.11‬‬
‫‪Page 2 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫איור ‪ :3‬ערך ממוצע של ‪ PUE‬באתרי ‪ Data Centers‬גדולים‬
‫איך מתייעלים ומקטינים את ה ‪? PUE‬‬
‫•‬
‫מייעלים ומקטינים את הצריכה של כל אחד ואחד ממרכיבי התשתית‪:‬‬
‫•‬
‫ארונות שרתים‪Airflow Management ,Pods ,‬‬
‫•‬
‫יחידות מזוג אויר‬
‫•‬
‫מרכיבי מערכת חשמל‪ ,UPS ,‬חלוקה‬
‫•‬
‫שליטה בקרה וניהול‬
‫•‬
‫מרכיבי בינוי‪ ,‬מיקום גיאוגרפי וניצול תנאי סביבה‬
‫ארונות שרתים‪Airflow Management ,Pods ,‬‬
‫ציוד השרתים והארונות מתוכננים כך שהמפוחים הפנימיים של הציוד שואבים אויר קר מחזית‬
‫הארון ופולטים את האוויר החם בחלקו האחורי‪ .‬סדור עקרוני של שדרות ארונות שרתים מתואר‬
‫באיור ‪ .2‬במסדרון הקר פונים הארונות חזית מול חזית ובמסדרון החם הגב פונה לגב‪.‬‬
‫‪Page 3 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫איור ‪ :2‬סדור עקרוני של שדרת ארונות שרתים‬
‫בכל ארון יש לדאוג לסגור מרווחים בין הציוד לבין הדפנות ולסגור בפנלים עיוורים כל מקום בו לא‬
‫מותקן ציוד‪ .‬בכך נבטיח כי כל כמות האוויר הקר המסופק בחזית הארון נשאב דרך הציוד‪ .‬יש‬
‫לוודא שהארונות והפתחים ברצפה הצפה כוללים את מרכיבי האיטום הסטנדרטיים המותאמים‬
‫לכל סדרת ארונות שרתים תקנית‪.‬‬
‫איור ‪ :5‬אביזרי איטום בדפנות הארון ובפתחי הרצפה הצפה‬
‫מסדרונות סגורים הנקראים ‪ Air Containment‬או ‪ Pod‬כוללים שתי שורות ארונות‪ ,‬דלתות סוף‬
‫מסדרון ואמצעי איטום תקרה או קירות ורטיקליים‪ .‬בהתאם לתכנון מתקן הקירור יוצרים מסדרון‬
‫חם או מסדרון קר אשר מאפשרים הפרדה מלאה בין האוויר הקר המסופק לציוד ובין האוויר‬
‫החם הנפלט מהציוד וחוזר אל יחידות הקירור‪.‬‬
‫‪Page 4 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫איור ‪ :6‬מסדרון סגור ‪Air Containment/ Pod‬‬
‫ארונות שרתים עם ארובות מקובלים מאוד במתקני מחשב גדולים‪ .‬האוויר הקר שמגיע מחלל‬
‫הרצפה הצפה נכנס לחזית הארון והאוויר החם הנפלט מאחור נשאב דרך הארובה למעלה אל‬
‫חלל התקרה ומשם חוזר אל יחידות המזוג‪ .‬גם שיטה זו מאפשרת הפרדה מוחלטת בין האוויר‬
‫הקר והאוויר החם ובכך משפרים את יעילות המתקן‪.‬‬
‫איור ‪ :7‬תנועת האוויר בארון עם ארובה‬
‫‪Page 5 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫מזוג אויר‬
‫יחידות מזוג אוויר מטפלות בקירור האוויר שבחלל החדר‪ .‬היחידות מקוררות מים או ‪DX‬‬
‫(התפשטות ישירה) מקוררות אוויר או מקוררות גליקול‪ .‬במתקנים גדולים משתמשים בדרך כלל‬
‫ביחידות מים קרים‪ .‬קירור בגז מקובל בד"כ במתקנים קטנים יותר‪.‬‬
‫כל יחידה נשלטת על ידי בקר משוכלל שמאפשר וויסות טמפרטורה ולחות ושולט על מהירות‬
‫סבוב מנועי ‪ EC‬של המפוחים‪ .‬ביחידות ‪ DX‬נשלטת גם מהירות סבוב המדחסים‪.‬‬
‫איור ‪ :8‬יחידת מזוג ‪ CRAC‬תת רצפתית‪ ,‬מפוח מנוע ‪ EC‬בחלל הרצפה‬
‫יחידת מזוג ‪ Computer Room Aire Condition – CRAC‬תת רצפתית מספקת אוויר קר לתוך חלל‬
‫הרצפה ומחזירה אוויר חם מחלקה העליון‪ .‬המפוחים בעלי מנעי ‪ EC‬מווסתי מהירות המאפשרים‬
‫התייעלות משמעותית לעומת מפוחים בעלי מנוע במהירות קבועה‪.‬‬
‫איור ‪ :9‬יחידות מזוג ‪In-Row‬‬
‫יחידות ‪ In-Row‬מוצבות בסמוך לארונות השרתים כך שהאוויר הקר נפלט לכיוון חזית הציוד‬
‫והאוויר החם הנפלט מהציוד בצד האחורי נשאב וחוזר אל יחידת המזוג‪ .‬פתרון זה מאפשר‬
‫‪Page 6 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫הצמדה של תפוקת הקירור אל מקור העומס‪ .‬גם כאן מפוחי ‪ EC‬מווסתי מהירות מאפשרים‬
‫עבודה מדויקת וחסכונית ביותר‪.‬‬
‫התייעלות בכיול נקודות עבודה ‪ -‬המלצות ‪ASHRAE‬‬
‫בחירה ותכנון נכונן של נקודות העבודה במתקן מאפשרת התייעלות וניצול מיטבי של תפוקות‬
‫הקירור של היחידות‪.‬‬
‫בפרסומי הארגון האמריקאי ‪ ASHRAE‬מגדירים תחום עבודה מומלץ ומרחיבים אותו לתחום‬
‫עבודה מותר‪.‬‬
‫איור ‪ :01‬מסדרונות קרים וחמים פתרון ‪CRAC‬‬
‫תחום הטמפרטורות המומלץ לאספקת אויר קר בחלל הרצפה הוא ‪ 18-28°C‬והתחום המותר הוא‬
‫‪.18-32°C‬‬
‫תחום הטמפרטורות של האוויר החם הנכנס לחלל התקרה הוא ‪32-38°C‬‬
‫על מנת להתייעל מומלץ להעלות את טמפרטורת האוויר הקר ל ‪ 25°C‬ואת האוויר החוזר ל ‪.37°C‬‬
‫טמפרטורה גבוהה בכניסה ליחידות המזוג מאפשרת ניצול יעיל יותר של תפוקת הקירור‪.‬‬
‫ציוד השרתים והתקשורת מתוכנן גם הוא בהתאם ומאפשר לעבוד בטמפרטורות הגבוהות ב ‪4°C‬‬
‫מעל מה שהיה מקובל עד לפני כמה שנים‪.‬‬
‫מרכיבי מערכת החשמל‬
‫יחידות ‪ UPS‬בנצילות גבוהה של ‪ 63%‬גם בנקודות העבודה בהספק נמוך (‪ .)21-01%‬במתקן בו‬
‫מערכת גיבוי כפולה ‪ A-B‬הנמצאת במצב רגיל וללא תקלות העומס על כל יחידה אינו עולה על‬
‫‪.21%‬‬
‫מערכות ‪ UPS‬מודולריות בהן ניתן להכניס יחידה שאינה דרושה למצב השהייה ניתן להגיע‬
‫ליעילות של עד ‪ 66%‬ובכך ולהקטין הפסדים למינימום‪ .‬יחידה בהשהיה תחזור לתפקוד מלא‬
‫במידת הצורך תוך פרק זמן קצר ביותר שאינו עולה על ‪.2msec‬‬
‫‪Page 7 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫מערכות ‪ UPS‬היום מתוכננות לעבוד בעומס מלא בטמפרטורת סביבה גבוהה של עד ‪.40ºC‬‬
‫מתאפשרת התייעלות בצריכת המזוג של חדר ה ‪.UPS‬‬
‫איור ‪ UPS :00‬מודולרי‬
‫שימוש בפסי צבירה לחלוקה מקטין משמעותית את אורך הכבלים וחוסך הפסדי הספק הנובעים‬
‫מהתנגדות ונפילת המתח על הקווים )‪(I²R‬‬
‫איור ‪ :04‬פסי צבירה לחלוקה‬
‫פסי שקעים מבוקרים ‪ ePDU‬מאפשרים מדידה וניטור העומס בכל ארון‪ ,‬בכל קבוצת שקעים ועד‬
‫לרמת השקע הבודד ובנוסף מתאפשרת מדידת טמפרטורה ולחות בתוך הארון‪ .‬ניצול המידע‬
‫מאפשר ניתוק עומסים מיותרים‪ ,‬וויסות עומסים בין ארונות וכיול נקודות עבודה‪ .‬כל אלה יביאו‬
‫להתייעלות המתקן‪.‬‬
‫‪Page 8 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫איור ‪ :03‬יחידת פס שקעים מבוקר ‪ePDU‬‬
‫שליטה ובקרה‬
‫בקרי המזוג והרגשים מאפשרים מדידה מדויקת ובקרה על תנאי הסביבה ובתוך יחידות מזוג‬
‫האוויר‪ .‬וויסות מצבי עבודה מדויקים מאפשר התייעלות ברמת הארונות וברמת המתקן‪.‬‬
‫תכנון ‪ CFD‬מאפשר פתרון בעיות מקומיות ואיתור נקודות חמות ‪ .Hot spots -‬ניתוח הנתונים‬
‫ותיקון הליקויים ישפרו משמעותית את יעילות המתקן‪.‬‬
‫איור ‪ :02‬סכמת ‪CFD‬‬
‫‪Page 9 of 10‬‬
‫חשמל ‪ – 4102‬עמי אשכנזי ‪4/00/4102‬‬
‫מרכיבי בינוי‪ ,‬מיקום גיאוגרפי וניצול תנאי סביבה‬
‫מרכיב בינוי כגון בידוד תרמי של קירות החדר והמבנה ומיקום תת קרקעי של המתקן מקטין‬
‫איבודי חום לסביבה ובכך משפר את יעילות המזוג‬
‫מיקום גיאוגרפי עם תנאי אקלים קרים ויבשים מאפשר שימוש באוויר חיצוני המוכנס בצורה‬
‫מבוקרת אל המתקן כאשר הטמפרטורה בחוץ יורדת‪ .‬יחידת ‪ Air Side Economizer‬מותקנת‬
‫בצמוד ל ‪ CRAC‬ומבוקרת ע"י בקר יחידת המזוג‪.‬‬
‫ניתן להתקין מחליפי חום חיצוניים אשר יקררו את המים החוזרים מהמתקן לפני כניסתם לצ'ילר‪.‬‬
‫ניצול תנאי סביבה אפשרי בעיקר מאזורים בהם תנאי האקלים קרים‪ .‬מרכיב הספקי המזוג הוא‬
‫גדול וכל מרכיב יכול להביא לחסכון משמעותי בצריכת המזוג‪.‬‬
‫איור ‪ :05‬יחידת ‪ CRAC‬עם יחידת ‪ Air Side Economizer‬צמודה מלמעלה‪.‬‬
‫סיכום‬
‫תכנון נכון וייעול של כל אחד ממרכיבי התשתית מאפשר להקטין את ה ‪ PUE‬ובהתאם את עלויות‬
‫התפעול של המתקן‪.‬‬
‫ממוצע ערכי ‪ 0.13 PUE‬ניתן לשיפור ל ‪ 0.3‬ובמקרים של תנאי אקלים קרים אף להגיע ל ‪ 0.0‬כמו‬
‫באתר ‪.Facebook – Oregon‬‬
‫באתרים קיימים ומיושנים בהם ערכי ‪ PUE‬של ‪ 4.0‬עד ‪ ,3‬מומלץ לשקול שדרוג תשתיות שיביא‬
‫לחסכון משמעותי בעלויות התפעול תוך החזר השקעה קצר‪.‬‬
‫‪Page 10 of 10‬‬