בית דוגמאות צילומי מסך מדריך למשתמש הלוגו של בלוסקיי YouTube ☰
OghmaNano פלטפורמת סימולציה רב-פיזיקלית עבור התקנים אופטו-אלקטרוניים ומערכות פוטוניות הורד מדריך להתחלה מהירה

יצירת מאגרי נתונים ללמידת מכונהיצירת מאגרי נתונים ללמידת מכונה

בפרק זה מתואר כיצד ליצור מערכי נתונים ללמידת מכונה באמצעות OghmaNano. בדרך כלל, מערכי נתונים אלה מיוצאים ומעובדים באמצעות מסגרות חיצוניות, כגון TensorFlow, לצורך אימון, הסקה או חיזוי.בפרק זה מתואר כיצד ליצור מערכי נתונים ללמידת מכונה באמצעות OghmaNano. בדרך כלל, מערכי נתונים אלה מיוצאים ומעובדים באמצעות מסגרות חיצוניות, כגון TensorFlow, לצורך אימון, הסקה או חיזוי.

1. מבוא1. מבוא

לעתים קרובות יש צורך לחלץ פרמטרים פיזיים של התקן מנתונים ניסיוניים באמצעות מודלים. לדוגמה, ייתכן שיש לנו אוסף של עקומות זרם-מתח (JV) ואנו רוצים לקבוע את ניידות נושאי המטען וקצב הרקומבינציה של ההתקן. באופן מסורתי, הדבר מושג על ידי התאמת מודל המבוסס על עקרונות פיזיקליים, כגון OghmaNano, לנתונים (כפי שתואר ב המדריך להתאמה). החיסרון בגישה זו הוא שהתאמת מערך נתונים יחיד עלולה להיות גוזלת זמן, והקושי גדל באופן משמעותי כאשר יש לנתח מספר מערכי נתונים. תהליך ההתאמה מורכב, ובדרך כלל דורש מומחיות רבה בסימולציה נומרית וכמות ניכרת של התערבות ידנית. כתוצאה מכך, התאמה מפורטת של התקנים מבוצעת רק על ידי קבוצה קטנה יחסית מתוך הקהילה.לעתים קרובות יש צורך לחלץ פרמטרים פיזיים של התקן מנתונים ניסיוניים באמצעות מודלים. לדוגמה, ייתכן שיש לנו אוסף של עקומות זרם-מתח (JV) ואנו רוצים לקבוע את ניידות נושאי המטען וקצב הרקומבינציה של ההתקן. באופן מסורתי, הדבר מושג על ידי התאמת מודל המבוסס על עקרונות פיזיקליים, כגון OghmaNano, לנתונים (כפי שתואר ב המדריך להתאמה). החיסרון בגישה זו הוא שהתאמת מערך נתונים יחיד עלולה להיות גוזלת זמן, והקושי גדל באופן משמעותי כאשר יש לנתח מספר מערכי נתונים. תהליך ההתאמה מורכב, ובדרך כלל דורש מומחיות רבה בסימולציה נומרית וכמות ניכרת של התערבות ידנית. כתוצאה מכך, התאמה מפורטת של התקנים מבוצעת רק על ידי קבוצה קטנה יחסית מתוך הקהילה.

גישה מודרנית יותר היא להשתמש בלמידת מכונה. במקום להתאים ישירות עקומת מתח-זרם (JV) בודדת, תחילה בונים מודל סימולציה המייצג את מבנה הרכיב. במקום לבצע אופטימיזציה לפרמטרים חשמליים בודדים, יוצרים אלפי עותקים של רכיב זה, כאשר ערכי הפרמטרים נבחרים באופן אקראי. כל אחד מהעותקים הללו מכונה "רכיב וירטואלי". לאחר מכן, משתמשים בתוכנת סימולציה כגון OghmaNano כדי ליצור עקומות מתח-זרם עבור כל רכיב וירטואלי, וכך נוצר מאגר נתונים המורכב מעקומות מתח-זרם המשויכות לפרמטרים החשמליים המתאימים להן. ניתן להשתמש בנתונים אלה כדי לאמן מודל למידת מכונה, שמטרתו לחזות פרמטרים חשמליים ישירות ממאפייני מתח-זרם. במסגרת זו, OghmaNano משמשת כטרנספורמציה ישירה, הממפה פרמטרים חשמליים לנתוני ניסוי מדומים, בעוד שמודל למידת המכונה מספק את הטרנספורמציה ההפוכה. לאחר אימון, ניתן להשתמש במודל כדי לחלץ פרמטרים של חומרים מרכיבים אמיתיים.גישה מודרנית יותר היא להשתמש בלמידת מכונה. במקום להתאים ישירות עקומת מתח-זרם (JV) בודדת, תחילה בונים מודל סימולציה המייצג את מבנה הרכיב. במקום לבצע אופטימיזציה לפרמטרים חשמליים בודדים, יוצרים אלפי עותקים של רכיב זה, כאשר ערכי הפרמטרים נבחרים באופן אקראי. כל אחד מהעותקים הללו מכונה "רכיב וירטואלי". לאחר מכן, משתמשים בתוכנת סימולציה כגון OghmaNano כדי ליצור עקומות מתח-זרם עבור כל רכיב וירטואלי, וכך נוצר מאגר נתונים המורכב מעקומות מתח-זרם המשויכות לפרמטרים החשמליים המתאימים להן. ניתן להשתמש בנתונים אלה כדי לאמן מודל למידת מכונה, שמטרתו לחזות פרמטרים חשמליים ישירות ממאפייני מתח-זרם. במסגרת זו, OghmaNano משמשת כטרנספורמציה ישירה, הממפה פרמטרים חשמליים לנתוני ניסוי מדומים, בעוד שמודל למידת המכונה מספק את הטרנספורמציה ההפוכה. לאחר אימון, ניתן להשתמש במודל כדי לחלץ פרמטרים של חומרים מרכיבים אמיתיים.

היתרון המרכזי של גישה זו הוא שכאשר מודל למידת מכונה מאומן, הוא יכול לחלץ פרמטרים רלוונטיים מנתונים ניסיוניים תוך שניות, מבלי לדרוש מהמשתמש להיות מומחה בסימולציה נומרית. עם זאת, הצלחת השיטה תלויה באופן מכריע ביצירת מערך נתונים גדול ואיכותי המשמש לאימון. התהליך של בניית מערכי נתונים כאלה באמצעות OghmaNano מתואר בדפים הבאים.היתרון המרכזי של גישה זו הוא שכאשר מודל למידת מכונה מאומן, הוא יכול לחלץ פרמטרים רלוונטיים מנתונים ניסיוניים תוך שניות, מבלי לדרוש מהמשתמש להיות מומחה בסימולציה נומרית. עם זאת, הצלחת השיטה תלויה באופן מכריע ביצירת מערך נתונים גדול ואיכותי המשמש לאימון. התהליך של בניית מערכי נתונים כאלה באמצעות OghmaNano מתואר בדפים הבאים.

2. פתיחת הדוגמה2. פתיחת הדוגמה

ניתן לגשת לדוגמה הנדונה בדף זה באמצעות כפתור "הדמיה חדשה" בחלון הראשי. פעולה זו פותחת את חלון הדפדפן של "הדמיה חדשה", כפי שמוצג בתמונה ??.ניתן לגשת לדוגמה הנדונה בדף זה באמצעות כפתור "הדמיה חדשה" בחלון הראשי. פעולה זו פותחת את חלון הדפדפן של "הדמיה חדשה", כפי שמוצג בתמונה ??.

מרשימת קטגוריות הסימולציה הזמינות, לחצו פעמיים על "למידת מכונה" כדי להציג את הדוגמאות של למידת מכונה (??). בחירת הדוגמה PM6:Y6 ML טוענת סימולציה מוגדרת מראש, המתאימה למכשיר ולתהליך העבודה הנדונים בפרק זה.מרשימת קטגוריות הסימולציה הזמינות, לחצו פעמיים על "למידת מכונה" כדי להציג את הדוגמאות של למידת מכונה (??). בחירת הדוגמה PM6:Y6 ML טוענת סימולציה מוגדרת מראש, המתאימה למכשיר ולתהליך העבודה הנדונים בפרק זה.

לאחר הפעלתו, הסימולציה מציגה את אותה תצורה של מכשיר ואת אותה מערכת אוטומציה שבהן נעשה שימוש בכל החלק הזה, וניתן להשתמש בה ישירות ליצירת נתוני אימון ללמידת מכונה, ללא צורך בהגדרות נוספות.לאחר הפעלתו, הסימולציה מציגה את אותה תצורה של מכשיר ואת אותה מערכת אוטומציה שבהן נעשה שימוש בכל החלק הזה, וניתן להשתמש בה ישירות ליצירת נתוני אימון ללמידת מכונה, ללא צורך בהגדרות נוספות.

OghmaNano New simulation window showing available simulation categories, including the Machine learning category.
חלון הסימולציה החדש מציג את קטגוריות הסימולציה הזמינות. לחצו פעמיים על "למידת מכונה" כדי לראות את הדוגמאות של למידת מכונה.חלון הסימולציה החדש מציג את קטגוריות הסימולציה הזמינות. לחצו פעמיים על "למידת מכונה" כדי לראות את הדוגמאות של למידת מכונה.
Machine learning example list showing the PM6:Y6 ML example.
רשימת הדוגמאות ללמידת מכונה. לחצו פעמיים על הדוגמה PM6:Y6 ML כדי לפתוח את הסימולציה שבה נעשה שימוש בפרק זה.רשימת הדוגמאות ללמידת מכונה. לחצו פעמיים על הדוגמה PM6:Y6 ML כדי לפתוח את הסימולציה שבה נעשה שימוש בפרק זה.

3. הגדרת הסימולציות ווקטורי הפלט3. הגדרת הסימולציות ווקטורי הפלט

לאחר פתיחת הדוגמה של הסימולציה, תוצג בפניכם חלון הסימולציה הראשי, כפי שמוצג באיור ??. בחלון זה מוצגת התצורה המלאה של מבנה המכשיר, המשמשת לאורך כל הפרק. בסרגל הכלים "אוטומציה", ניתן לראות סמל של "למידת מכונה", המיוצג על ידי סמל מעגלי כחול. לחיצה על סמל זה פותחת את חלון הבקרה הראשי של למידת מכונה, כפי שמוצג באיור ??. מחלון זה, מוגדרת ומבוצעת יצירת נתוני האימון של למידת מכונה.לאחר פתיחת הדוגמה של הסימולציה, תוצג בפניכם חלון הסימולציה הראשי, כפי שמוצג באיור ??. בחלון זה מוצגת התצורה המלאה של מבנה המכשיר, המשמשת לאורך כל הפרק. בסרגל הכלים "אוטומציה", ניתן לראות סמל של "למידת מכונה", המיוצג על ידי סמל מעגלי כחול. לחיצה על סמל זה פותחת את חלון הבקרה הראשי של למידת מכונה, כפי שמוצג באיור ??. מחלון זה, מוגדרת ומבוצעת יצירת נתוני האימון של למידת מכונה.

OghmaNano main simulation window showing the Automation ribbon, with the Machine Learning icon highlighted.
חלון הסימולציה הראשי. סרגל הכלים "אוטומציה" גלוי, והוא מכיל את הסמל של "למידת מכונה".חלון הסימולציה הראשי. סרגל הכלים "אוטומציה" גלוי, והוא מכיל את הסמל של "למידת מכונה".
The OghmaNano machine learning window showing the list of simulations and light-intensity variants.
החלון הראשי של תוכנת למידת מכונה.החלון הראשי של תוכנת למידת מכונה.

המטרה העיקרית של חלון זה היא ליצור מערכי נתונים גדולים לצורך אימון אלגוריתמים של למידת מכונה. מערך הנתונים שנוצר בדוגמה זו נקרא "דוגמה". הכרטיסייה הראשונה המוצגת היא כרטיסיית "סימולציות", המגדירה את קבוצת הסימולציות המתבצעות עבור כל מכשיר וירטואלי. במקרה זה, מבוצעת סימולציה של עקומת מתח-זרם כהה ותשע עקומות מתח-זרם מוארות, כאשר עוצמת האור נעה בין 0.0001 יחידות שמש ל-1.0 יחידות שמש. ניתן להפעיל או לכבות סימולציות בודדות באמצעות מתג "מופעל". אם לוחצים על כפתור "עריכה" בעמודת "תיקון" עבור הרשומה "\(light\_0.0001\)", נפתח חלון "תיקון" המוצג ב-??.המטרה העיקרית של חלון זה היא ליצור מערכי נתונים גדולים לצורך אימון אלגוריתמים של למידת מכונה. מערך הנתונים שנוצר בדוגמה זו נקרא "דוגמה". הכרטיסייה הראשונה המוצגת היא כרטיסיית "סימולציות", המגדירה את קבוצת הסימולציות המתבצעות עבור כל מכשיר וירטואלי. במקרה זה, מבוצעת סימולציה של עקומת מתח-זרם כהה ותשע עקומות מתח-זרם מוארות, כאשר עוצמת האור נעה בין 0.0001 יחידות שמש ל-1.0 יחידות שמש. ניתן להפעיל או לכבות סימולציות בודדות באמצעות מתג "מופעל". אם לוחצים על כפתור "עריכה" בעמודת "תיקון" עבור הרשומה "\(light\_0.0001\)", נפתח חלון "תיקון" המוצג ב-??.

מטרת חלון ה-"Patch" היא לשנות פרמטרים בתוך סימולציה וירטואלית. בדוגמה זו, נוצרות מספר עקומות JV בתנאי תאורה שונים, תוך שימוש באותה מבנה בסיסי של התקן. כדי להשיג זאת, יש להתאים את עוצמת האור באופן עצמאי עבור כל סימולציה. פתיחת חלון ה-"Patch" עבור \(light\_0.0001\) מראה שהפרמטר של הסימולציה, optical/light/Psun, השולט בעוצמת התאורה, מוגדר ל-\(0.0001\). עבור הסימולציה בתנאי חושך, אותו פרמטר מוגדר ל-\(0.0\). בדרך זו, ניתן לדמות באופן עקבי מספר תנאים ניסיוניים באמצעות סימולציה בסיסית אחת.מטרת חלון ה-"Patch" היא לשנות פרמטרים בתוך סימולציה וירטואלית. בדוגמה זו, נוצרות מספר עקומות JV בתנאי תאורה שונים, תוך שימוש באותה מבנה בסיסי של התקן. כדי להשיג זאת, יש להתאים את עוצמת האור באופן עצמאי עבור כל סימולציה. פתיחת חלון ה-"Patch" עבור \(light\_0.0001\) מראה שהפרמטר של הסימולציה, optical/light/Psun, השולט בעוצמת התאורה, מוגדר ל-\(0.0001\). עבור הסימולציה בתנאי חושך, אותו פרמטר מוגדר ל-\(0.0\). בדרך זו, ניתן לדמות באופן עקבי מספר תנאים ניסיוניים באמצעות סימולציה בסיסית אחת.

The simulation patch window used to modify a parameter in a sub-simulation, here adjusting the light intensity.
חלון תיקון הסימולציה, המשמש לשינוי ערך בסימולציה משנית. בדוגמה זו, עוצמת האור משתנה.חלון תיקון הסימולציה, המשמש לשינוי ערך בסימולציה משנית. בדוגמה זו, עוצמת האור משתנה.
The vectors window defining which simulation outputs are extracted as machine-learning vectors.
חלון הווקטורים. כאן מוגדרים הנתונים שיוצאים מהסימולציה ומשמשים כווקטור למידת מכונה.חלון הווקטורים. כאן מוגדרים הנתונים שיוצאים מהסימולציה ומשמשים כווקטור למידת מכונה.

חלון "Vectors" מגדיר אילו נתונים יופקו מהסימולציות שהושלמו, וייווצרו מהם וקטורי הקלט עבור אלגוריתם למידת מכונה. בדוגמה זו, נקודות הנתונים הנמצאות בין ‎-2.0 V ל-1.4 V מופקות מהקובץ ‎\(jv.dat\), המכיל את מאפייני המתח-זרם המדומים. עבור סימולציות בתחום הזמן, המשתמש עשוי להעדיף להפיק נתונים מקבצים כגון ‎\(time\_i.csv\) או מכל קובץ פלט מתאים אחר. מספר הנקודות המשמשות ליצירת כל וקטור קלט נקבע על ידי המשתמש. וקטורים ארוכים יותר מגדילים את העלות החישובית של האימון, אך עשויים לכלול תכונות מפורטות יותר של עקומת המתח-זרם.חלון "Vectors" מגדיר אילו נתונים יופקו מהסימולציות שהושלמו, וייווצרו מהם וקטורי הקלט עבור אלגוריתם למידת מכונה. בדוגמה זו, נקודות הנתונים הנמצאות בין ‎-2.0 V ל-1.4 V מופקות מהקובץ ‎\(jv.dat\), המכיל את מאפייני המתח-זרם המדומים. עבור סימולציות בתחום הזמן, המשתמש עשוי להעדיף להפיק נתונים מקבצים כגון ‎\(time\_i.csv\) או מכל קובץ פלט מתאים אחר. מספר הנקודות המשמשות ליצירת כל וקטור קלט נקבע על ידי המשתמש. וקטורים ארוכים יותר מגדילים את העלות החישובית של האימון, אך עשויים לכלול תכונות מפורטות יותר של עקומת המתח-זרם.

4. הגדרת המשתנים המקריים4. הגדרת המשתנים המקריים

Random variables tab showing the list of simulation parameters selected for randomisation, including mobilities, trap densities, and resistances.
הלשונית "משתנים אקראיים", המציגה את הפרמטרים שנבחרו לצורך ביצוע רנדומיזציה.הלשונית "משתנים אקראיים", המציגה את הפרמטרים שנבחרו לצורך ביצוע רנדומיזציה.

השלב הבא הוא להגדיר אילו פרמטרים של המודל יוכנסו לתהליך האקראיות. פעולה זו מתבצעת באמצעות הכרטיסייה "משתנים אקראיים" בחלון הראשי של תוכנת הלמידה המכונה. הטבלה מכילה חמישה עמודות. העמודה "מופעל" קובעת האם פרמטר מסוים נכלל בתהליך האקראיות. העמודה "משתנה" מציינת איזה פרמטר של הסימולציה משתנה. העמודות "מינימום" ו"מקסימום" מגדירות את הגבול התחתון והעליון של טווח הפרמטר, והעמודה "פונקציה אקראית" מציינת האם הערכים נלקחים מהתפלגות ליניארית או לוגריתמית.השלב הבא הוא להגדיר אילו פרמטרים של המודל יוכנסו לתהליך האקראיות. פעולה זו מתבצעת באמצעות הכרטיסייה "משתנים אקראיים" בחלון הראשי של תוכנת הלמידה המכונה. הטבלה מכילה חמישה עמודות. העמודה "מופעל" קובעת האם פרמטר מסוים נכלל בתהליך האקראיות. העמודה "משתנה" מציינת איזה פרמטר של הסימולציה משתנה. העמודות "מינימום" ו"מקסימום" מגדירות את הגבול התחתון והעליון של טווח הפרמטר, והעמודה "פונקציה אקראית" מציינת האם הערכים נלקחים מהתפלגות ליניארית או לוגריתמית.

מומלץ להשתמש בהתפלגויות לוגריתמיות עבור פרמטרים המשתרעים על פני מספר סדרי גודל, בעוד שהתפלגויות ליניאריות מתאימות לפרמטרים המשתנים בטווח יחסית מצומצם. שימוש בהתפלגות לוגריתמית מבטיח שהערכים יידגמו באופן אחיד כאשר הם מוצגים בסולם לוגריתמי, במקום להתקבץ לכיוון הקצה העליון של הטווח. לדוגמה, פרמטר ליניארי מתאים יהיה אנרגיית אורבאך, אשר בדרך כלל משתנה בין 30 ל-150 מילי-אלקטרון וולט. לעומת זאת, צפיפויות מלכודות מתאימות היטב לדגימה לוגריתמית, מכיוון שהן עשויות להשתנות בין \(1 \times 10^{15}\,\mathrm{m^{-3}}\) ל-\(1 \times 10^{25}\,\mathrm{m^{-3}}\).מומלץ להשתמש בהתפלגויות לוגריתמיות עבור פרמטרים המשתרעים על פני מספר סדרי גודל, בעוד שהתפלגויות ליניאריות מתאימות לפרמטרים המשתנים בטווח יחסית מצומצם. שימוש בהתפלגות לוגריתמית מבטיח שהערכים יידגמו באופן אחיד כאשר הם מוצגים בסולם לוגריתמי, במקום להתקבץ לכיוון הקצה העליון של הטווח. לדוגמה, פרמטר ליניארי מתאים יהיה אנרגיית אורבאך, אשר בדרך כלל משתנה בין 30 ל-150 מילי-אלקטרון וולט. לעומת זאת, צפיפויות מלכודות מתאימות היטב לדגימה לוגריתמית, מכיוון שהן עשויות להשתנות בין \(1 \times 10^{15}\,\mathrm{m^{-3}}\) ל-\(1 \times 10^{25}\,\mathrm{m^{-3}}\).

5. הגדרת מספר הסימולציות5. הגדרת מספר הסימולציות

Configuration window for the machine-learning data generator showing archive count, simulations per archive, and output file settings.
אפשרויות תצורה עבור מחולל הנתונים של למידת מכונה.אפשרויות תצורה עבור מחולל הנתונים של למידת מכונה.

לאחר שהוגדרה הסימולציה, השלב הבא הוא לקבוע כמה מכשירים וירטואליים עם פרמטרים אקראיים יש ליצור. פתיחת חלון ההגדרות (ראו 18.6) מאפשרת לשלוט בכך באמצעות שני פרמטרים: מספר הסימולציות בכל ארכיון (\(N_{\mathrm{sim}}\)) ומספר הארכיונים (\(N_{\mathrm{arc}}\)). המספר הכולל של המכשירים הווירטואליים שנוצרו מופיע ב-\(N_{\mathrm{sim}} \times N_{\mathrm{arc}}\).לאחר שהוגדרה הסימולציה, השלב הבא הוא לקבוע כמה מכשירים וירטואליים עם פרמטרים אקראיים יש ליצור. פתיחת חלון ההגדרות (ראו 18.6) מאפשרת לשלוט בכך באמצעות שני פרמטרים: מספר הסימולציות בכל ארכיון (\(N_{\mathrm{sim}}\)) ומספר הארכיונים (\(N_{\mathrm{arc}}\)). המספר הכולל של המכשירים הווירטואליים שנוצרו מופיע ב-\(N_{\mathrm{sim}} \times N_{\mathrm{arc}}\).

תוצאות הסימולציה נשמרות בקבצי ZIP, המכונים "ארכיונים", כאשר כל ארכיון מכיל \(N_{\mathrm{sim}}\) התקנים וירטואליים. בדוגמה המוצגת כאן, נוצרים ונשמרים 100 קבצי ארכיון, כאשר כל אחד מהם מכיל \(N_{\mathrm{sim}} \times N_{\mathrm{arc}} = 3000\) התקנים וירטואליים. חשוב לציין שבדוגמה זו, כל התקן וירטואלי מורכב מסימולציית JV אחת במצב "כבוי" ותשע סימולציות JV במצב "דולק". כתוצאה מכך, המספר הכולל של קבצי הפלט יכול לגדול במהירות.תוצאות הסימולציה נשמרות בקבצי ZIP, המכונים "ארכיונים", כאשר כל ארכיון מכיל \(N_{\mathrm{sim}}\) התקנים וירטואליים. בדוגמה המוצגת כאן, נוצרים ונשמרים 100 קבצי ארכיון, כאשר כל אחד מהם מכיל \(N_{\mathrm{sim}} \times N_{\mathrm{arc}} = 3000\) התקנים וירטואליים. חשוב לציין שבדוגמה זו, כל התקן וירטואלי מורכב מסימולציית JV אחת במצב "כבוי" ותשע סימולציות JV במצב "דולק". כתוצאה מכך, המספר הכולל של קבצי הפלט יכול לגדול במהירות.

כדי לנהל זאת, יצירת הנתונים מתבצעת בקבוצות. קבוצה של \(N_{\mathrm{sim}}\) הדמיות נוצרת ומופעלת על ידי OghmaNano, ולאחר מכן נשמרת בארכיון יחיד, ותהליך זה חוזר על עצמו עד ליצירת \(N_{\mathrm{arc}}\) ארכיונים. גישה זו מגבילה את אובדן הנתונים לארכיון הנוכחי שנוצר, במקרה שהתהליך מופסק, ומפשטת גם את העברת הקבצים ומשפרת את העמידות בפני פגיעה. הפעלת ההדמיות מתבצעת במקביל על כל ליבות המעבד הזמינות, בעוד שיצירת הארכיון מתבצעת על ליבה אחת.כדי לנהל זאת, יצירת הנתונים מתבצעת בקבוצות. קבוצה של \(N_{\mathrm{sim}}\) הדמיות נוצרת ומופעלת על ידי OghmaNano, ולאחר מכן נשמרת בארכיון יחיד, ותהליך זה חוזר על עצמו עד ליצירת \(N_{\mathrm{arc}}\) ארכיונים. גישה זו מגבילה את אובדן הנתונים לארכיון הנוכחי שנוצר, במקרה שהתהליך מופסק, ומפשטת גם את העברת הקבצים ומשפרת את העמידות בפני פגיעה. הפעלת ההדמיות מתבצעת במקביל על כל ליבות המעבד הזמינות, בעוד שיצירת הארכיון מתבצעת על ליבה אחת.

6. הפעלת תוכנת יצירת מאגר הנתונים6. הפעלת תוכנת יצירת מאגר הנתונים

לאחר השלמת ההגדרה, לחיצה על כפתור "הפעלת מחולל" בחלון הראשי של "למידת מכונה" (18.2) מתחילה את תהליך יצירת מערך הנתונים. לאחר מכן, OghmaNano תתחיל להפעיל את הסימולציות שהוגדרו עבור כל מכשיר וירטואלי. כאשר התהליך יסתיים, יופיע תיקייה בשם "example" בתיקיית הסימולציה, כפי שמוצג בצד שמאל של 18.8. לצורך הדוגמה הזו, הוגדרו "מספר סימולציות לארכיון" ל-10 ו"מספר ארכיונים" ל-3, במטרה לקצר את זמן הריצה.לאחר השלמת ההגדרה, לחיצה על כפתור "הפעלת מחולל" בחלון הראשי של "למידת מכונה" (18.2) מתחילה את תהליך יצירת מערך הנתונים. לאחר מכן, OghmaNano תתחיל להפעיל את הסימולציות שהוגדרו עבור כל מכשיר וירטואלי. כאשר התהליך יסתיים, יופיע תיקייה בשם "example" בתיקיית הסימולציה, כפי שמוצג בצד שמאל של 18.8. לצורך הדוגמה הזו, הוגדרו "מספר סימולציות לארכיון" ל-10 ו"מספר ארכיונים" ל-3, במטרה לקצר את זמן הריצה.

כל השגיאות שמתגלות במהלך הסימולציה נרשמות בקובץ errors.dat. פתיחת הקובץ archive0.zip חושפת את המבנה הפנימי של הארכיון, כפי שמוצג בצד ימין של 18.8. כל ארכיון מכיל אוסף של תיקיות, כאשר כל תיקייה מתאימה להתקן וירטואלי יחיד.כל השגיאות שמתגלות במהלך הסימולציה נרשמות בקובץ errors.dat. פתיחת הקובץ archive0.zip חושפת את המבנה הפנימי של הארכיון, כפי שמוצג בצד ימין של 18.8. כל ארכיון מכיל אוסף של תיקיות, כאשר כל תיקייה מתאימה להתקן וירטואלי יחיד.

הספריות הללו נקראות בשמות המורכבים ממזהים הקסדצימליים אקראיים באורך 16 ספרות. כל ספרייה מכילה את כל מערך הסימולציות עבור מכשיר וירטואלי אחד; בדוגמה זו, סימולציית JV אחת במצב "כבוי" ותשע סימולציות JV במצב "דלוק". התוכן של אחת הספריות הללו מוצג בצד שמאל של 18.10. פתיחת ספריית סימולציה בודדת (18.10, צד ימין) חושפת סימולציית OghmaNano מלאה, כולל הקובץ sim.json והקובץ jv.dat המכיל את מאפייני הזרם-מתח המדומים. ייתכן שיהיו גם נתונים נוספים, כגון פלטי פלט אופטיים וקבצי מטמון.הספריות הללו נקראות בשמות המורכבים ממזהים הקסדצימליים אקראיים באורך 16 ספרות. כל ספרייה מכילה את כל מערך הסימולציות עבור מכשיר וירטואלי אחד; בדוגמה זו, סימולציית JV אחת במצב "כבוי" ותשע סימולציות JV במצב "דלוק". התוכן של אחת הספריות הללו מוצג בצד שמאל של 18.10. פתיחת ספריית סימולציה בודדת (18.10, צד ימין) חושפת סימולציית OghmaNano מלאה, כולל הקובץ sim.json והקובץ jv.dat המכיל את מאפייני הזרם-מתח המדומים. ייתכן שיהיו גם נתונים נוספים, כגון פלטי פלט אופטיים וקבצי מטמון.

בעת יצירת מערכי נתונים גדולים ללמידת מכונה, מומלץ מאוד למזער את הפלט המיותר, מכיוון שהשימוש הכולל בדיסק עלול לגדול במהירות. ניתן להשיג זאת על ידי הגדרת הסימולציה כך שתפיק רק את נתוני הפלט החיוניים. יצירת מערכי הנתונים מתבצעת בקבוצות, כאשר הסימולציות מופעלות במקביל על כל ליבות המעבד הזמינות, בעוד שיצירת הארכיון מתבצעת על ליבה אחת.בעת יצירת מערכי נתונים גדולים ללמידת מכונה, מומלץ מאוד למזער את הפלט המיותר, מכיוון שהשימוש הכולל בדיסק עלול לגדול במהירות. ניתן להשיג זאת על ידי הגדרת הסימולציה כך שתפיק רק את נתוני הפלט החיוניים. יצירת מערכי הנתונים מתבצעת בקבוצות, כאשר הסימולציות מופעלות במקביל על כל ליבות המעבד הזמינות, בעוד שיצירת הארכיון מתבצעת על ליבה אחת.

בדוגמה הממחישה הזו, נוצרים רק שלושה ארכיונים. עם זאת, במהלך תהליך ייצור רגיל, נהוג ליצור כ-200 ארכיונים, כאשר כל אחד מהם מכיל בערך 200 התקנים וירטואליים.בדוגמה הממחישה הזו, נוצרים רק שלושה ארכיונים. עם זאת, במהלך תהליך ייצור רגיל, נהוג ליצור כ-200 ארכיונים, כאשר כל אחד מהם מכיל בערך 200 התקנים וירטואליים.

The contents of the example directory showing generated ZIP archives, error logs, and vector files.
תוכן התיקייה לדוגמה לאחר יצירת מאגר הנתונים המשמש ללמידת מכונה.תוכן התיקייה לדוגמה לאחר יצירת מאגר הנתונים המשמש ללמידת מכונה.
The contents of a generated ZIP archive containing machine-learning data.
ארכיון ה-ZIP שנוצר, המכיל את מאגר הנתונים של למידת מכונה.ארכיון ה-ZIP שנוצר, המכיל את מאגר הנתונים של למידת מכונה.
The contents of a generated ZIP archive showing separate folders for each light-intensity simulation.
התוכן העיקרי של ארכיון שנוצר, כאשר לכל תנאי תאורה מדומֶה יש תיקייה נפרדת.התוכן העיקרי של ארכיון שנוצר, כאשר לכל תנאי תאורה מדומֶה יש תיקייה נפרדת.
The contents of a single simulation directory inside the archive, including output files and metadata.
תוכן התיקייה המכילה את נתוני הסימולציה הספציפית בתוך הארכיון.תוכן התיקייה המכילה את נתוני הסימולציה הספציפית בתוך הארכיון.

In the above example we only have three archives but in a normal simulation run one would have up to 200 archives each with 200 simulations in each.

7. איחוד התוצאות לקובץ אחד.7. איחוד התוצאות לקובץ אחד.

Excerpt from vectors.json showing randomly chosen parameters and extracted JV vectors for dark and illuminated conditions.
קטע מקובץ הנתונים הסופי (vectors.json) בפורמט JSON. קובץ זה מהווה את מערך הנתונים המשמש לאימון מודל הלמידה המכונה.קטע מקובץ הנתונים הסופי (vectors.json) בפורמט JSON. קובץ זה מהווה את מערך הנתונים המשמש לאימון מודל הלמידה המכונה.

לאחר שהסימולציות הסתיימו, יש להמיר את הפלט הגולמי של OghmaNano לקובץ וקטורים יחיד, המתאים לאימון מודל למידת מכונה. לחיצה על סמל "בניית וקטורים" בחלון הראשי של למידת מכונה (18.2) גורמת ל-OghmaNano לפתוח כל תיקיית מכשיר וירטואלי, לחלץ את הפלטים המבוקשים ולאסוף אותם לקובץ וקטורים יחיד בשם vectors.json. דוגמה לקובץ זה מוצגת ב-18.11.לאחר שהסימולציות הסתיימו, יש להמיר את הפלט הגולמי של OghmaNano לקובץ וקטורים יחיד, המתאים לאימון מודל למידת מכונה. לחיצה על סמל "בניית וקטורים" בחלון הראשי של למידת מכונה (18.2) גורמת ל-OghmaNano לפתוח כל תיקיית מכשיר וירטואלי, לחלץ את הפלטים המבוקשים ולאסוף אותם לקובץ וקטורים יחיד בשם vectors.json. דוגמה לקובץ זה מוצגת ב-18.11.

קובץ הווקטורים הוא מסמך JSON המכיל את כל המידע הנדרש ללמידה מפוקחת. כל מכשיר וירטואלי מופיע כרשומה נפרדת. לדוגמה, הרשומה המסומנת כ-2cbd08c0fd7eb406 (שורה 3) מכילה, תחת הסעיף "params", את הפרמטרים החשמליים שנבחרו באופן אקראי עבור אותו מכשיר וירטואלי. לאחר מכן מופיעים וקטורי הקלט שחולצו, כגון וקטור ה-JV בתנאי חושך (שורה 19) ווקטור ה-JV בתנאי תאורה של 0.0001 יחידות שמש (שורה 22). יחידות המידה בכל וקטור נלקחות ישירות מהקובץ המקורי שממנו הן חולצו. בדוגמה זו, הווקטורים נלקחים מהקובץ jv.dat, המאחסן את צפיפות הזרם ביחידות \(A\,m^{-2}\) כפונקציה של המתח, ולכן ערכי הווקטורים הם ביחידות \(A\,m^{-2}\). לאחר וקטורי הקלט, מאוחסנים פלט סקלרי נוסף (לדוגמה, PCE) לנוחות.קובץ הווקטורים הוא מסמך JSON המכיל את כל המידע הנדרש ללמידה מפוקחת. כל מכשיר וירטואלי מופיע כרשומה נפרדת. לדוגמה, הרשומה המסומנת כ-2cbd08c0fd7eb406 (שורה 3) מכילה, תחת הסעיף "params", את הפרמטרים החשמליים שנבחרו באופן אקראי עבור אותו מכשיר וירטואלי. לאחר מכן מופיעים וקטורי הקלט שחולצו, כגון וקטור ה-JV בתנאי חושך (שורה 19) ווקטור ה-JV בתנאי תאורה של 0.0001 יחידות שמש (שורה 22). יחידות המידה בכל וקטור נלקחות ישירות מהקובץ המקורי שממנו הן חולצו. בדוגמה זו, הווקטורים נלקחים מהקובץ jv.dat, המאחסן את צפיפות הזרם ביחידות \(A\,m^{-2}\) כפונקציה של המתח, ולכן ערכי הווקטורים הם ביחידות \(A\,m^{-2}\). לאחר וקטורי הקלט, מאוחסנים פלט סקלרי נוסף (לדוגמה, PCE) לנוחות.

בקבץ זה יופיע רשומה אחת עבור כל מכשיר וירטואלי שנוצר. לאחר יצירת הקובץ vectors.json, ניתן להשתמש בו כקבוצת נתונים לאימון עבור תהליך הלמידה המכונה שבחרתם. משתמשים מסוימים מוצאים שקל יותר לייבא את הנתונים ל-TensorFlow לאחר המרתם לפורמט CSV; ניתן לעשות זאת באמצעות ספריות Python סטנדרטיות.בקבץ זה יופיע רשומה אחת עבור כל מכשיר וירטואלי שנוצר. לאחר יצירת הקובץ vectors.json, ניתן להשתמש בו כקבוצת נתונים לאימון עבור תהליך הלמידה המכונה שבחרתם. משתמשים מסוימים מוצאים שקל יותר לייבא את הנתונים ל-TensorFlow לאחר המרתם לפורמט CSV; ניתן לעשות זאת באמצעות ספריות Python סטנדרטיות.

8. From data set to machine learning

הסעיפים הקודמים מתארים כיצד משתמשים ב-OghmaNano ליצירת מערך נתונים שלם ללמידת מכונה בפורמט JSON. בשלב זה, תהליך יצירת הנתונים הסתיים: עבור כל מכשיר וירטואלי, הקובץ מכיל את הפרמטרים של המודל שנבחרו באופן אקראי, יחד עם תוצואות הסימולציה המתאימות, המקודדות כווקטורי קלט.הסעיפים הקודמים מתארים כיצד משתמשים ב-OghmaNano ליצירת מערך נתונים שלם ללמידת מכונה בפורמט JSON. בשלב זה, תהליך יצירת הנתונים הסתיים: עבור כל מכשיר וירטואלי, הקובץ מכיל את הפרמטרים של המודל שנבחרו באופן אקראי, יחד עם תוצואות הסימולציה המתאימות, המקודדות כווקטורי קלט.

השלב הבא הוא לייבא את הנתונים הללו למסגרת למידת מכונה שתבחרו. בפועל, הדבר כולל בדרך כלל קריאת הקובץ vectors.json והמרתו לפורמט טבלאי, כגון CSV, שאותו ניתן להשתמש בו לאחר מכן לאימון, אימות ובדיקה. ניתן לבצע המרה זו בצורה פשוטה באמצעות כלי תסריט סטנדרטיים (לדוגמה, Python).השלב הבא הוא לייבא את הנתונים הללו למסגרת למידת מכונה שתבחרו. בפועל, הדבר כולל בדרך כלל קריאת הקובץ vectors.json והמרתו לפורמט טבלאי, כגון CSV, שאותו ניתן להשתמש בו לאחר מכן לאימון, אימות ובדיקה. ניתן לבצע המרה זו בצורה פשוטה באמצעות כלי תסריט סטנדרטיים (לדוגמה, Python).

לאחר ההמרה, ניתן להשתמש בנתונים כדי לאמן רשת עצבית או מודל רגרסיה אחר, תוך שימוש במסגרת למידת מכונה כגון TensorFlow, PyTorch או ספריה דומה. החל משלב זה, בחירת ארכיטקטורת הרשת, פונקציית האובדן ואסטרטגיית האימון תלויה ביישום הספציפי ואינה תלויה ב-OghmaNano.לאחר ההמרה, ניתן להשתמש בנתונים כדי לאמן רשת עצבית או מודל רגרסיה אחר, תוך שימוש במסגרת למידת מכונה כגון TensorFlow, PyTorch או ספריה דומה. החל משלב זה, בחירת ארכיטקטורת הרשת, פונקציית האובדן ואסטרטגיית האימון תלויה ביישום הספציפי ואינה תלויה ב-OghmaNano.

בצורה זו, OghmaNano מספקת תהליך שלם ואוטומטי ליצירת נתוני אימון עקביים מבחינה פיזיקלית, ומאפשרת למשתמש לשלוט באופן מלא בפיתוח ובאופטימיזציה של מודל הלמידה המכונה בשלבים הבאים.בצורה זו, OghmaNano מספקת תהליך שלם ואוטומטי ליצירת נתוני אימון עקביים מבחינה פיזיקלית, ומאפשרת למשתמש לשלוט באופן מלא בפיתוח ובאופטימיזציה של מודל הלמידה המכונה בשלבים הבאים.