Acasă Exemple Capturi de ecran Manual de utilizare Logo-ul Bluesky YouTube ☰
OghmaNano Platformă de simulare multifizică pentru dispozitive optoelectronice și sisteme fotonice. DESCARCĂ Ghid de utilizare rapidă

Generarea de seturi de date pentru învățare automatăGenerarea de seturi de date pentru învățare automată

Acest capitol descrie modul în care pot fi generate seturi de date pentru învățare automată folosind OghmaNano. În mod obișnuit, aceste seturi de date sunt exportate și procesate cu ajutorul unor cadre externe, cum ar fi TensorFlow, pentru antrenare, inferență sau predicție.Acest capitol descrie modul în care pot fi generate seturi de date pentru învățare automată folosind OghmaNano. În mod obișnuit, aceste seturi de date sunt exportate și procesate cu ajutorul unor cadre externe, cum ar fi TensorFlow, pentru antrenare, inferență sau predicție.

1. Introducere1. Introducere

De multe ori, este de dorit să se extragă parametrii fizici ai unui dispozitiv din date experimentale, utilizând modelarea. De exemplu, se poate avea la dispoziție un set de curbe JV și se dorește determinarea mobilității purtătorilor de sarcină și a ratei de recombinare a dispozitivului. În mod tradițional, acest lucru se realizează prin ajustarea unui model bazat pe principii fizice, cum ar fi OghmaNano, la date (așa cum este descris în tutorialul de ajustare). Dezavantajul acestei abordări este că ajustarea unui singur set de date poate consuma mult timp, iar dificultatea crește considerabil atunci când trebuie analizate mai multe seturi de date. Procesul de ajustare este complex și necesită, de obicei, o expertiză considerabilă în simularea numerică și o cantitate semnificativă de intervenție manuală. Ca urmare, ajustarea detaliată a dispozitivului este efectuată doar de un grup relativ restrâns de specialiști.De multe ori, este de dorit să se extragă parametrii fizici ai unui dispozitiv din date experimentale, utilizând modelarea. De exemplu, se poate avea la dispoziție un set de curbe JV și se dorește determinarea mobilității purtătorilor de sarcină și a ratei de recombinare a dispozitivului. În mod tradițional, acest lucru se realizează prin ajustarea unui model bazat pe principii fizice, cum ar fi OghmaNano, la date (așa cum este descris în tutorialul de ajustare). Dezavantajul acestei abordări este că ajustarea unui singur set de date poate consuma mult timp, iar dificultatea crește considerabil atunci când trebuie analizate mai multe seturi de date. Procesul de ajustare este complex și necesită, de obicei, o expertiză considerabilă în simularea numerică și o cantitate semnificativă de intervenție manuală. Ca urmare, ajustarea detaliată a dispozitivului este efectuată doar de un grup relativ restrâns de specialiști.

O abordare mai modernă este utilizarea învățării automate. În loc să se aplice direct o singură curbă JV, se construiește mai întâi o simulare care reprezintă structura dispozitivului. În loc să se optimizeze parametrii electrici individuali, se generează mii de copii ale acestui dispozitiv, cu valori ale parametrilor selectate aleatoriu. Fiecare dintre aceste instanțe este denumită dispozitiv virtual. Apoi, un program de simulare, cum ar fi OghmaNano, este utilizat pentru a genera curbe JV pentru fiecare dispozitiv virtual, obținându-se un set de date care constă din curbe JV asociate cu parametrii electrici corespunzători. Aceste date pot fi utilizate pentru a antrena un model de învățare automată, astfel încât acesta să poată prezice parametrii electrici direct din caracteristicile JV. În acest cadru, OghmaNano funcționează ca o transformare directă, mapând parametrii electrici la date experimentale simulate, în timp ce modelul de învățare automată oferă transformarea inversă. Odată antrenat, modelul poate fi aplicat pentru a extrage parametrii materialelor din dispozitive reale.O abordare mai modernă este utilizarea învățării automate. În loc să se aplice direct o singură curbă JV, se construiește mai întâi o simulare care reprezintă structura dispozitivului. În loc să se optimizeze parametrii electrici individuali, se generează mii de copii ale acestui dispozitiv, cu valori ale parametrilor selectate aleatoriu. Fiecare dintre aceste instanțe este denumită dispozitiv virtual. Apoi, un program de simulare, cum ar fi OghmaNano, este utilizat pentru a genera curbe JV pentru fiecare dispozitiv virtual, obținându-se un set de date care constă din curbe JV asociate cu parametrii electrici corespunzători. Aceste date pot fi utilizate pentru a antrena un model de învățare automată, astfel încât acesta să poată prezice parametrii electrici direct din caracteristicile JV. În acest cadru, OghmaNano funcționează ca o transformare directă, mapând parametrii electrici la date experimentale simulate, în timp ce modelul de învățare automată oferă transformarea inversă. Odată antrenat, modelul poate fi aplicat pentru a extrage parametrii materialelor din dispozitive reale.

Principalul avantaj al acestei abordări este că, odată antrenat, modelul de învățare automată poate extrage parametri materiali din date experimentale în câteva secunde, fără a fi necesar ca utilizatorul să fie un expert în simulări numerice. Cu toate acestea, succesul acestei metode depinde în mod crucial de generarea unui set mare de date de antrenament, de înaltă calitate. Procesul de creare a unor astfel de seturi de date folosind OghmaNano este descris în paginile următoare.Principalul avantaj al acestei abordări este că, odată antrenat, modelul de învățare automată poate extrage parametri materiali din date experimentale în câteva secunde, fără a fi necesar ca utilizatorul să fie un expert în simulări numerice. Cu toate acestea, succesul acestei metode depinde în mod crucial de generarea unui set mare de date de antrenament, de înaltă calitate. Procesul de creare a unor astfel de seturi de date folosind OghmaNano este descris în paginile următoare.

2. Deschideți exemplul.2. Deschideți exemplul.

Exemplul prezentat pe această pagină poate fi accesat prin intermediul butonului „Simulare nouă” din fereastra principală. Acest lucru deschide browserul „Simulare nouă”, așa cum se arată în ??.Exemplul prezentat pe această pagină poate fi accesat prin intermediul butonului „Simulare nouă” din fereastra principală. Acest lucru deschide browserul „Simulare nouă”, așa cum se arată în ??.

Din lista de categorii de simulare disponibile, faceți dublu clic pe „Învățare automată” pentru a afișa exemplele de învățare automată (??). Selectarea exemplului PM6:Y6 ML încarcă o simulare preconfigurată, corespunzătoare dispozitivului și fluxului de lucru discutate în acest capitol.Din lista de categorii de simulare disponibile, faceți dublu clic pe „Învățare automată” pentru a afișa exemplele de învățare automată (??). Selectarea exemplului PM6:Y6 ML încarcă o simulare preconfigurată, corespunzătoare dispozitivului și fluxului de lucru discutate în acest capitol.

Odată deschisă, simularea prezintă aceeași structură a dispozitivului și aceeași configurație a automatizării utilizate pe parcursul întregii secțiuni și poate fi folosită direct pentru a genera date de antrenament pentru învățarea automată, fără a fi necesară o configurare suplimentară.Odată deschisă, simularea prezintă aceeași structură a dispozitivului și aceeași configurație a automatizării utilizate pe parcursul întregii secțiuni și poate fi folosită direct pentru a genera date de antrenament pentru învățarea automată, fără a fi necesară o configurare suplimentară.

OghmaNano New simulation window showing available simulation categories, including the Machine learning category.
Noua fereastră de simulare afișează categoriile de simulare disponibile. Faceți dublu clic pe „Învățare automată” pentru a vizualiza exemplele de învățare automată.Noua fereastră de simulare afișează categoriile de simulare disponibile. Faceți dublu clic pe „Învățare automată” pentru a vizualiza exemplele de învățare automată.
Machine learning example list showing the PM6:Y6 ML example.
Lista cu exemple de învățare automată. Faceți dublu clic pe exemplul PM6:Y6 ML pentru a deschide simularea utilizată în acest capitol.Lista cu exemple de învățare automată. Faceți dublu clic pe exemplul PM6:Y6 ML pentru a deschide simularea utilizată în acest capitol.

3. Definirea simulărilor și a vectorilor de ieșire.3. Definirea simulărilor și a vectorilor de ieșire.

Odată ce simularea exemplificativă a fost deschisă, vi se va prezenta fereastra principală a simulării, așa cum este ilustrat în Figura ??. Această fereastră afișează structura complet configurată a dispozitivului, utilizată pe parcursul acestui capitol. În bara de instrumente „Automatizare”, este vizibilă o pictogramă pentru „Învățare automată”, reprezentată printr-un simbol circular albastru. Făcând clic pe această pictogramă, se deschide fereastra principală de control pentru învățarea automată, așa cum este ilustrat în Figura ??. Din această fereastră, se configurează și se execută generarea datelor de antrenament pentru învățarea automată.Odată ce simularea exemplificativă a fost deschisă, vi se va prezenta fereastra principală a simulării, așa cum este ilustrat în Figura ??. Această fereastră afișează structura complet configurată a dispozitivului, utilizată pe parcursul acestui capitol. În bara de instrumente „Automatizare”, este vizibilă o pictogramă pentru „Învățare automată”, reprezentată printr-un simbol circular albastru. Făcând clic pe această pictogramă, se deschide fereastra principală de control pentru învățarea automată, așa cum este ilustrat în Figura ??. Din această fereastră, se configurează și se execută generarea datelor de antrenament pentru învățarea automată.

OghmaNano main simulation window showing the Automation ribbon, with the Machine Learning icon highlighted.
Fereastra principală de simulare. Este vizibilă fila „Automatizare”, care conține pictograma „Învățare automată”.Fereastra principală de simulare. Este vizibilă fila „Automatizare”, care conține pictograma „Învățare automată”.
The OghmaNano machine learning window showing the list of simulations and light-intensity variants.
Fereastra principală pentru învățare automată.Fereastra principală pentru învățare automată.

Scopul principal al acestei ferestre este de a genera seturi mari de date pentru antrenarea algoritmilor de învățare automată. Setul de date generat în acest exemplu se numește „example”. Prima filă afișată este fila „Simulări”, care definește setul de simulări efectuate pentru fiecare dispozitiv virtual. În acest caz, se simulează o curbă JV întunecată și nouă curbe JV iluminate, cu intensități ale luminii cuprinse între 0,0001 și 1,0 „Suns”. Simulările individuale pot fi activate sau dezactivate folosind comutatorul „Activat”. Dacă se face clic pe butonul „Editare” din coloana „Patch” pentru intrarea \(light\_0.0001\), se deschide fereastra „Patch” prezentată în ??.Scopul principal al acestei ferestre este de a genera seturi mari de date pentru antrenarea algoritmilor de învățare automată. Setul de date generat în acest exemplu se numește „example”. Prima filă afișată este fila „Simulări”, care definește setul de simulări efectuate pentru fiecare dispozitiv virtual. În acest caz, se simulează o curbă JV întunecată și nouă curbe JV iluminate, cu intensități ale luminii cuprinse între 0,0001 și 1,0 „Suns”. Simulările individuale pot fi activate sau dezactivate folosind comutatorul „Activat”. Dacă se face clic pe butonul „Editare” din coloana „Patch” pentru intrarea \(light\_0.0001\), se deschide fereastra „Patch” prezentată în ??.

Scopul ferestrei „Patch” este de a modifica parametrii într-o simulare virtuală. În acest exemplu, sunt generate mai multe curbe JV în condiții diferite de iluminare, folosind aceeași structură de bază a dispozitivului. Pentru a realiza acest lucru, intensitatea luminii trebuie ajustată independent pentru fiecare simulare. Deschiderea ferestrei „Patch” pentru \(light\_0.0001\) arată că parametrul de simulare optic/lumină/Psun, care controlează intensitatea iluminării, este setat la \(0.0001\). Pentru simularea în condiții de întuneric, același parametru este setat la \(0.0\). În acest fel, pot fi simulate în mod consistent mai multe condiții experimentale, folosind o singură simulare de bază.Scopul ferestrei „Patch” este de a modifica parametrii într-o simulare virtuală. În acest exemplu, sunt generate mai multe curbe JV în condiții diferite de iluminare, folosind aceeași structură de bază a dispozitivului. Pentru a realiza acest lucru, intensitatea luminii trebuie ajustată independent pentru fiecare simulare. Deschiderea ferestrei „Patch” pentru \(light\_0.0001\) arată că parametrul de simulare optic/lumină/Psun, care controlează intensitatea iluminării, este setat la \(0.0001\). Pentru simularea în condiții de întuneric, același parametru este setat la \(0.0\). În acest fel, pot fi simulate în mod consistent mai multe condiții experimentale, folosind o singură simulare de bază.

The simulation patch window used to modify a parameter in a sub-simulation, here adjusting the light intensity.
Fereastra de corecție a simulării este utilizată pentru a modifica o valoare într-o sub-simulare. În acest exemplu, intensitatea luminii este modificată.Fereastra de corecție a simulării este utilizată pentru a modifica o valoare într-o sub-simulare. În acest exemplu, intensitatea luminii este modificată.
The vectors window defining which simulation outputs are extracted as machine-learning vectors.
Fereastra vectorilor. Aceasta definește ce date sunt extrase din simulare și sunt utilizate ca vector pentru învățarea automată.Fereastra vectorilor. Aceasta definește ce date sunt extrase din simulare și sunt utilizate ca vector pentru învățarea automată.

Fereastra „Vectors” definește ce date sunt extrase din simulările finalizate pentru a forma vectorii de intrare pentru învățarea automată. În acest exemplu, punctele de date cu valori cuprinse între -2,0 V și 1,4 V sunt extrase din fișierul \(jv.dat\), care conține caracteristicile simulate curent-tensiune. În cazul simulărilor în domeniul timpului, utilizatorul poate extrage date din fișiere precum \(time\_i.csv\) sau din orice alt fișier de ieșire adecvat. Numărul de puncte utilizate pentru a construi fiecare vector de intrare este ales de utilizator. Vectorii mai lungi cresc costul computațional al antrenamentului, dar pot captura caracteristici mai detaliate ale curbei JV.Fereastra „Vectors” definește ce date sunt extrase din simulările finalizate pentru a forma vectorii de intrare pentru învățarea automată. În acest exemplu, punctele de date cu valori cuprinse între -2,0 V și 1,4 V sunt extrase din fișierul \(jv.dat\), care conține caracteristicile simulate curent-tensiune. În cazul simulărilor în domeniul timpului, utilizatorul poate extrage date din fișiere precum \(time\_i.csv\) sau din orice alt fișier de ieșire adecvat. Numărul de puncte utilizate pentru a construi fiecare vector de intrare este ales de utilizator. Vectorii mai lungi cresc costul computațional al antrenamentului, dar pot captura caracteristici mai detaliate ale curbei JV.

4. Definirea variabilelor aleatoare.4. Definirea variabilelor aleatoare.

Random variables tab showing the list of simulation parameters selected for randomisation, including mobilities, trap densities, and resistances.
Fila „Variabile aleatoare”, care afișează parametrii selectați pentru randomizare.Fila „Variabile aleatoare”, care afișează parametrii selectați pentru randomizare.

Următorul pas este să se definească ce parametri ai modelului vor fi aleatorizați. Acest lucru se face folosind fila „Variabile aleatorii” din fereastra principală de învățare automată. Tabelul conține cinci coloane. Coloana „Activat” determină dacă un parametru este inclus în procesul de aleatorizare. Coloana „Variabilă” specifică ce parametru al simulării este modificat. Coloanele „Min” și „Max” definesc limitele inferioare și superioare ale intervalului de parametri, iar coloana „Funcție aleatorie” specifică dacă valorile sunt extrase dintr-o distribuție liniară sau logaritmică.Următorul pas este să se definească ce parametri ai modelului vor fi aleatorizați. Acest lucru se face folosind fila „Variabile aleatorii” din fereastra principală de învățare automată. Tabelul conține cinci coloane. Coloana „Activat” determină dacă un parametru este inclus în procesul de aleatorizare. Coloana „Variabilă” specifică ce parametru al simulării este modificat. Coloanele „Min” și „Max” definesc limitele inferioare și superioare ale intervalului de parametri, iar coloana „Funcție aleatorie” specifică dacă valorile sunt extrase dintr-o distribuție liniară sau logaritmică.

Se recomandă utilizarea distribuțiilor logaritmice pentru parametrii care acoperă mai multe ordine de mărime, în timp ce distribuțiile liniare sunt potrivite pentru parametrii care variază într-un interval relativ îngust. Utilizarea unei distribuții logaritmice asigură că valorile sunt eșantionate uniform atunci când sunt vizualizate pe o scară logaritmică, în loc să fie grupate spre capătul superior al intervalului. De exemplu, un parametru liniar adecvat ar fi energia Urbach, care, în general, variază între 30 și 150 meV. În schimb, densitățile de capcane sunt potrivite pentru eșantionarea logaritmică, deoarece pot varia de la \(1 \times 10^{15}\,\mathrm{m^{-3}}\) la \(1 \times 10^{25}\,\mathrm{m^{-3}}\).Se recomandă utilizarea distribuțiilor logaritmice pentru parametrii care acoperă mai multe ordine de mărime, în timp ce distribuțiile liniare sunt potrivite pentru parametrii care variază într-un interval relativ îngust. Utilizarea unei distribuții logaritmice asigură că valorile sunt eșantionate uniform atunci când sunt vizualizate pe o scară logaritmică, în loc să fie grupate spre capătul superior al intervalului. De exemplu, un parametru liniar adecvat ar fi energia Urbach, care, în general, variază între 30 și 150 meV. În schimb, densitățile de capcane sunt potrivite pentru eșantionarea logaritmică, deoarece pot varia de la \(1 \times 10^{15}\,\mathrm{m^{-3}}\) la \(1 \times 10^{25}\,\mathrm{m^{-3}}\).

5. Stabilirea numărului de simulări.5. Stabilirea numărului de simulări.

Configuration window for the machine-learning data generator showing archive count, simulations per archive, and output file settings.
Opțiuni de configurare pentru generatorul de date utilizat în învățarea automată.Opțiuni de configurare pentru generatorul de date utilizat în învățarea automată.

Odată ce simularea a fost configurată, următorul pas este să se determine câte dispozitive virtuale, cu parametri aleatorii, trebuie generate. Deschizând fereastra Setări (vezi 18.6), se poate controla acest aspect folosind doi parametri: Numărul de simulări per arhivă (\(N_{\mathrm{sim}}\)) și Numărul de arhive (\(N_{\mathrm{arc}}\)). Numărul total de dispozitive virtuale generate este indicat de \(N_{\mathrm{sim}} \times N_{\mathrm{arc}}\).Odată ce simularea a fost configurată, următorul pas este să se determine câte dispozitive virtuale, cu parametri aleatorii, trebuie generate. Deschizând fereastra Setări (vezi 18.6), se poate controla acest aspect folosind doi parametri: Numărul de simulări per arhivă (\(N_{\mathrm{sim}}\)) și Numărul de arhive (\(N_{\mathrm{arc}}\)). Numărul total de dispozitive virtuale generate este indicat de \(N_{\mathrm{sim}} \times N_{\mathrm{arc}}\).

Rezultatele simulărilor sunt salvate în fișiere ZIP, denumite arhive, fiecare arhivă conținând \(N_{\mathrm{sim}}\) dispozitive virtuale. În exemplul prezentat aici, sunt generate și stocate 100 de fișiere arhivă, fiecare conținând \(N_{\mathrm{sim}} \times N_{\mathrm{arc}} = 3000\) dispozitive virtuale. Este important de menționat că, în acest exemplu, fiecare dispozitiv virtual este compus dintr-o simulare JV în condiții de întuneric și nouă simulări JV în condiții de iluminare. Ca urmare, numărul total de fișiere de ieșire poate crește rapid.Rezultatele simulărilor sunt salvate în fișiere ZIP, denumite arhive, fiecare arhivă conținând \(N_{\mathrm{sim}}\) dispozitive virtuale. În exemplul prezentat aici, sunt generate și stocate 100 de fișiere arhivă, fiecare conținând \(N_{\mathrm{sim}} \times N_{\mathrm{arc}} = 3000\) dispozitive virtuale. Este important de menționat că, în acest exemplu, fiecare dispozitiv virtual este compus dintr-o simulare JV în condiții de întuneric și nouă simulări JV în condiții de iluminare. Ca urmare, numărul total de fișiere de ieșire poate crește rapid.

Pentru a gestiona acest lucru, generarea datelor se realizează în loturi. Un grup de \(N_{\mathrm{sim}}\) simulări este generat și executat de OghmaNano, apoi este salvat într-un singur arhivă, iar acest proces se repetă până când sunt generate \(N_{\mathrm{arc}}\) arhive. Această abordare limitează pierderea de date la arhiva care este generată în prezent, în cazul în care procesul este întrerupt, și simplifică, de asemenea, transferul de fișiere și îmbunătățește rezistența la corupere. Execuția simulărilor este paralelizată pe toate nucleele CPU disponibile, în timp ce crearea arhivei se realizează pe un singur nucleu.Pentru a gestiona acest lucru, generarea datelor se realizează în loturi. Un grup de \(N_{\mathrm{sim}}\) simulări este generat și executat de OghmaNano, apoi este salvat într-un singur arhivă, iar acest proces se repetă până când sunt generate \(N_{\mathrm{arc}}\) arhive. Această abordare limitează pierderea de date la arhiva care este generată în prezent, în cazul în care procesul este întrerupt, și simplifică, de asemenea, transferul de fișiere și îmbunătățește rezistența la corupere. Execuția simulărilor este paralelizată pe toate nucleele CPU disponibile, în timp ce crearea arhivei se realizează pe un singur nucleu.

6. Lansarea programului de generare a setului de date.6. Lansarea programului de generare a setului de date.

Odată ce configurarea este finalizată, apăsarea butonului „Rulează generatorul” în fereastra principală de învățare automată (18.2) inițiază procesul de generare a setului de date. Apoi, OghmaNano va începe să execute simulările definite pentru fiecare dispozitiv virtual. După finalizarea procesului, va apărea un director numit „example” în directorul de simulare, așa cum se arată în partea stângă a imaginii 18.8. În scopul acestui exemplu, s-a setat valoarea „Simulări per arhivă” la 10 și valoarea „Numărul de arhive” la 3, pentru a reduce timpul de execuție.Odată ce configurarea este finalizată, apăsarea butonului „Rulează generatorul” în fereastra principală de învățare automată (18.2) inițiază procesul de generare a setului de date. Apoi, OghmaNano va începe să execute simulările definite pentru fiecare dispozitiv virtual. După finalizarea procesului, va apărea un director numit „example” în directorul de simulare, așa cum se arată în partea stângă a imaginii 18.8. În scopul acestui exemplu, s-a setat valoarea „Simulări per arhivă” la 10 și valoarea „Numărul de arhive” la 3, pentru a reduce timpul de execuție.

Orice erori întâmpinate în timpul simulării sunt înregistrate în fișierul errors.dat. Deschiderea arhivei archive0.zip dezvăluie structura internă a unei arhive, care este prezentată în partea dreaptă a imaginii 18.8. Fiecare arhivă conține o colecție de directoare, fiecare corespunzând unui singur dispozitiv virtual.Orice erori întâmpinate în timpul simulării sunt înregistrate în fișierul errors.dat. Deschiderea arhivei archive0.zip dezvăluie structura internă a unei arhive, care este prezentată în partea dreaptă a imaginii 18.8. Fiecare arhivă conține o colecție de directoare, fiecare corespunzând unui singur dispozitiv virtual.

Aceste directoare sunt denumite folosind identificatori hexazecimali aleatorii, de 16 cifre. Fiecare director conține setul complet de simulări pentru un dispozitiv virtual; în acest exemplu, o simulare JV în condiții de întuneric și nouă simulări JV în condiții de iluminare. Conținutul unui astfel de director este prezentat în partea stângă a imaginii 18.10. Deschiderea unui director individual de simulare (18.10, în dreapta) dezvăluie o simulare OghmaNano completă, inclusiv fișierul sim.json și fișierul jv.dat, care conține caracteristicile curente-tensiune simulate. Pot fi prezente și date suplimentare, cum ar fi datele de ieșire optică și fișierele cache.Aceste directoare sunt denumite folosind identificatori hexazecimali aleatorii, de 16 cifre. Fiecare director conține setul complet de simulări pentru un dispozitiv virtual; în acest exemplu, o simulare JV în condiții de întuneric și nouă simulări JV în condiții de iluminare. Conținutul unui astfel de director este prezentat în partea stângă a imaginii 18.10. Deschiderea unui director individual de simulare (18.10, în dreapta) dezvăluie o simulare OghmaNano completă, inclusiv fișierul sim.json și fișierul jv.dat, care conține caracteristicile curente-tensiune simulate. Pot fi prezente și date suplimentare, cum ar fi datele de ieșire optică și fișierele cache.

Atunci când se generează seturi mari de date pentru învățare automată, se recomandă cu tărie minimizarea rezultatelor inutile, deoarece spațiul total de stocare poate crește rapid. Acest lucru poate fi realizat prin configurarea simulării astfel încât să producă doar datele de ieșire esențiale. Generarea seturilor de date se realizează în loturi, simulările fiind executate în paralel pe toate nucleele CPU disponibile, în timp ce crearea arhivei este gestionată pe un singur nucleu.Atunci când se generează seturi mari de date pentru învățare automată, se recomandă cu tărie minimizarea rezultatelor inutile, deoarece spațiul total de stocare poate crește rapid. Acest lucru poate fi realizat prin configurarea simulării astfel încât să producă doar datele de ieșire esențiale. Generarea seturilor de date se realizează în loturi, simulările fiind executate în paralel pe toate nucleele CPU disponibile, în timp ce crearea arhivei este gestionată pe un singur nucleu.

În acest exemplu ilustrativ, sunt generate doar trei arhive. Într-o producție obișnuită, însă, este frecvent să se genereze aproximativ 200 de arhive, fiecare conținând aproximativ 200 de dispozitive virtuale.În acest exemplu ilustrativ, sunt generate doar trei arhive. Într-o producție obișnuită, însă, este frecvent să se genereze aproximativ 200 de arhive, fiecare conținând aproximativ 200 de dispozitive virtuale.

The contents of the example directory showing generated ZIP archives, error logs, and vector files.
Conținutul directorului de exemplu după generarea setului de date pentru învățare automată.Conținutul directorului de exemplu după generarea setului de date pentru învățare automată.
The contents of a generated ZIP archive containing machine-learning data.
Arhiva ZIP generată conține setul de date utilizat pentru învățarea automată.Arhiva ZIP generată conține setul de date utilizat pentru învățarea automată.
The contents of a generated ZIP archive showing separate folders for each light-intensity simulation.
Conținutul principal al unui arhivă generată, cu un director pentru fiecare condiție de iluminare simulată.Conținutul principal al unui arhivă generată, cu un director pentru fiecare condiție de iluminare simulată.
The contents of a single simulation directory inside the archive, including output files and metadata.
Conținutul unui director individual de simulare din cadrul arhivei.Conținutul unui director individual de simulare din cadrul arhivei.

In the above example we only have three archives but in a normal simulation run one would have up to 200 archives each with 200 simulations in each.

7. Centralizarea rezultatelor într-un singur fișier.7. Centralizarea rezultatelor într-un singur fișier.

Excerpt from vectors.json showing randomly chosen parameters and extracted JV vectors for dark and illuminated conditions.
Un fragment din fișierul final cu vectori (vectors.json), în format JSON. Acest fișier reprezintă setul de date utilizat pentru antrenarea modelului de învățare automată.Un fragment din fișierul final cu vectori (vectors.json), în format JSON. Acest fișier reprezintă setul de date utilizat pentru antrenarea modelului de învățare automată.

După finalizarea simulărilor, rezultatele brute generate de OghmaNano trebuie convertite într-un singur fișier de vectori, potrivit pentru antrenarea unui model de învățare automată. Apăsând pe pictograma „Creare vectori” din fereastra principală de învățare automată (18.2), OghmaNano va deschide fiecare director al dispozitivului virtual, va extrage rezultatele solicitate și le va compila într-un singur fișier vectors.json. Un exemplu al acestui fișier este prezentat în 18.11.După finalizarea simulărilor, rezultatele brute generate de OghmaNano trebuie convertite într-un singur fișier de vectori, potrivit pentru antrenarea unui model de învățare automată. Apăsând pe pictograma „Creare vectori” din fereastra principală de învățare automată (18.2), OghmaNano va deschide fiecare director al dispozitivului virtual, va extrage rezultatele solicitate și le va compila într-un singur fișier vectors.json. Un exemplu al acestui fișier este prezentat în 18.11.

Fișierul cu vectori este un document JSON care conține toate informațiile necesare pentru învățarea supervizată. Fiecare dispozitiv virtual apare ca o intrare separată. De exemplu, intrarea etichetată 2cbd08c0fd7eb406 (linia 3) conține, în secțiunea „params”, parametrii electrici selectați aleatoriu pentru acel dispozitiv virtual. După aceasta urmează vectorii de intrare extrași, cum ar fi vectorul JV în condiții de întuneric (linia 19) și vectorul JV în condiții de iluminare la 0,0001 Suns (linia 22). Unitățile de măsură din fiecare vector sunt preluate direct din fișierul sursă de unde sunt extrase. În acest exemplu, vectorii sunt preluați din fișierul jv.dat, care stochează densitatea de curent în \(A\,m^{-2}\) ca funcție de tensiune, astfel încât valorile vectorilor sunt în \(A\,m^{-2}\). După vectorii de intrare, sunt stocate, pentru comoditate, ieșiri scalare suplimentare (de exemplu, PCE).Fișierul cu vectori este un document JSON care conține toate informațiile necesare pentru învățarea supervizată. Fiecare dispozitiv virtual apare ca o intrare separată. De exemplu, intrarea etichetată 2cbd08c0fd7eb406 (linia 3) conține, în secțiunea „params”, parametrii electrici selectați aleatoriu pentru acel dispozitiv virtual. După aceasta urmează vectorii de intrare extrași, cum ar fi vectorul JV în condiții de întuneric (linia 19) și vectorul JV în condiții de iluminare la 0,0001 Suns (linia 22). Unitățile de măsură din fiecare vector sunt preluate direct din fișierul sursă de unde sunt extrase. În acest exemplu, vectorii sunt preluați din fișierul jv.dat, care stochează densitatea de curent în \(A\,m^{-2}\) ca funcție de tensiune, astfel încât valorile vectorilor sunt în \(A\,m^{-2}\). După vectorii de intrare, sunt stocate, pentru comoditate, ieșiri scalare suplimentare (de exemplu, PCE).

În acest fișier va exista o înregistrare pentru fiecare dispozitiv virtual generat. După crearea fișierului vectors.json, acesta poate fi utilizat ca set de date pentru antrenamentul fluxului de lucru de învățare automată pe care îl alegeți. Unii utilizatori consideră că este mai ușor să importe datele în TensorFlow după ce le convertesc în format CSV; acest lucru poate fi realizat folosind biblioteci standard Python.În acest fișier va exista o înregistrare pentru fiecare dispozitiv virtual generat. După crearea fișierului vectors.json, acesta poate fi utilizat ca set de date pentru antrenamentul fluxului de lucru de învățare automată pe care îl alegeți. Unii utilizatori consideră că este mai ușor să importe datele în TensorFlow după ce le convertesc în format CSV; acest lucru poate fi realizat folosind biblioteci standard Python.

8. From data set to machine learning

Secțiunile anterioare descriu modul în care OghmaNano este utilizat pentru a genera un set complet de date pentru învățare automată, în format JSON. În acest moment, procesul de generare a datelor este finalizat: pentru fiecare dispozitiv virtual, fișierul conține parametrii modelului aleși aleatoriu, împreună cu rezultatele corespunzătoare ale simulării, codificate sub formă de vectori de intrare.Secțiunile anterioare descriu modul în care OghmaNano este utilizat pentru a genera un set complet de date pentru învățare automată, în format JSON. În acest moment, procesul de generare a datelor este finalizat: pentru fiecare dispozitiv virtual, fișierul conține parametrii modelului aleși aleatoriu, împreună cu rezultatele corespunzătoare ale simulării, codificate sub formă de vectori de intrare.

Următorul pas este să importați aceste date într-un cadru de învățare automată, pe care îl alegeți. În practică, acest lucru implică, de obicei, citirea fișierului vectors.json și convertirea acestuia într-un format tabelar, cum ar fi CSV, care poate fi apoi utilizat pentru antrenare, validare și testare. Această conversie poate fi realizată cu ușurință folosind instrumente standard de scripting (de exemplu, Python).Următorul pas este să importați aceste date într-un cadru de învățare automată, pe care îl alegeți. În practică, acest lucru implică, de obicei, citirea fișierului vectors.json și convertirea acestuia într-un format tabelar, cum ar fi CSV, care poate fi apoi utilizat pentru antrenare, validare și testare. Această conversie poate fi realizată cu ușurință folosind instrumente standard de scripting (de exemplu, Python).

Odată convertite, datele pot fi utilizate pentru a antrena o rețea neuronală sau un alt model de regresie, implementat folosind un cadru de învățare automată, cum ar fi TensorFlow, PyTorch sau o bibliotecă similară. De aici înainte, alegerea arhitecturii rețelei, a funcției de pierdere și a strategiei de antrenament este specifică aplicației și independentă de OghmaNano.Odată convertite, datele pot fi utilizate pentru a antrena o rețea neuronală sau un alt model de regresie, implementat folosind un cadru de învățare automată, cum ar fi TensorFlow, PyTorch sau o bibliotecă similară. De aici înainte, alegerea arhitecturii rețelei, a funcției de pierdere și a strategiei de antrenament este specifică aplicației și independentă de OghmaNano.

În acest mod, OghmaNano oferă un flux de lucru complet și automatizat pentru generarea de date de antrenament coerente din punct de vedere fizic, lăsând dezvoltarea și optimizarea ulterioară a modelului de învățare automată în întregime sub controlul utilizatorului.În acest mod, OghmaNano oferă un flux de lucru complet și automatizat pentru generarea de date de antrenament coerente din punct de vedere fizic, lăsând dezvoltarea și optimizarea ulterioară a modelului de învățare automată în întregime sub controlul utilizatorului.