Avaleht Näited Ekraanipildid Kasutusjuhend Bluesky logo YouTube ☰
OghmaNano Mitme füüsikalise valdkonna simulatsioonide platvorm optoelektrooniliste seadmete ja footoniliste süsteemide jaoks. LAADI ALLA Kiirjuhend

Masinõppe andmekogumite loomineMasinõppe andmekogumite loomine

Käesolev peatükk kirjeldab, kuidas OghmaNano abil masinõppe andmekogumeid luua. Tavaliselt eksporditakse need andmekogumid ja neid töödeldakse väliseid raamistikke kasutades, näiteks TensorFlow, et neid kasutada mudelite õpetamiseks, järelduste tegemiseks või ennustuste loomiseks.Käesolev peatükk kirjeldab, kuidas OghmaNano abil masinõppe andmekogumeid luua. Tavaliselt eksporditakse need andmekogumid ja neid töödeldakse väliseid raamistikke kasutades, näiteks TensorFlow, et neid kasutada mudelite õpetamiseks, järelduste tegemiseks või ennustuste loomiseks.

1. Sissejuhatus1. Sissejuhatus

Sageli on soovitatav saada füüsilised seadme parameetrid eksperimentaalsetest andmetest, kasutades selleks modelleerimist. Näiteks võib olla olemas hulk J-V kõveraid ja soovida määrata seadme laengukandjate liikuvus ja rekombinatsioonikiirus. Traditsiooniliselt saavutatakse see, sobitades andmetega füüsikalise mudeli, näiteks OghmaNano (nagu on kirjeldatud sobitusjuhendis). Selle lähenemisviisi puuduseks on see, et ühe andmestiku sobitamine võib olla aeganõudev ning keerukus suureneb märkimisväärselt, kui tuleb analüüsida mitut andmestikku. Sobitusprotsess on keeruline ja nõuab tavaliselt märkimisväärseid teadmisi numbrilises modelleerimises ning üsna palju käsitsi tööd. Seetõttu teostatakse üksikasjalikku seadme sobitust ainult suhteliselt väikese kogukonna poolt.Sageli on soovitatav saada füüsilised seadme parameetrid eksperimentaalsetest andmetest, kasutades selleks modelleerimist. Näiteks võib olla olemas hulk J-V kõveraid ja soovida määrata seadme laengukandjate liikuvus ja rekombinatsioonikiirus. Traditsiooniliselt saavutatakse see, sobitades andmetega füüsikalise mudeli, näiteks OghmaNano (nagu on kirjeldatud sobitusjuhendis). Selle lähenemisviisi puuduseks on see, et ühe andmestiku sobitamine võib olla aeganõudev ning keerukus suureneb märkimisväärselt, kui tuleb analüüsida mitut andmestikku. Sobitusprotsess on keeruline ja nõuab tavaliselt märkimisväärseid teadmisi numbrilises modelleerimises ning üsna palju käsitsi tööd. Seetõttu teostatakse üksikasjalikku seadme sobitust ainult suhteliselt väikese kogukonna poolt.

Kaasaegsem lähenemisviis on masinõppe kasutamine. Selle asemel, et otse sobitada üksainus J-V kõvera, luuakse kõigepealt simulatsioon, mis kujutab seadme struktuuri. Erinevalt üksikute elektriliste parameetrite optimeerimisest genereeritakse tuhandeid selle seadme koopiaid, kasutades juhuslikult valitud parameetriväärtusi. Iga sellist koopiat nimetatakse virtuaalseks seadmeks. Seejärel kasutatakse simulatsiooniprogrammi, näiteks OghmaNano, et genereerida iga virtuaalse seadme jaoks J-V kõverad, luues andmestiku, mis koosneb J-V kõveratest ja nendele vastavatest elektrilistest parameetritest. Neid andmeid saab kasutada masinõppe mudeli treenimiseks, et ennustada elektrilisi parameetreid otse J-V karakteristikute põhjal. Selles raamistikus toimib OghmaNano otse teisendusena, mis seostab elektrilised parameetrid simuleeritud eksperimentaalsete andmetega, samas kui masinõppe mudel pakub vastupidist teisendust. Pärast treenimist saab mudelit kasutada materjalide parameetrite väljavõtmiseks reaalselt seadmetest.Kaasaegsem lähenemisviis on masinõppe kasutamine. Selle asemel, et otse sobitada üksainus J-V kõvera, luuakse kõigepealt simulatsioon, mis kujutab seadme struktuuri. Erinevalt üksikute elektriliste parameetrite optimeerimisest genereeritakse tuhandeid selle seadme koopiaid, kasutades juhuslikult valitud parameetriväärtusi. Iga sellist koopiat nimetatakse virtuaalseks seadmeks. Seejärel kasutatakse simulatsiooniprogrammi, näiteks OghmaNano, et genereerida iga virtuaalse seadme jaoks J-V kõverad, luues andmestiku, mis koosneb J-V kõveratest ja nendele vastavatest elektrilistest parameetritest. Neid andmeid saab kasutada masinõppe mudeli treenimiseks, et ennustada elektrilisi parameetreid otse J-V karakteristikute põhjal. Selles raamistikus toimib OghmaNano otse teisendusena, mis seostab elektrilised parameetrid simuleeritud eksperimentaalsete andmetega, samas kui masinõppe mudel pakub vastupidist teisendust. Pärast treenimist saab mudelit kasutada materjalide parameetrite väljavõtmiseks reaalselt seadmetest.

Selle lähenemisviisi peamine eelis on see, et pärast õpetamist suudab masinõppe mudel mõne sekundi jooksul eraldada eksperimentaalsetest andmetest olulised parameetrid, ilma et kasutajal oleks vaja olla numbriliste simulatsioonide ekspert. Kuid selle meetodi edukus sõltub otseselt suure ja kvaliteetse õppeandmestiku loomisest. Selliste andmestikude koostamise protsessi, kasutades OghmaNano programmi, kirjeldatakse järgmistel lehekülgedel.Selle lähenemisviisi peamine eelis on see, et pärast õpetamist suudab masinõppe mudel mõne sekundi jooksul eraldada eksperimentaalsetest andmetest olulised parameetrid, ilma et kasutajal oleks vaja olla numbriliste simulatsioonide ekspert. Kuid selle meetodi edukus sõltub otseselt suure ja kvaliteetse õppeandmestiku loomisest. Selliste andmestikude koostamise protsessi, kasutades OghmaNano programmi, kirjeldatakse järgmistel lehekülgedel.

2. Näite avamine2. Näite avamine

Sellel lehel arutletud näidis on saadaval peamenüüs asuva nupu „Uus simulatsioon” kaudu. See avab uue simulatsiooni vaate, mis on näidatud pildil ??.Sellel lehel arutletud näidis on saadaval peamenüüs asuva nupu „Uus simulatsioon” kaudu. See avab uue simulatsiooni vaate, mis on näidatud pildil ??.

Loetletud simulatsioonikategooriate hulgast topeltklõpsake valikul „Machine learning”, et kuvada masinõppe näited (??). PM6:Y6 ML näite valimisel laaditakse eelkonfigureeritud simulatsioon, mis vastab selles peatükis käsitletud seadmele ja töövoole.Loetletud simulatsioonikategooriate hulgast topeltklõpsake valikul „Machine learning”, et kuvada masinõppe näited (??). PM6:Y6 ML näite valimisel laaditakse eelkonfigureeritud simulatsioon, mis vastab selles peatükis käsitletud seadmele ja töövoole.

Kui simulatsioon on avatud, kuvatakse sama seadme struktuur ja automatiseerimiskonfiguratsioon, mida kasutatakse kogu selles jaotises. Seda saab kasutada otse masinõppe andmete genereerimiseks, ilma et oleks vaja täiendavaid seadeid.Kui simulatsioon on avatud, kuvatakse sama seadme struktuur ja automatiseerimiskonfiguratsioon, mida kasutatakse kogu selles jaotises. Seda saab kasutada otse masinõppe andmete genereerimiseks, ilma et oleks vaja täiendavaid seadeid.

OghmaNano New simulation window showing available simulation categories, including the Machine learning category.
Uues simulatsioonimenüüs on loetletud saadaolevad simulatsioonikategooriad. Masinõppe näidete vaatamiseks topeltklõpsake valikul „Masinõpe”.Uues simulatsioonimenüüs on loetletud saadaolevad simulatsioonikategooriad. Masinõppe näidete vaatamiseks topeltklõpsake valikul „Masinõpe”.
Machine learning example list showing the PM6:Y6 ML example.
Masinõppe näidete loend. Topeltklõpsake PM6:Y6 masinõppe näitel, et avada selles peatükis kasutatud simulatsioon.Masinõppe näidete loend. Topeltklõpsake PM6:Y6 masinõppe näitel, et avada selles peatükis kasutatud simulatsioon.

3. Simulatsioonide ja väljundvektorite määratlemine3. Simulatsioonide ja väljundvektorite määratlemine

Kui näidisimulatsioon on avatud, kuvatakse peamine simulatsioonikna, nagu on näidatud joonisel ??. See aken näitab täielikult konfigureeritud seadme struktuuri, mida kasutatakse kogu selle peatüki jooksul. Jaotises „Automaatika” on näha masinõppe ikoon, mis on kujutatud sinise ringikujulise sümboliga. Selle ikooni klõpsamine avab peamise masinõppe juhtimiskna, nagu on näidatud joonisel ??. Sellest aknast konfigureeritakse ja käivitatakse masinõppe koolitusandmete loomine.Kui näidisimulatsioon on avatud, kuvatakse peamine simulatsioonikna, nagu on näidatud joonisel ??. See aken näitab täielikult konfigureeritud seadme struktuuri, mida kasutatakse kogu selle peatüki jooksul. Jaotises „Automaatika” on näha masinõppe ikoon, mis on kujutatud sinise ringikujulise sümboliga. Selle ikooni klõpsamine avab peamise masinõppe juhtimiskna, nagu on näidatud joonisel ??. Sellest aknast konfigureeritakse ja käivitatakse masinõppe koolitusandmete loomine.

OghmaNano main simulation window showing the Automation ribbon, with the Machine Learning icon highlighted.
Peamine simulatsioonikna. Nähtav on automaatika menüüriba, mis sisaldab masinõppe ikooni.Peamine simulatsioonikna. Nähtav on automaatika menüüriba, mis sisaldab masinõppe ikooni.
The OghmaNano machine learning window showing the list of simulations and light-intensity variants.
Peamine masinõppe aken.Peamine masinõppe aken.

Selle aknaga peamine eesmärk on luua suuri andmekogumeid, mida kasutatakse masinõppealgoritmide treenimiseks. Käesolevas näites loodud andmekogumit nimetatakse „example”. Esimene kuvatav vaheleht on „Simulations” (Simulatsioonid), mis määratleb iga virtuaalse seadme jaoks läbi viidavate simulatsioonide hulka. Antud juhul simuleeritakse tumedat JV-graafikut ja üheksa valgustatud JV-graafikut, kus valgustustihedus on vahemikus 0,0001 kuni 1,0 „päikest”. Üksikuid simulatsioone saab aktiveerida või deaktiveerida lüliti „Enabled” abil. Kui veerus „Patch” klõpsatakse kirje \(light\_0.0001\) juures nuppu „Edit”, avatakse aken „Patch”, mis on näidatud pildil ??.Selle aknaga peamine eesmärk on luua suuri andmekogumeid, mida kasutatakse masinõppealgoritmide treenimiseks. Käesolevas näites loodud andmekogumit nimetatakse „example”. Esimene kuvatav vaheleht on „Simulations” (Simulatsioonid), mis määratleb iga virtuaalse seadme jaoks läbi viidavate simulatsioonide hulka. Antud juhul simuleeritakse tumedat JV-graafikut ja üheksa valgustatud JV-graafikut, kus valgustustihedus on vahemikus 0,0001 kuni 1,0 „päikest”. Üksikuid simulatsioone saab aktiveerida või deaktiveerida lüliti „Enabled” abil. Kui veerus „Patch” klõpsatakse kirje \(light\_0.0001\) juures nuppu „Edit”, avatakse aken „Patch”, mis on näidatud pildil ??.

„Patch“-akna eesmärk on muuta virtuaalses simulatsioonis kasutatavaid parameetreid. Selles näites genereeritakse erinevate valgustustingimuste korral mitu JV-graafikut, kasutades sama põhiseadme struktuuri. Selle saavutamiseks tuleb valgustugevus reguleerida iga simulatsiooni jaoks eraldi. Kui avada „patch“-aken simulatsiooni \(light\_0.0001\) jaoks, on näha, et simulatsiooni parameeter „optical/light/Psun“, mis reguleerib valgustugevust, on seatud väärtusele \(0.0001\). Pimeda simulatsiooni jaoks on sama parameeter seatud väärtusele \(0.0\). Nii saab ühte põhsimulatsiooni kasutades ühtlaselt simuleerida mitmeid erinevaid eksperimentaaltingimusi.„Patch“-akna eesmärk on muuta virtuaalses simulatsioonis kasutatavaid parameetreid. Selles näites genereeritakse erinevate valgustustingimuste korral mitu JV-graafikut, kasutades sama põhiseadme struktuuri. Selle saavutamiseks tuleb valgustugevus reguleerida iga simulatsiooni jaoks eraldi. Kui avada „patch“-aken simulatsiooni \(light\_0.0001\) jaoks, on näha, et simulatsiooni parameeter „optical/light/Psun“, mis reguleerib valgustugevust, on seatud väärtusele \(0.0001\). Pimeda simulatsiooni jaoks on sama parameeter seatud väärtusele \(0.0\). Nii saab ühte põhsimulatsiooni kasutades ühtlaselt simuleerida mitmeid erinevaid eksperimentaaltingimusi.

The simulation patch window used to modify a parameter in a sub-simulation, here adjusting the light intensity.
Simulatsiooniparandusakent kasutatakse väärtuse muutmiseks mõnes alam-simulatsioonis. Selles näites muudetakse valgustugevust.Simulatsiooniparandusakent kasutatakse väärtuse muutmiseks mõnes alam-simulatsioonis. Selles näites muudetakse valgustugevust.
The vectors window defining which simulation outputs are extracted as machine-learning vectors.
Vektorite akna. See määrab, millised andmed võetakse simulatsioonist välja masinõppevektorina.Vektorite akna. See määrab, millised andmed võetakse simulatsioonist välja masinõppevektorina.

The Vektorid akna määrab, millised andmed võetakse välja lõpetatud simulatsioonidest, et moodustada masinõppe sisendvektorid. Selles näites võetakse failist välja andmepunktid vahemikus –2,0 V kuni 1,4 V. \(jv.dat\)mis sisaldab simuleeritud voolu-pinge karakteristikuid. Aja domeeni simulatsioonide puhul võib kasutaja andmed hankida näiteks järgmistest failidest: \(time\_i.csv\) või mõni muu sobiv väljundfail. Iga sisendvektori loomiseks kasutatavate punktide arvu määrab kasutaja. Pikemad vektorid suurendavad õppeprotsessi arvutuslikku koormust, kuid võivad võimaldada täpsemate omaduste määratlemise. The Vektorid akna määrab, millised andmed võetakse välja lõpetatud simulatsioonidest, et moodustada masinõppe sisendvektorid. Selles näites võetakse failist välja andmepunktid vahemikus –2,0 V kuni 1,4 V. \(jv.dat\)mis sisaldab simuleeritud voolu-pinge karakteristikuid. Aja domeeni simulatsioonide puhul võib kasutaja andmed hankida näiteks järgmistest failidest: \(time\_i.csv\) või mõni muu sobiv väljundfail. Iga sisendvektori loomiseks kasutatavate punktide arvu valib kasutaja. Pikemad vektorid suurendavad õppeprotsessi arvutuslikku koormust, kuid võivad võimaldada täpsemate omaduste määratlemise.

4. Juhuslike muutujate määratlemine4. Juhuslike muutujate määratlemine

Random variables tab showing the list of simulation parameters selected for randomisation, including mobilities, trap densities, and resistances.
„Juhuslikud muutujad” vahekaart, kus on näha juhusliku valiku jaoks valitud parameetrid.„Juhuslikud muutujad” vahekaart, kus on näha juhusliku valiku jaoks valitud parameetrid.

Järgmine samm on määrata, milliseid mudeli parameetreid tuleb randomiseerida. Seda tehakse peamises masinõppeaknas oleva jaotise „Juhuslikud muutujad” abil. Tabelis on viis veergu. Veerg „Aktiveeritud” määrab, kas parameeter on kaasatud randomiseerimisprotsessi. Veerg „Muutuja” määrab, millist simulatsiooniparameetrit muudetakse. Veergudes „Min” ja „Max” on määratud parameetri väärtuste alumine ja ülemine piir ning veerg „Juhuslik funktsioon” määrab, kas väärtused võetakse linearsest või logaritmilisest jaotusest.Järgmine samm on määrata, milliseid mudeli parameetreid tuleb randomiseerida. Seda tehakse peamises masinõppeaknas oleva jaotise „Juhuslikud muutujad” abil. Tabelis on viis veergu. Veerg „Aktiveeritud” määrab, kas parameeter on kaasatud randomiseerimisprotsessi. Veerg „Muutuja” määrab, millist simulatsiooniparameetrit muudetakse. Veergudes „Min” ja „Max” on määratud parameetri väärtuste alumine ja ülemine piir ning veerg „Juhuslik funktsioon” määrab, kas väärtused võetakse linearsest või logaritmilisest jaotusest.

Logaritmilisi jaotusi soovitatakse kasutada parameetrite puhul, mis hõlmavad mitut suurusjärku, samas kui lineaarne jaotus sobib parameetrite jaoks, mis varieeruvad suhteliselt kitsas vahemikus. Logaritmilise jaotuse kasutamine tagab, et väärtused on logaritmilisel skaalal ühtlaselt jaotatud, mitte koondunud vahemiku ülemisse otsa. Näiteks sobiv lineaarne parameeter oleks Urbachi energia, mis tavaliselt varieerub vahemikus 30 kuni 150 meV. Seevastu on lõksude tihedused hästi sobivad logaritmiliseks proovivõtuks, kuna need võivad varieeruda vahemikus \(1 \times 10^{15}\,\mathrm{m^{-3}}\) kuni \(1 \times 10^{25}\,\mathrm{m^{-3}}\).Logaritmilisi jaotusi soovitatakse kasutada parameetrite puhul, mis hõlmavad mitut suurusjärku, samas kui lineaarne jaotus sobib parameetrite jaoks, mis varieeruvad suhteliselt kitsas vahemikus. Logaritmilise jaotuse kasutamine tagab, et väärtused on logaritmilisel skaalal ühtlaselt jaotatud, mitte koondunud vahemiku ülemisse otsa. Näiteks sobiv lineaarne parameeter oleks Urbachi energia, mis tavaliselt varieerub vahemikus 30 kuni 150 meV. Seevastu on lõksude tihedused hästi sobivad logaritmiliseks proovivõtuks, kuna need võivad varieeruda vahemikus \(1 \times 10^{15}\,\mathrm{m^{-3}}\) kuni \(1 \times 10^{25}\,\mathrm{m^{-3}}\).

5. Simulatsioonide arvu määramine5. Simulatsioonide arvu määramine

Configuration window for the machine-learning data generator showing archive count, simulations per archive, and output file settings.
Masinõppe andmete genereerija konfiguratsioonivalikud.Masinõppe andmete genereerija konfiguratsioonivalikud.

Kui simulatsiooni on juba konfigureeritud, on järgmine samm määrata, kui palju virtuaalseid seadmeid genereeritakse, kusjuures neil on juhuslikud parameetrid. Sätete akna avamine (vt 18.6) võimaldab seda kontrollida kahe parameetri abil: simulatsioonide arv arhiivi kohta (\(N_{\mathrm{sim}}\)) ja arhiivide arv (\(N_{\mathrm{arc}}\)). Genereritud virtuaalsete seadmete koguarvu näitab \(N_{\mathrm{sim}} \times N_{\mathrm{arc}}\).Kui simulatsiooni on juba konfigureeritud, on järgmine samm määrata, kui palju virtuaalseid seadmeid genereeritakse, kusjuures neil on juhuslikud parameetrid. Sätete akna avamine (vt 18.6) võimaldab seda kontrollida kahe parameetri abil: simulatsioonide arv arhiivi kohta (\(N_{\mathrm{sim}}\)) ja arhiivide arv (\(N_{\mathrm{arc}}\)). Genereritud virtuaalsete seadmete koguarvu näitab \(N_{\mathrm{sim}} \times N_{\mathrm{arc}}\).

Simulatsiooni tulemused salvestatakse ZIP-failidesse, mida nimetatakse arhiivideks, ning igas arhiivis on \(N_{\mathrm{sim}}\) virtuaalset seadet. Käesoleval näitel on loodud \(N_{\mathrm{sim}} \times N_{\mathrm{arc}} = 3000\) virtuaalset seadet ja need on salvestatud 100 arhiivifaili. On oluline märkida, et selles näites koosneb iga virtuaalne seade ühest tumedast JV-simulatsioonist ja üheksast valgustatud JV-simulatsioonist. Seetõttu võib väljundfailide koguarv kiiresti kasvada.Simulatsiooni tulemused salvestatakse ZIP-failidesse, mida nimetatakse arhiivideks, ning igas arhiivis on \(N_{\mathrm{sim}}\) virtuaalset seadet. Käesoleval näitel on loodud \(N_{\mathrm{sim}} \times N_{\mathrm{arc}} = 3000\) virtuaalset seadet ja need on salvestatud 100 arhiivifaili. On oluline märkida, et selles näites koosneb iga virtuaalne seade ühest tumedast JV-simulatsioonist ja üheksast valgustatud JV-simulatsioonist. Seetõttu võib väljundfailide koguarv kiiresti kasvada.

Selle tagamiseks genereeritakse andmed partiidena. OghmaNano genereerib ja käivitab \(N_{\mathrm{sim}}\) simulatsiooni, seejärel salvestatakse need ühte arhiivi ja seda protsessi korratakse, kuni on loodud \(N_{\mathrm{arc}}\) arhiivi. See lähenemisviis piirab andmete kaotust, kui protsess katkestatakse, ning lihtsustab failide edastamist ja suurendab vastupanuvõimet andmete korrumpeerumisele. Simulatsioonide käivitamine toimub paralleelselt kõigi saadaolevate protsessori südamike abil, samas kui arhiivide loomine toimub ühel südamikul.Selle tagamiseks genereeritakse andmed partiidena. OghmaNano genereerib ja käivitab \(N_{\mathrm{sim}}\) simulatsiooni, seejärel salvestatakse need ühte arhiivi ja seda protsessi korratakse, kuni on loodud \(N_{\mathrm{arc}}\) arhiivi. See lähenemisviis piirab andmete kaotust, kui protsess katkestatakse, ning lihtsustab failide edastamist ja suurendab vastupanuvõimet andmete korrumpeerumisele. Simulatsioonide käivitamine toimub paralleelselt kõigi saadaolevate protsessori südamike abil, samas kui arhiivide loomine toimub ühel südamikul.

6. Andmestiku genereerimise käivitamine6. Andmestiku genereerimise käivitamine

Kui konfiguratsioon on lõpetatud, käivitab peamises masinõppeaknas nupu „Käivita generaator” vajutamine andmestiku loomise protsessi (18.2). Seejärel alustab OghmaNano iga virtuaalse seadme jaoks määratud simulatsioonide käivitamist. Kui protsess on lõppenud, ilmub simulatsioonikaustas kaust nimega „example”, nagu on näidatud pildil 18.8. Selles näites on simulatsioonide arv arhiivi kohta seatud väärtusele 10 ja arhiivide arv väärtusele 3, et vähendada töötamise aega.Kui konfiguratsioon on lõpetatud, käivitab peamises masinõppeaknas nupu „Käivita generaator” vajutamine andmestiku loomise protsessi (18.2). Seejärel alustab OghmaNano iga virtuaalse seadme jaoks määratud simulatsioonide käivitamist. Kui protsess on lõppenud, ilmub simulatsioonikaustas kaust nimega „example”, nagu on näidatud pildil 18.8. Selles näites on simulatsioonide arv arhiivi kohta seatud väärtusele 10 ja arhiivide arv väärtusele 3, et vähendada töötamise aega.

Simulatsiooni käigus esinevad vead salvestatakse faili errors.dat. Arhiivi archive0.zip avamine näitab arhiivi sisemist struktuuri, mis on kujutatud pildil 18.8 paremal pool. Iga arhiiv sisaldab kataloogide kogumit, millest igaüks vastab ühele virtuaalsele seadmele.Simulatsiooni käigus esinevad vead salvestatakse faili errors.dat. Arhiivi archive0.zip avamine näitab arhiivi sisemist struktuuri, mis on kujutatud pildil 18.8 paremal pool. Iga arhiiv sisaldab kataloogide kogumit, millest igaüks vastab ühele virtuaalsele seadmele.

Neid kaustu nimetatakse, kasutades juhuslikke 16-kohalisi kuueteelistest numbritest koosnevaid identifikaatoreid. Igas kaustas on ühe virtuaalse seadme jaoks kõikide simulatsioonide komplekt; selles näites on see üks tume JV-simulatsioon ja üheksa valgustatud JV-simulatsiooni. Ühe sellise kausta sisu on näidatud pildil 18.10 vasakul küljel. Individuaalse simulatsioonikausta (18.10, paremal) avamine näitab täielikku OghmaNano simulatsiooni, sealhulgas faili sim.json ja faili jv.dat, mis sisaldavad simuleeritud voolu-pinge karakteristikuid. Lisaks võivad olla olemas ka muud andmed, näiteks optilised väljundid ja vahemälu failid.Neid kaustu nimetatakse, kasutades juhuslikke 16-kohalisi kuueteelistest numbritest koosnevaid identifikaatoreid. Igas kaustas on ühe virtuaalse seadme jaoks kõikide simulatsioonide komplekt; selles näites on see üks tume JV-simulatsioon ja üheksa valgustatud JV-simulatsiooni. Ühe sellise kausta sisu on näidatud pildil 18.10 vasakul küljel. Individuaalse simulatsioonikausta (18.10, paremal) avamine näitab täielikku OghmaNano simulatsiooni, sealhulgas faili sim.json ja faili jv.dat, mis sisaldavad simuleeritud voolu-pinge karakteristikuid. Lisaks võivad olla olemas ka muud andmed, näiteks optilised väljundid ja vahemälu failid.

Suurte masinõppe andmekogumite loomisel on tungavalt soovitatav minimeerida tarbetut väljundit, kuna kogu andmete salvestamiseks vajalik kettaruumi hulk võib kiiresti kasvada. Selle saavutamiseks saab simulatsiooni seadistada nii, et see genereeriks ainult olulist väljundandmestikku. Andmekogumite loomine toimub partiidena, simulatsioonid käivituvad paralleelselt kõigis saadaolevates protsessori südamikes, samas kui arhiivi loomine toimub ühes südamikus.Suurte masinõppe andmekogumite loomisel on tungavalt soovitatav minimeerida tarbetut väljundit, kuna kogu andmete salvestamiseks vajalik kettaruumi hulk võib kiiresti kasvada. Selle saavutamiseks saab simulatsiooni seadistada nii, et see genereeriks ainult olulist väljundandmestikku. Andmekogumite loomine toimub partiidena, simulatsioonid käivituvad paralleelselt kõigis saadaolevates protsessori südamikes, samas kui arhiivi loomine toimub ühes südamikus.

Selles näidisjuhtumis luuakse ainult kolm arhiivi. Tavapärase tootmisprotsessi käigus luuakse aga tavaliselt umbes 200 arhiivi, millest igaüks sisaldab ligikaudu 200 virtuaalset seadet.Selles näidisjuhtumis luuakse ainult kolm arhiivi. Tavapärase tootmisprotsessi käigus luuakse aga tavaliselt umbes 200 arhiivi, millest igaüks sisaldab ligikaudu 200 virtuaalset seadet.

The contents of the example directory showing generated ZIP archives, error logs, and vector files.
Näidiskausta sisu pärast masinõppe andmestiku loomist.Näidiskausta sisu pärast masinõppe andmestiku loomist.
The contents of a generated ZIP archive containing machine-learning data.
Loodud ZIP-arhiiv, mis sisaldab masinõppe andmekogumit.Loodud ZIP-arhiiv, mis sisaldab masinõppe andmekogumit.
The contents of a generated ZIP archive showing separate folders for each light-intensity simulation.
Loodud arhiivi peamised sisukomponendid, kus iga simuleeritud valgustustingimuse jaoks on eraldi kaust.Loodud arhiivi peamised sisukomponendid, kus iga simuleeritud valgustustingimuse jaoks on eraldi kaust.
The contents of a single simulation directory inside the archive, including output files and metadata.
Arhiivis oleva konkreetse simulatsioonikausta sisu.Arhiivis oleva konkreetse simulatsioonikausta sisu.

In the above example we only have three archives but in a normal simulation run one would have up to 200 archives each with 200 simulations in each.

7. Tulemuste koondamine ühte faili.7. Tulemuste koondamine ühte faili.

Excerpt from vectors.json showing randomly chosen parameters and extracted JV vectors for dark and illuminated conditions.
JSON-vormingus olev väljavõte lõplikust vektorifailist (vectors.json). See fail moodustab masinõppe mudeli jaoks mõeldud treeningandmestiku.JSON-vormingus olev väljavõte lõplikust vektorifailist (vectors.json). See fail moodustab masinõppe mudeli jaoks mõeldud treeningandmestiku.

Kui simulatsioonid on lõpetatud, tuleb töötlemata OghmaNano väljund teisendada ühtseks vektorifailiks, mis sobib masinõppe mudeli treenimiseks. Peamises masinõppe aknas oleva ikooni „Loo vektorid” klõpsamine (18.2) käivitab OghmaNano, mis avab iga virtuaalse seadme kataloogi, ekstraheerib vajalikud väljundid ja koondab need ühte vektorifaili (vectors.json). Selle faili näidis on näidatud 18.11.Kui simulatsioonid on lõpetatud, tuleb töötlemata OghmaNano väljund teisendada ühtseks vektorifailiks, mis sobib masinõppe mudeli treenimiseks. Peamises masinõppe aknas oleva ikooni „Loo vektorid” klõpsamine (18.2) käivitab OghmaNano, mis avab iga virtuaalse seadme kataloogi, ekstraheerib vajalikud väljundid ja koondab need ühte vektorifaili (vectors.json). Selle faili näidis on näidatud 18.11.

Vektorite fail on JSON-dokument, mis sisaldab kogu teavet, mis on vajalik juhendatud õppe jaoks. Iga virtuaalne seade on esitatud eraldi kirjena. Näiteks sisaldab kirje, millele on lisatud märgistus 2cbd08c0fd7eb406 (rea 3), jaotises „params” selle virtuaalse seadme jaoks juhuslikult valitud elektrilised parameetrid. Seejärel on toodud ekstraheeritud sisendvektorid, näiteks tumeda valgusvoo vektor (rea 19) ja valgustatud valgusvoo vektor 0,0001 päikeseyksiku juures (rea 22). Iga vektori numbrilised ühikud võetakse otse üle failist, kust need on ekstraheeritud. Selles näites võetakse vektorid failist jv.dat, mis salvestab voolutiheduse \(A\,m^{-2}\) ühikutes pinge funktsioonina, seega on vektori väärtused \(A\,m^{-2}\) ühikutes. Pärast sisendvektoreid salvestatakse mugavuse huvides täiendavad skalaarsed väljundid (näiteks PCE).Vektorite fail on JSON-dokument, mis sisaldab kogu teavet, mis on vajalik juhendatud õppe jaoks. Iga virtuaalne seade on esitatud eraldi kirjena. Näiteks sisaldab kirje, millele on lisatud märgistus 2cbd08c0fd7eb406 (rea 3), jaotises „params” selle virtuaalse seadme jaoks juhuslikult valitud elektrilised parameetrid. Seejärel on toodud ekstraheeritud sisendvektorid, näiteks tumeda valgusvoo vektor (rea 19) ja valgustatud valgusvoo vektor 0,0001 päikeseyksiku juures (rea 22). Iga vektori numbrilised ühikud võetakse otse üle failist, kust need on ekstraheeritud. Selles näites võetakse vektorid failist jv.dat, mis salvestab voolutiheduse \(A\,m^{-2}\) ühikutes pinge funktsioonina, seega on vektori väärtused \(A\,m^{-2}\) ühikutes. Pärast sisendvektoreid salvestatakse mugavuse huvides täiendavad skalaarsed väljundid (näiteks PCE).

Selles failis on iga loodud virtuaalse seadme jaoks üks kirje. Kui fail vectors.json on loodud, saab seda kasutada masinõppe protsessi jaoks vajaliku andmestikuna. Mõned kasutajad leiavad, et on lihtsam importida andmed TensorFlow-i pärast nende teisendamist CSV-vormingusse; seda saab teha standardsete Pythoni teekide abil.Selles failis on iga loodud virtuaalse seadme jaoks üks kirje. Kui fail vectors.json on loodud, saab seda kasutada masinõppe protsessi jaoks vajaliku andmestikuna. Mõned kasutajad leiavad, et on lihtsam importida andmed TensorFlow-i pärast nende teisendamist CSV-vormingusse; seda saab teha standardsete Pythoni teekide abil.

8. From data set to machine learning

Eelnevad jaotised kirjeldavad, kuidas OghmaNano abil luuakse terviklik masinõppe andmestik JSON-vormingus. Selles etapis on andmete loomise protsess lõppenud: iga virtuaalse seadme jaoks sisaldab fail juhuslikult valitud mudeli parameetreid koos vastavate simulatsiooni tulemustega, mis on kodeeritud sisendvektoritena.Eelnevad jaotised kirjeldavad, kuidas OghmaNano abil luuakse terviklik masinõppe andmestik JSON-vormingus. Selles etapis on andmete loomise protsess lõppenud: iga virtuaalse seadme jaoks sisaldab fail juhuslikult valitud mudeli parameetreid koos vastavate simulatsiooni tulemustega, mis on kodeeritud sisendvektoritena.

Järgmine samm on impordida need andmed valitud masinõppe raamistikku. Praktikas tähendab see tavaliselt vectors.json faili lugemist ja selle teisendamist tabelvormingusse, näiteks CSV-vormingusse, mida saab seejärel kasutada mudeli õpetamiseks, valideerimiseks ja testimiseks. Seda teisendust saab hõlpsalt teha standardsete skriptimiskehendite abil (näiteks Python).Järgmine samm on impordida need andmed valitud masinõppe raamistikku. Praktikas tähendab see tavaliselt vectors.json faili lugemist ja selle teisendamist tabelvormingusse, näiteks CSV-vormingusse, mida saab seejärel kasutada mudeli õpetamiseks, valideerimiseks ja testimiseks. Seda teisendust saab hõlpsalt teha standardsete skriptimiskehendite abil (näiteks Python).

Pärast teisendamist saab andmeid kasutada närvivõrgu või muu regressioonimudeli õpetamiseks, mis on implementeeritud masinõppe raamistiku abil, näiteks TensorFlow, PyTorch või mõne muu sarnase teekiga. Alates sellest hetkest sõltub võrgustruktuuri, kaotuse funktsiooni ja õppimisstrateegia valik konkreetsest rakendusest ning see ei ole seotud OghmaNano-ga.Pärast teisendamist saab andmeid kasutada närvivõrgu või muu regressioonimudeli õpetamiseks, mis on implementeeritud masinõppe raamistiku abil, näiteks TensorFlow, PyTorch või mõne muu sarnase teekiga. Alates sellest hetkest sõltub võrgustruktuuri, kaotuse funktsiooni ja õppimisstrateegia valik konkreetsest rakendusest ning see ei ole seotud OghmaNano-ga.

Sellisel viisil pakub OghmaNano terviklikku ja automatiseeritud lahendust füüsikaliselt korrektselt ühtse treeningandmestiku loomiseks, jättes järgneva masinõppe mudeli väljatöötamise ja optimeerimise täielikult kasutaja kontrolli alla.Sellisel viisil pakub OghmaNano terviklikku ja automatiseeritud lahendust füüsikaliselt korrektselt ühtse treeningandmestiku loomiseks, jättes järgneva masinõppe mudeli väljatöötamise ja optimeerimise täielikult kasutaja kontrolli alla.