Oleme varem õppinud objektide tuvastamist, mis võimaldab meil leida objekte pildil, ennustades nende piiravaid kaste. Kuid mõnede ülesannete puhul ei vaja me ainult piiravaid kaste, vaid ka täpsemat objektide lokaliseerimist. Seda ülesannet nimetatakse segmenteerimiseks.
Segmenteerimist võib vaadelda kui pikslite klassifikatsiooni, kus iga piksli kohta pildil peame ennustama selle klassi (taust on üks klassidest). Segmenteerimise peamised algoritmid on järgmised:
- Semantiline segmenteerimine määrab ainult piksli klassi ega erista sama klassi erinevaid objekte.
- Instance segmenteerimine jagab klassid erinevateks eksemplarideks.
Instance segmenteerimise puhul on need lambad erinevad objektid, kuid semantilise segmenteerimise puhul esindavad kõik lambad ühte klassi.
Segmenteerimiseks on erinevaid närvivõrkude arhitektuure, kuid neil kõigil on sama struktuur. Mingis mõttes on see sarnane autoenkooderiga, millest varem õppisite, kuid originaalpildi dekonstruerimise asemel on meie eesmärk dekonstruerida mask. Seega on segmenteerimisvõrgul järgmised osad:
- Kodeerija ekstraheerib sisendpildist omadused.
- Dekodeerija teisendab need omadused maskipildiks, millel on sama suurus ja kanalite arv, mis vastab klasside arvule.
Eriti tuleks mainida segmenteerimisel kasutatavat kaotusfunktsiooni. Klassikaliste autoenkooderite kasutamisel peame mõõtma kahe pildi sarnasust ja selleks võime kasutada keskmist ruutviga (MSE). Segmenteerimisel esindab sihtmaski pildi iga piksel klassi numbrit (ühekuumkoodiga kolmandas dimensioonis), seega peame kasutama klassifikatsioonile spetsiifilisi kaotusfunktsioone - ristentroopia kaotus, keskmistatuna kõigi pikslite üle. Kui mask on binaarne, kasutatakse binaarset ristentroopia kaotust (BCE).
✅ Ühekuumkoodimine on viis klassi märgistuse kodeerimiseks vektoriks, mille pikkus vastab klasside arvule. Vaadake seda artiklit selle tehnika kohta.
Selles õppetükis näeme segmenteerimist tegevuses, treenides võrku inimeste neevuste (tuntud ka kui sünnimärgid) tuvastamiseks meditsiinilistel piltidel. Kasutame PH2 andmebaasi dermoskoopia piltide allikana. See andmebaas sisaldab 200 pilti kolmest klassist: tüüpiline nevus, ebatüüpiline nevus ja melanoom. Kõigil piltidel on ka vastav mask, mis piiritleb nevuse.
✅ See tehnika sobib eriti hästi sellist tüüpi meditsiiniliste piltide jaoks, kuid milliseid muid reaalse maailma rakendusi võiksite ette kujutada?
Pilt PH2 andmebaasist
Treeni mudelit, et segmenteerida nevus selle taustast.
Avage allolevad märkmikud, et õppida rohkem erinevate semantilise segmenteerimise arhitektuuride kohta, harjutada nendega töötamist ja näha neid tegevuses.
Segmenteerimine on väga võimas tehnika pildiklassifikatsiooniks, liikudes piiravatest kastidest pikslitaseme klassifikatsioonini. Seda tehnikat kasutatakse meditsiinilistes piltides ja muudes rakendustes.
Keha segmenteerimine on vaid üks levinud ülesannetest, mida saame teha inimeste piltidega. Teised olulised ülesanded hõlmavad skeleti tuvastamist ja poosi tuvastamist. Proovige OpenPose raamatukogu, et näha, kuidas poosi tuvastamist saab kasutada.
See Wikipedia artikkel pakub head ülevaadet selle tehnika erinevatest rakendustest. Uurige ise rohkem Instance segmenteerimise ja Panoptic segmenteerimise aladest selles valdkonnas.
Selles laboris proovige inimkeha segmenteerimist kasutades Segmentation Full Body MADS Dataset andmestikku Kaggle'ist.
Lahtiütlus:
See dokument on tõlgitud AI tõlketeenuse Co-op Translator abil. Kuigi püüame tagada täpsust, palume arvestada, et automaatsed tõlked võivad sisaldada vigu või ebatäpsusi. Algne dokument selle algses keeles tuleks pidada autoriteetseks allikaks. Olulise teabe puhul soovitame kasutada professionaalset inimtõlget. Me ei vastuta selle tõlke kasutamisest tulenevate arusaamatuste või valesti tõlgenduste eest.