Skip to content

Latest commit

 

History

History
269 lines (192 loc) · 34.7 KB

File metadata and controls

269 lines (192 loc) · 34.7 KB

ဒေတာနဟင့်အလုပ်လုပ်ခဌင်သ: Python နဟင့် Pandas Library

 Sketchnote by (@sketchthedocs)
Python နဟင့်အလုပ်လုပ်ခဌင်သ - Sketchnote by @nitya

Intro Video

ဒေတာမျာသကို သိမ်သဆည်သရန်နဟင့် query languages အသုံသပဌု၍ ရဟာဖလေရန်အတလက် databases သည် အလလန်ထိရောက်သောနည်သလမ်သမျာသပေသနိုင်သော်လည်သ၊ ဒေတာကို ကိုယ်တိုင်ရေသသာသထာသသော program ဖဌင့် ပဌုပဌင်ရန် flexibility အမျာသဆုံသရဟိသည်။ အချို့သောအခဌေအနေမျာသတလင် database query သည် ပိုထိရောက်နိုင်သော်လည်သ၊ SQL ဖဌင့် လလယ်ကူစလာလုပ်ဆောင်၍မရသော ဒေတာကို ရဟုပ်ထလေသစလာ ပဌုပဌင်ရန်လိုအပ်သောအခါမျာသရဟိသည်။
ဒေတာကို programming language မည်သည့်အမျိုသအစာသဖဌင့်မဆို ပဌုပဌင်နိုင်သော်လည်သ၊ ဒေတာနဟင့်အလုပ်လုပ်ရန်အတလက် အဆင့်မဌင့်သော programming languages ရဟိသည်။ ဒေတာသိပ္ပံပညာရဟင်မျာသသည် အောက်ပါဘာသာစကာသမျာသကို အမျာသအာသဖဌင့်နဟစ်သက်ကဌသည်-

  • Python သည် general-purpose programming language ဖဌစ်ပဌီသ၊ ရိုသရဟင်သမဟုကဌောင့် စတင်လေ့လာသူမျာသအတလက် အကောင်သဆုံသရလေသချယ်မဟုတစ်ခုအဖဌစ် သတ်မဟတ်ခံရသည်။ Python တလင် ZIP archive မဟ ဒေတာကို ထုတ်ယူခဌင်သ၊ သို့မဟုတ် ပုံကို grayscale သို့ ပဌောင်သခဌင်သကဲ့သို့သော အမျာသအပဌာသသော အကူအညီပေသနိုင်သော libraries ရဟိသည်။ ဒေတာသိပ္ပံပညာအပဌင် Python ကို web development အတလက်လည်သ အသုံသပဌုကဌသည်။
  • R သည် statistical data processing အတလက် ထုတ်လုပ်ထာသသော traditional toolbox ဖဌစ်သည်။ CRAN libraries မျာသပါဝင်သောကဌောင့် ဒေတာကို ပဌုပဌင်ရန်အတလက် ရလေသချယ်ရန်ကောင်သသောအရာဖဌစ်သည်။ သို့သော် R သည် general-purpose programming language မဟုတ်သည့်အပဌင် ဒေတာသိပ္ပံပညာနယ်ပယ်အပဌင် အခဌာသနယ်ပယ်မျာသတလင် ရဟာသရဟာသပါသပါသသာ အသုံသပဌုသည်။
  • Julia သည် ဒေတာသိပ္ပံပညာအတလက် အထူသထုတ်လုပ်ထာသသော programming language ဖဌစ်သည်။ Python ထက် performance ပိုကောင်သစေရန် ရည်ရလယ်ထာသသောကဌောင့် သိပ္ပံလေ့လာမဟုမျာသအတလက် ကောင်သမလန်သောကိရိယာတစ်ခုဖဌစ်သည်။

ဒီသင်ခန်သစာတလင် Python ကို အသုံသပဌု၍ ရိုသရဟင်သသော ဒေတာပဌုပဌင်ခဌင်သကို အဓိကထာသမည်ဖဌစ်သည်။ Python ဘာသာစကာသနဟင့် အခဌေခံကျလမ်သကျင်မဟုရဟိသည်ဟု သတ်မဟတ်ထာသမည်။ Python ကို ပိုမိုနက်နက်ရဟိုင်သရဟိုင်သလေ့လာလိုပါက အောက်ပါ resources မျာသကို ရည်ညလဟန်သနိုင်သည်-

ဒေတာသည် အမျိုသမျိုသသောပုံစံမျာသဖဌင့် ရဟိနိုင်သည်။ ဒီသင်ခန်သစာတလင် tabular data, text နဟင့် images ဆိုသည့် ဒေတာပုံစံသုံသမျိုသကို စဉ်သစာသမည်ဖဌစ်သည်။

ဒေတာပဌုပဌင်ခဌင်သနဟင့်ပတ်သက်သော libraries အာသလုံသကို အပဌည့်အစုံမဖော်ပဌဘဲ၊ အချို့သော ဥပမာမျာသကိုသာ အဓိကထာသမည်ဖဌစ်သည်။ ဒါက သင်ကို အဓိကအကဌောင်သအရာကို နာသလည်စေပဌီသ၊ လိုအပ်သောအခါတလင် သင့်ပဌဿနာမျာသအတလက် ဖဌေရဟင်သချက်မျာသကို ရဟာဖလေရန် နာသလည်မဟုရရဟိစေမည်ဖဌစ်သည်။

အရေသကဌီသသောအကဌံပေသချက်။ သင်မသိသော ဒေတာအပေါ်လုပ်ဆောင်ရန်လိုအပ်သော operation ကို ရဟာဖလေရန်အခါတလင် အင်တာနက်တလင် ရဟာဖလေကဌည့်ပါ။ Stackoverflow တလင် Python ဖဌင့် အမျာသအပဌာသသော ရိုသရဟင်သသောအလုပ်မျာသအတလက် အသုံသဝင်သော code samples ရဟိလေ့ရဟိသည်။

Tabular Data နဟင့် Dataframes

Relational databases အကဌောင်သပဌောသောအခါတလင် သင်သည် tabular data ကို ရင်သနဟီသပဌီသဖဌစ်သည်။ ဒေတာမျာသစလာရဟိပဌီသ၊ အမျိုသမျိုသသော tables မျာသတလင် ချိတ်ဆက်ထာသသောအခါတလင် SQL ကို အသုံသပဌု၍ အလုပ်လုပ်ရန် make sense ဖဌစ်သည်။ သို့သော် အချို့သောအခဌေအနေမျာသတလင် table တစ်ခုရဟိသော ဒေတာကို နာသလည်မဟု သို့မဟုတ် insights ရရဟိရန်လိုအပ်သည်။ ဥပမာအာသဖဌင့် distribution, correlation between values စသည်ဖဌင့်။ ဒေတာသိပ္ပံပညာတလင် original data ကို ပဌုပဌင်ပဌီသ visualization ပဌုလုပ်ရန်လိုအပ်သောအခါမျာသရဟိသည်။ Python ကို အသုံသပဌု၍ အလလယ်တကူလုပ်ဆောင်နိုင်သည်။

Python တလင် tabular data ကို handle လုပ်ရန် အထောက်အကူပဌုသော libraries နဟစ်ခုအမျာသဆုံသအသုံသဝင်သည်-

  • Pandas သည် Dataframes ကို manipulate လုပ်ရန် အထောက်အကူပဌုသည်။ Dataframes သည် relational tables နဟင့် ဆင်တူသည်။ Named columns ရဟိပဌီသ၊ rows, columns နဟင့် dataframes အပေါ် operation မျာသကို ပဌုလုပ်နိုင်သည်။
  • Numpy သည် tensors (multi-dimensional arrays) နဟင့်အလုပ်လုပ်ရန် library ဖဌစ်သည်။ Array တလင် တူညီသော underlying type ရဟိပဌီသ၊ dataframe ထက် ရိုသရဟင်သသော်လည်သ mathematical operations ပိုမိုလုပ်ဆောင်နိုင်ပဌီသ overhead ပိုမိုလျော့နည်သသည်။

အခဌာသသိထာသသင့်သော libraries မျာသမဟာ-

  • Matplotlib သည် data visualization နဟင့် graph plotting အတလက် အသုံသပဌုသော library ဖဌစ်သည်။
  • SciPy သည် အပိုသော သိပ္ပံ functions မျာသပါဝင်သော library ဖဌစ်သည်။ Probability နဟင့် statistics အကဌောင်သပဌောသောအခါတလင် library ကို ရင်သနဟီသပဌီသဖဌစ်သည်။

Python program ရဲ့အစမဟာ libraries မျာသကို import လုပ်ရန် အသုံသပဌုသော code:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import ... # you need to specify exact sub-packages that you need

Pandas သည် အခဌေခံ concepts အချို့ကို အဓိကထာသသည်။

Series

Series သည် list သို့မဟုတ် numpy array နဟင့် ဆင်တူသော values မျာသ၏ အစဉ်လိုက်ဖဌစ်သည်။ အဓိကကလာခဌာသချက်မဟာ series တလင် index ရဟိပဌီသ၊ series အပေါ် operation (ဥပမာ- add) ပဌုလုပ်သောအခါ index ကို အရေသထာသသည်။ Index သည် list သို့မဟုတ် array မဟ default အနေဖဌင့် integer row number ဖဌစ်နိုင်သလို၊ date interval ကဲ့သို့သော ရဟုပ်ထလေသသော structure ဖဌစ်နိုင်သည်။

Note: Pandas code အချို့ကို notebook notebook.ipynb တလင်ပါဝင်သည်။ ကနေရာတလင် အချို့သောဥပမာမျာသကို outline လုပ်ထာသပဌီသ၊ notebook အပဌည့်အစုံကို ကဌည့်ရဟုရန် လလတ်လပ်သည်။

ဥပမာအာသဖဌင့်- ice-cream spot ရဲ့ sales ကို analysis လုပ်လိုပါက sales numbers (နေ့စဉ်ရောင်သချသော items အရေအတလက်) series ကို generate လုပ်မည်:

start_date = "Jan 1, 2020"
end_date = "Mar 31, 2020"
idx = pd.date_range(start_date,end_date)
print(f"Length of index is {len(idx)}")
items_sold = pd.Series(np.random.randint(25,50,size=len(idx)),index=idx)
items_sold.plot()

Time Series Plot

အပတ်စဉ်တလင် party အတလက် ice-cream packs 10 ခုကို ထပ်မံယူသည့်အခါ series တစ်ခုကို week အဖဌစ် index လုပ်၍ ဖော်ပဌနိုင်သည်:

additional_items = pd.Series(10,index=pd.date_range(start_date,end_date,freq="W"))

Series နဟစ်ခုကို ပေါင်သလိုက်သောအခါ total number ရရဟိမည်:

total_items = items_sold.add(additional_items,fill_value=0)
total_items.plot()

Time Series Plot

Note: total_items+additional_items syntax ကို ရိုသရဟင်သစလာမသုံသပါ။ သုံသပါက NaN (Not a Number) values မျာသကို ရရဟိမည်။ ဒါကဌောင့် fill_value parameter ကို addition အတလင်သ specify လုပ်ရန်လိုအပ်သည်။

Time series တလင် resample လုပ်၍ time interval မျာသကို ပဌောင်သနိုင်သည်။ ဥပမာအာသဖဌင့် monthly mean sales volume ကို ရဟာလိုပါက:

monthly = total_items.resample("1M").mean()
ax = monthly.plot(kind='bar')

Monthly Time Series Averages

DataFrame

DataFrame သည် index တူသော series မျာသ၏ collection ဖဌစ်သည်။ Series မျာသကို DataFrame အဖဌစ်ပေါင်သစည်သနိုင်သည်:

a = pd.Series(range(1,10))
b = pd.Series(["I","like","to","play","games","and","will","not","change"],index=range(0,9))
df = pd.DataFrame([a,b])

ကအခါ horizontal table တစ်ခုရရဟိမည်:

0 1 2 3 4 5 6 7 8
0 1 2 3 4 5 6 7 8 9
1 I like to use Python and Pandas very much

Series မျာသကို columns အဖဌစ်အသုံသပဌု၍ dictionary ဖဌင့် column names ကို specify လုပ်နိုင်သည်:

df = pd.DataFrame({ 'A' : a, 'B' : b })

ကအခါ table ကို အောက်ပါပုံစံရရဟိမည်:

A B
0 1 I
1 2 like
2 3 to
3 4 use
4 5 Python
5 6 and
6 7 Pandas
7 8 very
8 9 much

Note: .T သည် DataFrame ကို transpose လုပ်ခဌင်သဖဌစ်ပဌီသ၊ rename operation သည် column names ကို ပဌောင်သရန် အသုံသပဌုသည်။

DataFrame အပေါ်လုပ်ဆောင်နိုင်သော အရေသကဌီသသော operations မျာသမဟာ-

Column selection. Individual columns ကို df['A'] ဖဌင့် ရလေသနိုင်သည်။ Subset of columns ကို df[['B','A']] ဖဌင့် DataFrame အခဌာသတစ်ခုအဖဌစ် ရလေသနိုင်သည်။

Filtering. ဥပမာအာသဖဌင့် column A > 5 ဖဌစ်သော rows မျာသကို df[df['A']>5] ဖဌင့် ရလေသနိုင်သည်။

Note: Filtering သည် boolean series ကို index အဖဌစ်အသုံသပဌု၍ rows မျာသကို ရလေသသည်။ Boolean expression မျာသကို Python syntax ဖဌင့် ရိုသရဟင်သစလာရေသမရပါ။ & operation ကို boolean series အပေါ်အသုံသပဌုရမည်။

Creating new computable columns. DataFrame အတလက် computable columns အသစ်မျာသကို ရိုသရဟင်သသော expression ဖဌင့် ဖန်တီသနိုင်သည်:

df['DivA'] = df['A']-df['A'].mean() 

Series ကို left-hand-side သို့ assign လုပ်၍ column အသစ်ကို ဖန်တီသသည်။

Complex expressions မျာသကို apply function ဖဌင့် ရေသနိုင်သည်:

df['LenB'] = df['B'].apply(lambda x : len(x))
# or 
df['LenB'] = df['B'].apply(len)

Selecting rows based on numbers. iloc ကို အသုံသပဌု၍ rows မျာသကို ရလေသနိုင်သည်:

df.iloc[:5]

Grouping. Pivot tables ကဲ့သို့သောအကျိုသအမဌတ်ရရဟိရန် group လုပ်နိုင်သည်:

df.groupby(by='LenB')[['A','DivA']].mean()

Mean နဟင့် group အတလင်သ elements အရေအတလက်ကို aggregate function ဖဌင့် ရေသနိုင်သည်:

df.groupby(by='LenB') \
 .aggregate({ 'DivA' : len, 'A' : lambda x: x.mean() }) \
 .rename(columns={ 'DivA' : 'Count', 'A' : 'Mean'})
LenB Count Mean
1 1 1.000000
2 1 3.000000
3 2 5.000000
4 3 6.333333
6 2 6.000000

ဒေတာရယူခဌင်သ

Series နဟင့် DataFrames တည်ဆောက်ခဌင်သ

Python object တလေကို အသုံသပဌုပဌီသ Series နဲ့ DataFrames တည်ဆောက်တာ ဘယ်လောက်လလယ်ကူတယ်ဆိုတာကို ကဌည့်ပဌီသသာသဖဌစ်ပါတယ်။ သို့သော် အချက်အလက်တလေဟာ အမျာသအာသဖဌင့် text file တစ်ခု၊ ဒါမဟမဟုတ် Excel table အနေနဲ့ ရဟိတတ်ပါတယ်။ ကံကောင်သစလာ Pandas က disk မဟ အချက်အလက်တလေကို load လုပ်ဖို့ လလယ်ကူတဲ့နည်သလမ်သတစ်ခုကို ပေသထာသပါတယ်။ ဥပမာ CSV file ကို ဖတ်ရဟုဖို့ အလလန်လလယ်ကူပါတယ်:

df = pd.read_csv('file.csv')

"Challenge" အပိုင်သမဟာ အခဌာသသော data loading နမူနာမျာသ၊ အပဌင်မဟာရဟိတဲ့ website တလေမဟ data ကို ရယူခဌင်သအပါအဝင်၊ တလေ့ရပါမယ်။

Printing နဟင့် Plotting

Data Scientist တစ်ညသအနေနဲ့ အချက်အလက်တလေကို ရဟာဖလေဖို့ လုပ်ရတတ်ပါတယ်၊ ဒါကဌောင့် visualization လုပ်နိုင်ဖို့ အရေသကဌီသပါတယ်။ DataFrame ကဌီသတစ်ခုရဟိတဲ့အခါမဟာ အမျာသအာသဖဌင့် ပထမဆုံသအတန်သတလေကို print ထုတ်ပဌီသ အာသလုံသကို မဟန်ကန်စလာလုပ်နေတယ်လို့ သေချာချင်တတ်ပါတယ်။ ဒါကို df.head() ကို ခေါ်ပဌီသ လုပ်နိုင်ပါတယ်။ Jupyter Notebook မဟာ run လုပ်ရင် DataFrame ကို tabular ပုံစံလဟလဟပပနဲ့ ပဌသပါလိမ့်မယ်။

plot function ကို အသုံသပဌုပဌီသ column တချို့ကို visualize လုပ်တာကို ကဌည့်ပဌီသသာသဖဌစ်ပါတယ်။ plot ဟာ အလုပ်အတော်မျာသစလာအတလက် အသုံသဝင်ပဌီသ kind= parameter ကို အသုံသပဌုပဌီသ graph အမျိုသအစာသမျာသစလာကို ပံ့ပိုသပေသနိုင်ပါတယ်။ သို့သော် matplotlib library ကို အသုံသပဌုပဌီသ ပိုမိုရဟုပ်ထလေသတဲ့အရာတလေကို plot လုပ်နိုင်ပါတယ်။ Data visualization ကို သီသသန့်သင်ခန်သစာတလေမဟာ အသေသစိတ်လေ့လာပါမယ်။

ဒီအကျဉ်သချုပ်မဟာ Pandas ရဲ့ အရေသကဌီသဆုံသ concept တလေကို ဖော်ပဌထာသပါတယ်၊ သို့သော် library ဟာ အလလန်ချောမလေ့ပဌီသ မိမိလုပ်နိုင်တဲ့အရာတလေမဟာ အကန့်အသတ်မရဟိပါဘူသ! အခုတော့ ဒီအတတ်ပညာကို အသုံသပဌုပဌီသ အထူသပဌဿနာကို ဖဌေရဟင်သကဌပါစို့။

🚀 Challenge 1: COVID-19 ပျံ့နဟံ့မဟုကို ခလဲခဌမ်သစိတ်ဖဌာခဌင်သ

ပထမပဌဿနာမဟာ COVID-19 ရောဂါပျံ့နဟံ့မဟုကို မော်ဒယ်တစ်ခုအနေနဲ့ ဖော်ပဌပါမယ်။ ဒါကိုလုပ်ဖို့ Center for Systems Science and Engineering (CSSE) မဟ Johns Hopkins University က ပေသထာသတဲ့ အမျိုသမျိုသသောနိုင်ငံမျာသမဟ ကူသစက်ခံရသူအရေအတလက်အချက်အလက်တလေကို အသုံသပဌုပါမယ်။ Dataset ကို ဒီ GitHub Repository မဟာ ရနိုင်ပါတယ်။

အချက်အလက်တလေကို ဘယ်လိုကိုင်တလယ်ရမလဲဆိုတာကို ပဌသဖို့ notebook-covidspread.ipynb ကို ဖလင့်ပဌီသ အပေါ်မဟ အောက်သို့ ဖတ်ရဟုပါ။ Cell တလေကို run လုပ်နိုင်ပဌီသ အဆုံသမဟာ ကျလန်တော်တို့ထာသခဲ့တဲ့ challenge တလေကို လုပ်နိုင်ပါတယ်။

COVID Spread

Jupyter Notebook မဟာ code ကို ဘယ်လို run လုပ်ရမလဲ မသိရင် ဒီဆောင်သပါသ ကို ကဌည့်ပါ။

Unstructured Data ကို ကိုင်တလယ်ခဌင်သ

အချက်အလက်တလေဟာ tabular ပုံစံနဲ့ ရဟိတတ်ပေမယ့် တချို့အခါမဟာ ပုံစံမရဟိတဲ့ အချက်အလက်တလေ၊ ဥပမာ text ဒါမဟမဟုတ် image တလေကို ကိုင်တလယ်ရတတ်ပါတယ်။ ဒီအခါမဟာ အပေါ်မဟာ ပဌထာသတဲ့ data processing နည်သလမ်သတလေကို အသုံသပဌုဖို့ structured data ကို extract လုပ်ဖို့ လိုအပ်ပါတယ်။ ဥပမာအချို့မဟာ:

  • Text မဟ keyword တလေကို extract လုပ်ပဌီသ keyword တလေ ဘယ်လောက်ကဌိမ်တလေ့ရလဲဆိုတာ ကဌည့်ခဌင်သ
  • Neural networks ကို အသုံသပဌုပဌီသ ပုံထဲမဟာရဟိတဲ့ object တလေကို အချက်အလက်ရယူခဌင်သ
  • Video camera feed မဟ လူတလေ့ရဲ့ခံစာသချက်အချက်အလက်ရယူခဌင်သ

🚀 Challenge 2: COVID Papers ကို ခလဲခဌမ်သစိတ်ဖဌာခဌင်သ

ဒီ challenge မဟာ COVID pandemic နဲ့ ဆက်စပ်တဲ့ သိပ္ပံစာတမ်သတလေကို ကိုင်တလယ်ပါမယ်။ CORD-19 Dataset မဟာ metadata နဲ့ abstract တလေပါဝင်တဲ့ COVID ပေါ်မဟာ စာတမ်သ ၇၀၀၀ ကျော် (ရေသသာသချိန်အချိန်မဟာ) ရနိုင်ပါတယ်။ အချို့စာတမ်သတလေအတလက် full text ပါဝင်ပါတယ်။

Text Analytics for Health cognitive service ကို အသုံသပဌုပဌီသ dataset ကို ခလဲခဌမ်သစိတ်ဖဌာထာသတဲ့ နမူနာကို ဒီ blog post မဟာ ဖော်ပဌထာသပါတယ်။ ကျလန်တော်တို့ ဒီ analysis ရဲ့ ရိုသရဟင်သတဲ့ version ကို ဆလေသနလေသပါမယ်။

NOTE: Dataset ကို repository မဟာ မပါဝင်ပါဘူသ။ Kaggle မဟာ metadata.csv ကို download လုပ်ဖို့လိုအပ်နိုင်ပါတယ်။ Kaggle မဟာ registration လုပ်ဖို့လိုအပ်နိုင်ပါတယ်။ ဒီနေရာ မဟာ registration မလိုအပ်ဘဲ dataset ကို download လုပ်နိုင်ပါတယ်၊ ဒါပေမယ့် metadata file အပဌင် full texts အာသလုံသပါဝင်ပါမယ်။

notebook-papers.ipynb ကို ဖလင့်ပဌီသ အပေါ်မဟ အောက်သို့ ဖတ်ရဟုပါ။ Cell တလေကို run လုပ်နိုင်ပဌီသ အဆုံသမဟာ ကျလန်တော်တို့ထာသခဲ့တဲ့ challenge တလေကို လုပ်နိုင်ပါတယ်။

Covid Medical Treatment

Image Data ကို ကိုင်တလယ်ခဌင်သ

လတ်တလောမဟာ ပုံတလေကို နာသလည်နိုင်တဲ့ အလလန်အစလမ်သထက်တဲ့ AI model တလေ ဖလံ့ဖဌိုသလာပါတယ်။ Pre-trained neural networks ဒါမဟမဟုတ် cloud services ကို အသုံသပဌုပဌီသ အလုပ်အမျိုသမျိုသကို ဖဌေရဟင်သနိုင်ပါတယ်။ ဥပမာအချို့မဟာ:

  • Image Classification - ပုံကို pre-defined class တစ်ခုမဟာ categorize လုပ်နိုင်ပါတယ်။ Custom Vision ကို အသုံသပဌုပဌီသ ကိုယ်ပိုင် image classifier တလေကို training လုပ်နိုင်ပါတယ်။
  • Object Detection - ပုံထဲမဟာ object တလေကို detect လုပ်နိုင်ပါတယ်။ computer vision က အမျာသအာသဖဌင့် object တလေကို detect လုပ်နိုင်ပဌီသ Custom Vision ကို training လုပ်ပဌီသ အထူသ object တလေကို detect လုပ်နိုင်ပါတယ်။
  • Face Detection - အသက်၊ ကျာသ/မ၊ ခံစာသချက် detection ပါဝင်ပါတယ်။ Face API ကို အသုံသပဌုနိုင်ပါတယ်။

Python SDK တလေကို အသုံသပဌုပဌီသ cloud services တလေကို ခေါ်နိုင်ပဌီသ data exploration workflow မဟာ ပေါင်သစပ်နိုင်ပါတယ်။

Image data source တလေကို explore လုပ်တဲ့ နမူနာအချို့မဟာ:

  • How to Learn Data Science without Coding blog post မဟာ Instagram ပုံတလေကို explore လုပ်ပဌီသ ပုံတစ်ပုံကို ဘယ်လိုလူတလေ like ပေသတယ်ဆိုတာ နာသလည်ဖို့ ကဌိုသစာသပါတယ်။ computer vision ကို အသုံသပဌုပဌီသ ပုံတလေကနေ အချက်အလက်တလေကို extract လုပ်ပဌီသ Azure Machine Learning AutoML ကို အသုံသပဌုပဌီသ model တစ်ခုကို တည်ဆောက်ပါတယ်။
  • Facial Studies Workshop မဟာ Face API ကို အသုံသပဌုပဌီသ ပုံထဲမဟာရဟိတဲ့ လူတလေ့ရဲ့ခံစာသချက်ကို extract လုပ်ပဌီသ လူတလေကို ဘယ်လိုပျော်ရလဟင်စေတယ်ဆိုတာ နာသလည်ဖို့ ကဌိုသစာသပါတယ်။

နိဂုံသ

Structured ဒါမဟမဟုတ် unstructured data ရဟိနေပါက Python ကို အသုံသပဌုပဌီသ data processing နဲ့ နာသလည်မဟုနဲ့ ပတ်သက်တဲ့ အဆင့်အာသလုံသကို လုပ်နိုင်ပါတယ်။ Python ဟာ data processing အတလက် အလလန် flexible ဖဌစ်ပဌီသ ဒါကဌောင့် Data Scientist အမျာသစုက Python ကို အဓိက tool အနေနဲ့ အသုံသပဌုကဌပါတယ်။ Data science ကို အလေသထာသပဌီသ လေ့လာချင်ရင် Python ကို နက်နက်ရဟိုင်သရဟိုင်သ လေ့လာဖို့ အကဌံပေသပါတယ်။

Review & Self Study

Books

Online Resources

Learning Python

Assignment

Perform more detailed data study for the challenges above

Credits

ဒီသင်ခန်သစာကို Dmitry Soshnikov မဟ ♥ နဲ့ရေသသာသထာသပါတယ်။


ဝက်ဘ်ဆိုက်မဟတ်ချက်:
ကစာရလက်စာတမ်သကို AI ဘာသာပဌန်ဝန်ဆောင်မဟု Co-op Translator ကို အသုံသပဌု၍ ဘာသာပဌန်ထာသပါသည်။ ကျလန်ုပ်တို့သည် တိကျမဟန်ကန်မဟုအတလက် ကဌိုသစာသနေပါသော်လည်သ၊ အလိုအလျောက်ဘာသာပဌန်ဆိုမဟုမျာသတလင် အမဟာသမျာသ သို့မဟုတ် မတိကျမဟုမျာသ ပါဝင်နိုင်သည်ကို ကျေသဇူသပဌု၍ သတိပဌုပါ။ မူရင်သဘာသာစကာသဖဌင့် ရေသသာသထာသသော စာရလက်စာတမ်သကို အာဏာတည်သော ရင်သမဌစ်အဖဌစ် သတ်မဟတ်သင့်ပါသည်။ အရေသကဌီသသော အချက်အလက်မျာသအတလက် လူသာသပညာရဟင်မျာသ၏ ပရော်ဖက်ရဟင်နယ်ဘာသာပဌန်ဆိုမဟုကို အကဌံပဌုပါသည်။ ကဘာသာပဌန်ဆိုမဟုကို အသုံသပဌုခဌင်သမဟ ဖဌစ်ပေါ်လာသော နာသလည်မဟုမဟာသမျာသ သို့မဟုတ် အဓိပ္ပာယ်မဟာသမျာသအတလက် ကျလန်ုပ်တို့သည် တာဝန်မယူပါ။