áá±áá¬ááŸáá·áºá¡áá¯ááºáá¯ááºááŒááºáž: Python ááŸáá·áº Pandas Library
![]() |
|---|
| Python ááŸáá·áºá¡áá¯ááºáá¯ááºááŒááºáž - Sketchnote by @nitya |
áá±áá¬áá»á¬ážááᯠááááºážáááºážáááºááŸáá·áº query languages á¡áá¯á¶ážááŒá¯á ááŸá¬ááœá±áááºá¡ááœáẠdatabases ááẠá¡ááœááºáááá±á¬ááºáá±á¬áááºážáááºážáá»á¬ážáá±ážááá¯ááºáá±á¬áºáááºážá áá±áá¬ááᯠááá¯ááºááá¯ááºáá±ážáá¬ážáá¬ážáá±á¬ program ááŒáá·áº ááŒá¯ááŒááºááẠflexibility á¡áá»á¬ážáá¯á¶ážááŸááááºá á¡áá»áá¯á·áá±á¬á¡ááŒá±á¡áá±áá»á¬ážááœáẠdatabase query ááẠááá¯áááá±á¬ááºááá¯ááºáá±á¬áºáááºážá SQL ááŒáá·áº ááœááºáá°á
áœá¬áá¯ááºáá±á¬ááºááááá±á¬ áá±áá¬ááᯠááŸá¯ááºááœá±ážá
áœá¬ ááŒá¯ááŒááºáááºááá¯á¡ááºáá±á¬á¡áá«áá»á¬ážááŸááááºá
áá±áá¬ááᯠprogramming language áááºááá·áºá¡áá»áá¯ážá¡á
á¬ážááŒáá·áºáááᯠááŒá¯ááŒááºááá¯ááºáá±á¬áºáááºážá áá±áá¬ááŸáá·áºá¡áá¯ááºáá¯ááºáááºá¡ááœáẠá¡ááá·áºááŒáá·áºáá±á¬ programming languages ááŸááááºá áá±áá¬áááá¹áá¶ááá¬ááŸááºáá»á¬ážááẠá¡á±á¬ááºáá«áá¬áá¬á
áá¬ážáá»á¬ážááᯠá¡áá»á¬ážá¡á¬ážááŒáá·áºááŸá
áºáááºááŒáááº-
- Python ááẠgeneral-purpose programming language ááŒá áºááŒá®ážá ááá¯ážááŸááºážááŸá¯ááŒá±á¬áá·áº á áááºáá±á·áá¬áá°áá»á¬ážá¡ááœáẠá¡áá±á¬ááºážáá¯á¶ážááœá±ážáá»ááºááŸá¯áá áºáá¯á¡ááŒá ẠáááºááŸááºáá¶ááááºá Python ááœáẠZIP archive á០áá±áá¬ááᯠáá¯ááºáá°ááŒááºážá ááá¯á·ááá¯áẠáá¯á¶ááᯠgrayscale ááá¯á· ááŒá±á¬ááºážááŒááºážáá²á·ááá¯á·áá±á¬ á¡áá»á¬ážá¡ááŒá¬ážáá±á¬ á¡áá°á¡áá®áá±ážááá¯ááºáá±á¬ libraries ááŸááááºá áá±áá¬áááá¹áá¶ááá¬á¡ááŒáẠPython ááᯠweb development á¡ááœááºáááºáž á¡áá¯á¶ážááŒá¯ááŒáááºá
- R ááẠstatistical data processing á¡ááœáẠáá¯ááºáá¯ááºáá¬ážáá±á¬ traditional toolbox ááŒá áºáááºá CRAN libraries áá»á¬ážáá«áááºáá±á¬ááŒá±á¬áá·áº áá±áá¬ááᯠááŒá¯ááŒááºáááºá¡ááœáẠááœá±ážáá»ááºáááºáá±á¬ááºážáá±á¬á¡áá¬ááŒá áºáááºá ááá¯á·áá±á¬áº R ááẠgeneral-purpose programming language ááá¯ááºááá·áºá¡ááŒáẠáá±áá¬áááá¹áá¶ááá¬áááºáááºá¡ááŒáẠá¡ááŒá¬ážáááºáááºáá»á¬ážááœáẠááŸá¬ážááŸá¬ážáá«ážáá«ážáᬠá¡áá¯á¶ážááŒá¯áááºá
- Julia ááẠáá±áá¬áááá¹áá¶ááá¬á¡ááœáẠá¡áá°ážáá¯ááºáá¯ááºáá¬ážáá±á¬ programming language ááŒá áºáááºá Python ááẠperformance ááá¯áá±á¬ááºážá á±ááẠáááºááœááºáá¬ážáá±á¬ááŒá±á¬áá·áº áááá¹áá¶áá±á·áá¬ááŸá¯áá»á¬ážá¡ááœáẠáá±á¬ááºážááœááºáá±á¬áááááá¬áá áºáá¯ááŒá áºáááºá
áá®áááºáááºážá á¬ááœáẠPython ááᯠá¡áá¯á¶ážááŒá¯á ááá¯ážááŸááºážáá±á¬ áá±áá¬ááŒá¯ááŒááºááŒááºážááᯠá¡ááááá¬ážáááºááŒá áºáááºá Python áá¬áá¬á áá¬ážááŸáá·áº á¡ááŒá±áá¶áá»áœááºážáá»ááºááŸá¯ááŸááááºáᯠáááºááŸááºáá¬ážáááºá Python ááᯠááá¯ááá¯áááºáááºááŸáá¯ááºážááŸáá¯ááºážáá±á·áá¬ááá¯áá«á á¡á±á¬ááºáá« resources áá»á¬ážááᯠáááºááœáŸááºážááá¯ááºáááº-
- Learn Python in a Fun Way with Turtle Graphics and Fractals - GitHub-based Python Programming á¡áá»ááºážáá»á¯ááºáááºáááºáž
- Take your First Steps with Python Microsoft Learn ááœáẠLearning Path
áá±áá¬ááẠá¡áá»áá¯ážáá»áá¯ážáá±á¬áá¯á¶á á¶áá»á¬ážááŒáá·áº ááŸáááá¯ááºáááºá áá®áááºáááºážá á¬ááœáẠtabular data, text ááŸáá·áº images ááá¯ááá·áº áá±áá¬áá¯á¶á á¶áá¯á¶ážáá»áá¯ážááᯠá ááºážá á¬ážáááºááŒá áºáááºá
áá±áá¬ááŒá¯ááŒááºááŒááºážááŸáá·áºáááºáááºáá±á¬ libraries á¡á¬ážáá¯á¶ážááᯠá¡ááŒáá·áºá¡á á¯á¶ááá±á¬áºááŒáá²á á¡áá»áá¯á·áá±á¬ á¥ááá¬áá»á¬ážááá¯áᬠá¡ááááá¬ážáááºááŒá áºáááºá áá«á áááºááᯠá¡áááá¡ááŒá±á¬ááºážá¡áá¬ááᯠáá¬ážáááºá á±ááŒá®ážá ááá¯á¡ááºáá±á¬á¡áá«ááœáẠááá·áºááŒá¿áá¬áá»á¬ážá¡ááœáẠááŒá±ááŸááºážáá»ááºáá»á¬ážááᯠááŸá¬ááœá±ááẠáá¬ážáááºááŸá¯áááŸáá á±áááºááŒá áºáááºá
á¡áá±ážááŒá®ážáá±á¬á¡ááŒá¶áá±ážáá»ááºá áááºááááá±á¬ áá±áá¬á¡áá±á«áºáá¯ááºáá±á¬ááºáááºááá¯á¡ááºáá±á¬ operation ááᯠááŸá¬ááœá±áááºá¡áá«ááœáẠá¡ááºáá¬áááºááœáẠááŸá¬ááœá±ááŒáá·áºáá«á Stackoverflow ááœáẠPython ááŒáá·áº á¡áá»á¬ážá¡ááŒá¬ážáá±á¬ ááá¯ážááŸááºážáá±á¬á¡áá¯ááºáá»á¬ážá¡ááœáẠá¡áá¯á¶ážáááºáá±á¬ code samples ááŸááá±á·ááŸááááºá
Relational databases á¡ááŒá±á¬ááºážááŒá±á¬áá±á¬á¡áá«ááœáẠáááºááẠtabular data ááᯠáááºážááŸá®ážááŒá®ážááŒá áºáááºá áá±áá¬áá»á¬ážá áœá¬ááŸáááŒá®ážá á¡áá»áá¯ážáá»áá¯ážáá±á¬ tables áá»á¬ážááœáẠáá»áááºáááºáá¬ážáá±á¬á¡áá«ááœáẠSQL ááᯠá¡áá¯á¶ážááŒá¯á á¡áá¯ááºáá¯ááºááẠmake sense ááŒá áºáááºá ááá¯á·áá±á¬áº á¡áá»áá¯á·áá±á¬á¡ááŒá±á¡áá±áá»á¬ážááœáẠtable áá áºáá¯ááŸááá±á¬ áá±áá¬ááᯠáá¬ážáááºááŸá¯ ááá¯á·ááá¯áẠinsights áááŸááááºááá¯á¡ááºáááºá á¥ááá¬á¡á¬ážááŒáá·áº distribution, correlation between values á áááºááŒáá·áºá áá±áá¬áááá¹áá¶ááá¬ááœáẠoriginal data ááᯠááŒá¯ááŒááºááŒá®áž visualization ááŒá¯áá¯ááºáááºááá¯á¡ááºáá±á¬á¡áá«áá»á¬ážááŸááááºá Python ááᯠá¡áá¯á¶ážááŒá¯á á¡ááœááºááá°áá¯ááºáá±á¬ááºááá¯ááºáááºá
Python ááœáẠtabular data ááᯠhandle áá¯ááºááẠá¡áá±á¬ááºá¡áá°ááŒá¯áá±á¬ libraries ááŸá áºáá¯á¡áá»á¬ážáá¯á¶ážá¡áá¯á¶ážáááºáááº-
- Pandas ááẠDataframes ááᯠmanipulate áá¯ááºááẠá¡áá±á¬ááºá¡áá°ááŒá¯áááºá Dataframes ááẠrelational tables ááŸáá·áº áááºáá°áááºá Named columns ááŸáááŒá®ážá rows, columns ááŸáá·áº dataframes á¡áá±á«áº operation áá»á¬ážááᯠááŒá¯áá¯ááºááá¯ááºáááºá
- Numpy ááẠtensors (multi-dimensional arrays) ááŸáá·áºá¡áá¯ááºáá¯ááºááẠlibrary ááŒá áºáááºá Array ááœáẠáá°áá®áá±á¬ underlying type ááŸáááŒá®ážá dataframe ááẠááá¯ážááŸááºážáá±á¬áºáááºáž mathematical operations ááá¯ááá¯áá¯ááºáá±á¬ááºááá¯ááºááŒá®áž overhead ááá¯ááá¯áá»á±á¬á·áááºážáááºá
á¡ááŒá¬ážáááá¬ážááá·áºáá±á¬ libraries áá»á¬ážááŸá¬-
- Matplotlib ááẠdata visualization ááŸáá·áº graph plotting á¡ááœáẠá¡áá¯á¶ážááŒá¯áá±á¬ library ááŒá áºáááºá
- SciPy ááẠá¡ááá¯áá±á¬ áááá¹áá¶ functions áá»á¬ážáá«áááºáá±á¬ library ááŒá áºáááºá Probability ááŸáá·áº statistics á¡ááŒá±á¬ááºážááŒá±á¬áá±á¬á¡áá«ááœáẠlibrary ááᯠáááºážááŸá®ážááŒá®ážááŒá áºáááºá
Python program áá²á·á¡á ááŸá¬ libraries áá»á¬ážááᯠimport áá¯ááºááẠá¡áá¯á¶ážááŒá¯áá±á¬ code:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import ... # you need to specify exact sub-packages that you needPandas ááẠá¡ááŒá±áá¶ concepts á¡áá»áá¯á·ááᯠá¡ááááá¬ážáááºá
Series ááẠlist ááá¯á·ááá¯áẠnumpy array ááŸáá·áº áááºáá°áá±á¬ values áá»á¬ážá á¡á ááºááá¯ááºááŒá áºáááºá á¡áááááœá¬ááŒá¬ážáá»ááºááŸá¬ series ááœáẠindex ááŸáááŒá®ážá series á¡áá±á«áº operation (á¥ááá¬- add) ááŒá¯áá¯ááºáá±á¬á¡áá« index ááᯠá¡áá±ážáá¬ážáááºá Index ááẠlist ááá¯á·ááá¯áẠarray á០default á¡áá±ááŒáá·áº integer row number ááŒá áºááá¯ááºáááá¯á date interval áá²á·ááá¯á·áá±á¬ ááŸá¯ááºááœá±ážáá±á¬ structure ááŒá áºááá¯ááºáááºá
Note: Pandas code á¡áá»áá¯á·ááᯠnotebook
notebook.ipynbááœááºáá«áááºáááºá á€áá±áá¬ááœáẠá¡áá»áá¯á·áá±á¬á¥ááá¬áá»á¬ážááᯠoutline áá¯ááºáá¬ážááŒá®ážá notebook á¡ááŒáá·áºá¡á á¯á¶ááᯠááŒáá·áºááŸá¯ááẠááœááºáááºáááºá
á¥ááá¬á¡á¬ážááŒáá·áº- ice-cream spot áá²á· sales ááᯠanalysis áá¯ááºááá¯áá«á sales numbers (áá±á·á ááºáá±á¬ááºážáá»áá±á¬ items á¡áá±á¡ááœááº) series ááᯠgenerate áá¯ááºáááº:
start_date = "Jan 1, 2020"
end_date = "Mar 31, 2020"
idx = pd.date_range(start_date,end_date)
print(f"Length of index is {len(idx)}")
items_sold = pd.Series(np.random.randint(25,50,size=len(idx)),index=idx)
items_sold.plot()á¡áááºá ááºááœáẠparty á¡ááœáẠice-cream packs 10 áá¯ááᯠáááºáá¶áá°ááá·áºá¡áá« series áá áºáá¯ááᯠweek á¡ááŒá Ạindex áá¯ááºá áá±á¬áºááŒááá¯ááºáááº:
additional_items = pd.Series(10,index=pd.date_range(start_date,end_date,freq="W"))Series ááŸá áºáá¯ááᯠáá±á«ááºážááá¯ááºáá±á¬á¡áá« total number áááŸááááº:
total_items = items_sold.add(additional_items,fill_value=0)
total_items.plot()Note:
total_items+additional_itemssyntax ááᯠááá¯ážááŸááºážá áœá¬ááá¯á¶ážáá«á áá¯á¶ážáá«áNaN(Not a Number) values áá»á¬ážááᯠáááŸááááºá áá«ááŒá±á¬áá·áºfill_valueparameter ááᯠaddition á¡ááœááºáž specify áá¯ááºáááºááá¯á¡ááºáááºá
Time series ááœáẠresample áá¯ááºá time interval áá»á¬ážááᯠááŒá±á¬ááºážááá¯ááºáááºá á¥ááá¬á¡á¬ážááŒáá·áº monthly mean sales volume ááᯠááŸá¬ááá¯áá«á:
monthly = total_items.resample("1M").mean()
ax = monthly.plot(kind='bar')DataFrame ááẠindex áá°áá±á¬ series áá»á¬ážá collection ááŒá áºáááºá Series áá»á¬ážááᯠDataFrame á¡ááŒá áºáá±á«ááºážá ááºážááá¯ááºáááº:
a = pd.Series(range(1,10))
b = pd.Series(["I","like","to","play","games","and","will","not","change"],index=range(0,9))
df = pd.DataFrame([a,b])á€á¡áá« horizontal table áá áºáá¯áááŸááááº:
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
|---|---|---|---|---|---|---|---|---|---|
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 1 | I | like | to | use | Python | and | Pandas | very | much |
Series áá»á¬ážááᯠcolumns á¡ááŒá áºá¡áá¯á¶ážááŒá¯á dictionary ááŒáá·áº column names ááᯠspecify áá¯ááºááá¯ááºáááº:
df = pd.DataFrame({ 'A' : a, 'B' : b })á€á¡áá« table ááᯠá¡á±á¬ááºáá«áá¯á¶á á¶áááŸááááº:
| A | B | |
|---|---|---|
| 0 | 1 | I |
| 1 | 2 | like |
| 2 | 3 | to |
| 3 | 4 | use |
| 4 | 5 | Python |
| 5 | 6 | and |
| 6 | 7 | Pandas |
| 7 | 8 | very |
| 8 | 9 | much |
Note: .T ááẠDataFrame ááᯠtranspose áá¯ááºááŒááºážááŒá
áºááŒá®ážá rename operation ááẠcolumn names ááᯠááŒá±á¬ááºážááẠá¡áá¯á¶ážááŒá¯áááºá
DataFrame á¡áá±á«áºáá¯ááºáá±á¬ááºááá¯ááºáá±á¬ á¡áá±ážááŒá®ážáá±á¬ operations áá»á¬ážááŸá¬-
Column selection. Individual columns ááᯠdf['A'] ááŒáá·áº ááœá±ážááá¯ááºáááºá Subset of columns ááᯠdf[['B','A']] ááŒáá·áº DataFrame á¡ááŒá¬ážáá
áºáá¯á¡ááŒá
Ạááœá±ážááá¯ááºáááºá
Filtering. á¥ááá¬á¡á¬ážááŒáá·áº column A > 5 ááŒá
áºáá±á¬ rows áá»á¬ážááᯠdf[df['A']>5] ááŒáá·áº ááœá±ážááá¯ááºáááºá
Note: Filtering ááẠboolean series ááᯠindex á¡ááŒá áºá¡áá¯á¶ážááŒá¯á rows áá»á¬ážááᯠááœá±ážáááºá Boolean expression áá»á¬ážááᯠPython syntax ááŒáá·áº ááá¯ážááŸááºážá áœá¬áá±ážáááá«á
&operation ááᯠboolean series á¡áá±á«áºá¡áá¯á¶ážááŒá¯ááááºá
Creating new computable columns. DataFrame á¡ááœáẠcomputable columns á¡áá áºáá»á¬ážááᯠááá¯ážááŸááºážáá±á¬ expression ááŒáá·áº áááºáá®ážááá¯ááºáááº:
df['DivA'] = df['A']-df['A'].mean() Series ááᯠleft-hand-side ááá¯á· assign áá¯ááºá column á¡áá áºááᯠáááºáá®ážáááºá
Complex expressions áá»á¬ážááᯠapply function ááŒáá·áº áá±ážááá¯ááºáááº:
df['LenB'] = df['B'].apply(lambda x : len(x))
# or
df['LenB'] = df['B'].apply(len)Selecting rows based on numbers. iloc ááᯠá¡áá¯á¶ážááŒá¯á rows áá»á¬ážááᯠááœá±ážááá¯ááºáááº:
df.iloc[:5]Grouping. Pivot tables áá²á·ááá¯á·áá±á¬á¡áá»áá¯ážá¡ááŒááºáááŸáááẠgroup áá¯ááºááá¯ááºáááº:
df.groupby(by='LenB')[['A','DivA']].mean()Mean ááŸáá·áº group á¡ááœááºáž elements á¡áá±á¡ááœááºááᯠaggregate function ááŒáá·áº áá±ážááá¯ááºáááº:
df.groupby(by='LenB') \
.aggregate({ 'DivA' : len, 'A' : lambda x: x.mean() }) \
.rename(columns={ 'DivA' : 'Count', 'A' : 'Mean'})| LenB | Count | Mean |
|---|---|---|
| 1 | 1 | 1.000000 |
| 2 | 1 | 3.000000 |
| 3 | 2 | 5.000000 |
| 4 | 3 | 6.333333 |
| 6 | 2 | 6.000000 |
Python object ááœá±ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž Series áá²á· DataFrames áááºáá±á¬ááºáᬠáááºáá±á¬ááºááœááºáá°áááºááá¯áá¬ááᯠááŒáá·áºááŒá®ážáá¬ážááŒá áºáá«áááºá ááá¯á·áá±á¬áº á¡áá»ááºá¡áááºááœá±áᬠá¡áá»á¬ážá¡á¬ážááŒáá·áº text file áá áºáá¯á áá«ááŸááá¯áẠExcel table á¡áá±áá²á· ááŸááááºáá«áááºá áá¶áá±á¬ááºážá áœá¬ Pandas á disk á០á¡áá»ááºá¡áááºááœá±ááᯠload áá¯ááºááá¯á· ááœááºáá°áá²á·áááºážáááºážáá áºáá¯ááᯠáá±ážáá¬ážáá«áááºá á¥ááᬠCSV file ááᯠáááºááŸá¯ááá¯á· á¡ááœááºááœááºáá°áá«áááº:
df = pd.read_csv('file.csv')"Challenge" á¡ááá¯ááºážááŸá¬ á¡ááŒá¬ážáá±á¬ data loading ááá°áá¬áá»á¬ážá á¡ááŒááºááŸá¬ááŸááá²á· website ááœá±á០data ááᯠááá°ááŒááºážá¡áá«á¡áááºá ááœá±á·ááá«áááºá
Data Scientist áá
áºáŠážá¡áá±áá²á· á¡áá»ááºá¡áááºááœá±ááᯠááŸá¬ááœá±ááá¯á· áá¯ááºááááºáá«áááºá áá«ááŒá±á¬áá·áº visualization áá¯ááºááá¯ááºááá¯á· á¡áá±ážááŒá®ážáá«áááºá DataFrame ááŒá®ážáá
áºáá¯ááŸááá²á·á¡áá«ááŸá¬ á¡áá»á¬ážá¡á¬ážááŒáá·áº ááááá¯á¶ážá¡áááºážááœá±ááᯠprint áá¯ááºááŒá®áž á¡á¬ážáá¯á¶ážááᯠááŸááºáááºá
áœá¬áá¯ááºáá±áááºááá¯á· áá±áá»á¬áá»ááºáááºáá«áááºá áá«ááᯠdf.head() ááᯠáá±á«áºááŒá®áž áá¯ááºááá¯ááºáá«áááºá Jupyter Notebook ááŸá¬ run áá¯ááºááẠDataFrame ááᯠtabular áá¯á¶á
á¶ááŸááŸáááá²á· ááŒááá«áááá·áºáááºá
plot function ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž column ááá»áá¯á·ááᯠvisualize áá¯ááºáá¬ááᯠááŒáá·áºááŒá®ážáá¬ážááŒá
áºáá«áááºá plot áᬠá¡áá¯ááºá¡áá±á¬áºáá»á¬ážá
áœá¬á¡ááœáẠá¡áá¯á¶ážáááºááŒá®áž kind= parameter ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž graph á¡áá»áá¯ážá¡á
á¬ážáá»á¬ážá
áœá¬ááᯠáá¶á·ááá¯ážáá±ážááá¯ááºáá«áááºá ááá¯á·áá±á¬áº matplotlib library ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž ááá¯ááá¯ááŸá¯ááºááœá±ážáá²á·á¡áá¬ááœá±ááᯠplot áá¯ááºááá¯ááºáá«áááºá Data visualization ááᯠáá®ážááá·áºáááºáááºážá
á¬ááœá±ááŸá¬ á¡áá±ážá
áááºáá±á·áá¬áá«áááºá
áá®á¡áá»ááºážáá»á¯ááºááŸá¬ Pandas áá²á· á¡áá±ážááŒá®ážáá¯á¶áž concept ááœá±ááᯠáá±á¬áºááŒáá¬ážáá«áááºá ááá¯á·áá±á¬áº library áᬠá¡ááœááºáá»á±á¬ááœá±á·ááŒá®áž áááááá¯ááºááá¯ááºáá²á·á¡áá¬ááœá±ááŸá¬ á¡ááá·áºá¡áááºáááŸááá«áá°áž! á¡áá¯áá±á¬á· áá®á¡áááºááá¬ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž á¡áá°ážááŒá¿áá¬ááᯠááŒá±ááŸááºážááŒáá«á áá¯á·á
ð Challenge 1: COVID-19 áá»á¶á·ááŸá¶á·ááŸá¯ááᯠááœá²ááŒááºážá áááºááŒá¬ááŒááºáž
áááááŒá¿áá¬ááŸá¬ COVID-19 áá±á¬áá«áá»á¶á·ááŸá¶á·ááŸá¯ááᯠáá±á¬áºáááºáá áºáá¯á¡áá±áá²á· áá±á¬áºááŒáá«áááºá áá«ááá¯áá¯ááºááá¯á· Center for Systems Science and Engineering (CSSE) á០Johns Hopkins University á áá±ážáá¬ážáá²á· á¡áá»áá¯ážáá»áá¯ážáá±á¬ááá¯ááºáá¶áá»á¬ážá០áá°ážá ááºáá¶ááá°á¡áá±á¡ááœááºá¡áá»ááºá¡áááºááœá±ááᯠá¡áá¯á¶ážááŒá¯áá«áááºá Dataset ááᯠáá® GitHub Repository ááŸá¬ áááá¯ááºáá«áááºá
á¡áá»ááºá¡áááºááœá±ááᯠáááºááá¯ááá¯ááºááœááºáááá²ááá¯áá¬ááᯠááŒáááá¯á· notebook-covidspread.ipynb ááᯠááœáá·áºááŒá®áž á¡áá±á«áºá០á¡á±á¬ááºááá¯á· áááºááŸá¯áá«á Cell ááœá±ááᯠrun áá¯ááºááá¯ááºááŒá®áž á¡áá¯á¶ážááŸá¬ áá»áœááºáá±á¬áºááá¯á·áá¬ážáá²á·áá²á· challenge ááœá±ááᯠáá¯ááºááá¯ááºáá«áááºá
Jupyter Notebook ááŸá¬ code ááᯠáááºááᯠrun áá¯ááºáááá² áááááẠáá®áá±á¬ááºážáá«áž ááᯠááŒáá·áºáá«á
á¡áá»ááºá¡áááºááœá±áᬠtabular áá¯á¶á á¶áá²á· ááŸááááºáá±ááá·áº ááá»áá¯á·á¡áá«ááŸá¬ áá¯á¶á á¶áááŸááá²á· á¡áá»ááºá¡áááºááœá±á á¥ááᬠtext áá«ááŸááá¯áẠimage ááœá±ááᯠááá¯ááºááœááºááááºáá«áááºá áá®á¡áá«ááŸá¬ á¡áá±á«áºááŸá¬ ááŒáá¬ážáá²á· data processing áááºážáááºážááœá±ááᯠá¡áá¯á¶ážááŒá¯ááá¯á· structured data ááᯠextract áá¯ááºááá¯á· ááá¯á¡ááºáá«áááºá á¥ááá¬á¡áá»áá¯á·ááŸá¬:
- Text á០keyword ááœá±ááᯠextract áá¯ááºááŒá®áž keyword ááœá± áááºáá±á¬ááºááŒáááºááœá±á·ááá²ááá¯áᬠááŒáá·áºááŒááºáž
- Neural networks ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž áá¯á¶áá²ááŸá¬ááŸááá²á· object ááœá±ááᯠá¡áá»ááºá¡áááºááá°ááŒááºáž
- Video camera feed á០áá°ááœá±á·áá²á·áá¶á á¬ážáá»ááºá¡áá»ááºá¡áááºááá°ááŒááºáž
ð Challenge 2: COVID Papers ááᯠááœá²ááŒááºážá áááºááŒá¬ááŒááºáž
áá® challenge ááŸá¬ COVID pandemic áá²á· áááºá ááºáá²á· áááá¹áá¶á á¬áááºážááœá±ááᯠááá¯ááºááœááºáá«áááºá CORD-19 Dataset ááŸá¬ metadata áá²á· abstract ááœá±áá«áááºáá²á· COVID áá±á«áºááŸá¬ á á¬áááºáž áááá áá»á±á¬áº (áá±ážáá¬ážáá»áááºá¡áá»áááºááŸá¬) áááá¯ááºáá«áááºá á¡áá»áá¯á·á á¬áááºážááœá±á¡ááœáẠfull text áá«áááºáá«áááºá
Text Analytics for Health cognitive service ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž dataset ááᯠááœá²ááŒááºážá áááºááŒá¬áá¬ážáá²á· ááá°áá¬ááᯠáá® blog post ááŸá¬ áá±á¬áºááŒáá¬ážáá«áááºá áá»áœááºáá±á¬áºááá¯á· áá® analysis áá²á· ááá¯ážááŸááºážáá²á· version ááᯠááœá±ážááœá±ážáá«áááºá
NOTE: Dataset ááᯠrepository ááŸá¬ ááá«áááºáá«áá°ážá Kaggle ááŸá¬
metadata.csvááᯠdownload áá¯ááºááá¯á·ááá¯á¡ááºááá¯ááºáá«áááºá Kaggle ááŸá¬ registration áá¯ááºááá¯á·ááá¯á¡ááºááá¯ááºáá«áááºá áá®áá±áᬠááŸá¬ registration áááá¯á¡ááºáá² dataset ááᯠdownload áá¯ááºááá¯ááºáá«áááºá áá«áá±ááá·áº metadata file á¡ááŒáẠfull texts á¡á¬ážáá¯á¶ážáá«áááºáá«áááºá
notebook-papers.ipynb ááᯠááœáá·áºááŒá®áž á¡áá±á«áºá០á¡á±á¬ááºááá¯á· áááºááŸá¯áá«á Cell ááœá±ááᯠrun áá¯ááºááá¯ááºááŒá®áž á¡áá¯á¶ážááŸá¬ áá»áœááºáá±á¬áºááá¯á·áá¬ážáá²á·áá²á· challenge ááœá±ááᯠáá¯ááºááá¯ááºáá«áááºá
áááºááá±á¬ááŸá¬ áá¯á¶ááœá±ááᯠáá¬ážáááºááá¯ááºáá²á· á¡ááœááºá¡á áœááºážáááºáá²á· AI model ááœá± ááœá¶á·ááŒáá¯ážáá¬áá«áááºá Pre-trained neural networks áá«ááŸááá¯áẠcloud services ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž á¡áá¯ááºá¡áá»áá¯ážáá»áá¯ážááᯠááŒá±ááŸááºážááá¯ááºáá«áááºá á¥ááá¬á¡áá»áá¯á·ááŸá¬:
- Image Classification - áá¯á¶ááᯠpre-defined class áá áºáá¯ááŸá¬ categorize áá¯ááºááá¯ááºáá«áááºá Custom Vision ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž ááá¯ááºááá¯áẠimage classifier ááœá±ááᯠtraining áá¯ááºááá¯ááºáá«áááºá
- Object Detection - áá¯á¶áá²ááŸá¬ object ááœá±ááᯠdetect áá¯ááºááá¯ááºáá«áááºá computer vision á á¡áá»á¬ážá¡á¬ážááŒáá·áº object ááœá±ááᯠdetect áá¯ááºááá¯ááºááŒá®áž Custom Vision ááᯠtraining áá¯ááºááŒá®áž á¡áá°áž object ááœá±ááᯠdetect áá¯ááºááá¯ááºáá«áááºá
- Face Detection - á¡áááºá áá»á¬áž/áá áá¶á á¬ážáá»áẠdetection áá«áááºáá«áááºá Face API ááᯠá¡áá¯á¶ážááŒá¯ááá¯ááºáá«áááºá
Python SDK ááœá±ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž cloud services ááœá±ááᯠáá±á«áºááá¯ááºááŒá®áž data exploration workflow ááŸá¬ áá±á«ááºážá ááºááá¯ááºáá«áááºá
Image data source ááœá±ááᯠexplore áá¯ááºáá²á· ááá°áá¬á¡áá»áá¯á·ááŸá¬:
- How to Learn Data Science without Coding blog post ááŸá¬ Instagram áá¯á¶ááœá±ááᯠexplore áá¯ááºááŒá®áž áá¯á¶áá áºáá¯á¶ááᯠáááºááá¯áá°ááœá± like áá±ážáááºááá¯áᬠáá¬ážáááºááá¯á· ááŒáá¯ážá á¬ážáá«áááºá computer vision ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž áá¯á¶ááœá±ááá± á¡áá»ááºá¡áááºááœá±ááᯠextract áá¯ááºááŒá®áž Azure Machine Learning AutoML ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž model áá áºáá¯ááᯠáááºáá±á¬ááºáá«áááºá
- Facial Studies Workshop ááŸá¬ Face API ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž áá¯á¶áá²ááŸá¬ááŸááá²á· áá°ááœá±á·áá²á·áá¶á á¬ážáá»ááºááᯠextract áá¯ááºááŒá®áž áá°ááœá±ááᯠáááºááá¯áá»á±á¬áºááœáŸááºá á±áááºááá¯áᬠáá¬ážáááºááá¯á· ááŒáá¯ážá á¬ážáá«áááºá
Structured áá«ááŸááá¯áẠunstructured data ááŸááá±áá«á Python ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž data processing áá²á· áá¬ážáááºááŸá¯áá²á· áááºáááºáá²á· á¡ááá·áºá¡á¬ážáá¯á¶ážááᯠáá¯ááºááá¯ááºáá«áááºá Python áᬠdata processing á¡ááœáẠá¡ááœáẠflexible ááŒá áºááŒá®áž áá«ááŒá±á¬áá·áº Data Scientist á¡áá»á¬ážá á¯á Python ááᯠá¡ááá tool á¡áá±áá²á· á¡áá¯á¶ážááŒá¯ááŒáá«áááºá Data science ááᯠá¡áá±ážáá¬ážááŒá®áž áá±á·áá¬áá»ááºááẠPython ááᯠáááºáááºááŸáá¯ááºážááŸáá¯ááºáž áá±á·áá¬ááá¯á· á¡ááŒá¶áá±ážáá«áááºá
Books
Online Resources
- Official 10 minutes to Pandas tutorial
- Documentation on Pandas Visualization
Learning Python
- Learn Python in a Fun Way with Turtle Graphics and Fractals
- Take your First Steps with Python Learning Path on Microsoft Learn
Perform more detailed data study for the challenges above
áá®áááºáááºážá
á¬ááᯠDmitry Soshnikov ááŸ
áááºááºááá¯ááºááŸááºáá»ááº:
á€á
á¬ááœááºá
á¬áááºážááᯠAI áá¬áá¬ááŒááºáááºáá±á¬ááºááŸá¯ Co-op Translator ááᯠá¡áá¯á¶ážááŒá¯á áá¬áá¬ááŒááºáá¬ážáá«áááºá áá»áœááºá¯ááºááá¯á·ááẠáááá»ááŸááºáááºááŸá¯á¡ááœáẠááŒáá¯ážá
á¬ážáá±áá«áá±á¬áºáááºážá á¡ááá¯á¡áá»á±á¬ááºáá¬áá¬ááŒááºááá¯ááŸá¯áá»á¬ážááœáẠá¡ááŸá¬ážáá»á¬áž ááá¯á·ááá¯áẠááááá»ááŸá¯áá»á¬áž áá«áááºááá¯ááºáááºááᯠáá»á±ážáá°ážááŒá¯á áááááŒá¯áá«á áá°áááºážáá¬áá¬á
áá¬ážááŒáá·áº áá±ážáá¬ážáá¬ážáá±á¬ á
á¬ááœááºá
á¬áááºážááᯠá¡á¬áá¬áááºáá±á¬ áááºážááŒá
áºá¡ááŒá
ẠáááºááŸááºááá·áºáá«áááºá á¡áá±ážááŒá®ážáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážá¡ááœáẠáá°áá¬ážááá¬ááŸááºáá»á¬ážá ááá±á¬áºáááºááŸááºáááºáá¬áá¬ááŒááºááá¯ááŸá¯ááᯠá¡ááŒá¶ááŒá¯áá«áááºá á€áá¬áá¬ááŒááºááá¯ááŸá¯ááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá០ááŒá
áºáá±á«áºáá¬áá±á¬ áá¬ážáááºááŸá¯ááŸá¬ážáá»á¬áž ááá¯á·ááá¯áẠá¡áááá¹áá¬ááºááŸá¬ážáá»á¬ážá¡ááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá¬áááºááá°áá«á






