20200828slide.tex

\documentclass[aspectratio=169,dvipdfmx,14pt,notheorems]{beamer}
%%%% 和文用 %%%%%
\usepackage{bxdpx-beamer}
\usepackage{pxjahyper}
\usepackage{minijs}%和文用
\renewcommand{\kanjifamilydefault}{\gtdefault}%和文用

%%%% スライドの見た目 %%%%%
\usetheme{Madrid}
\usefonttheme{professionalfonts}
\setbeamertemplate{frametitle}[default][center]
\setbeamertemplate{navigation symbols}{}
\setbeamercovered{transparent}%好みに応じてどうぞ）
\setbeamertemplate{blocks}[rounded]
\useinnertheme{circles}
\setbeamertemplate{footline}[page number]
\setbeamerfont{footline}{size=\normalsize,series=\bfseries}
\setbeamercolor{footline}{fg=black,bg=black}
%%%%

%%%% 定義環境 %%%%%
\usepackage{amsmath,amssymb}
\usepackage{amsthm}
\theoremstyle{definition}
\newtheorem{theorem}{定理}
\newtheorem{definition}{定義}
\newtheorem{proposition}{命題}
\newtheorem{lemma}{補題}
\newtheorem{corollary}{系}
\newtheorem{conjecture}{予想}
\newtheorem*{remark}{Remark}
\renewcommand{\proofname}{}
%%%%%%%%%

%%%%% フォント基本設定 %%%%%
\usepackage[T1]{fontenc}%8bit フォント
\usepackage{textcomp}%欧文フォントの追加
\usepackage[utf8]{inputenc}%文字コードをUTF-8
\usepackage[deluxe]{otf}%otfパッケージ
\usepackage{lxfonts}%数式・英文ローマン体を Lxfont にする
\usepackage{bm}%数式太字
%%%%%%%%%%

%%%%% PythonTeX %%%%%
\usepackage[makestderr]{pythontex}
\restartpythontexsession{\thesection}
 
\title{インメモリーストリーム活用術}
\subtitle{How to Use In-Memory Streams}
\author[Hayao]{Hayao Suzuki}
\institute[PyCon JP 2020]{PyCon JP 2020}
\date{August 29, 2020}

\begin{document}

\begin{frame}[plain]\frametitle{}
\titlepage %表紙
\end{frame}

\begin{frame}\frametitle{発表に際して}

\begin{block}{GitHubに資料があります}
\begin{itemize}
\item \url{https://github.com/HayaoSuzuki/pyconjp2020}
\end{itemize}
\end{block}

\begin{block}{Twitterのハッシュタグ}
\begin{itemize}
\item \#pyconjp\_1
\end{itemize}
\end{block}

\begin{block}{PyCon JP Fellow Slack}
\begin{itemize}
\item \#jp-2020-track-1
\end{itemize}
\end{block}
\end{frame}

\section{Self Introduction}

\begin{frame}\frametitle{Who am I ?}

\begin{block}{お前誰よ}
\begin{description}
\item[Name] Hayao Suzuki（鈴木　駿）
\item[Twitter] \href{https://twitter.com/CardinalXaro}{@CardinalXaro}
\item[Work] Python Programmer at iRidge, Inc.
\end{description}
\end{block}

\end{frame}

\begin{frame}\frametitle{Who am I ?}

\begin{block}{Technical Reviewer}
\begin{itemize}
\item \structure{Effective Python 第2版}(O'Reilly Japan)
\item \structure{動かして学ぶ量子コンピュータプログラミング}(O'Reilly Japan)
\end{itemize}
\end{block}
\url{https://xaro.hatenablog.jp/}にリストがあります。
\end{frame}

\begin{frame}\frametitle{Who am I ?}

\begin{block}{Selected Talks}
\begin{itemize}
\item \structure{レガシーDjangoアプリケーションの現代化}(DjangoCongress JP 2018)
\item \structure{SymPyによる数式処理}(PyCon JP 2018)
\item \structure{Pythonと楽しむ初等整数論}(PyCon mini Hiroshima 2019)
\item \structure{君はcmathを知っているか}(PyCon mini Shizuoka 2020)
\end{itemize}
\end{block}
\url{https://xaro.hatenablog.jp/}にリストがあります。
\end{frame}

\begin{frame}\frametitle{今日の目標}

\begin{block}{こんな課題を解決したい！}
\begin{itemize}
\item インターネット経由で数GBサイズのデータを取得し、CSVファイルに加工する
\item クラウド上に構築した既存のシステムに追加する形で実装する
\item 毎日実行する
\end{itemize}
\end{block}

\begin{alertblock}{クラウドサービスは従量課金}
なるべく迅速に処理したい！
\end{alertblock}
\end{frame}

\begin{frame}\frametitle{今日の目標}

\begin{block}{処理の流れ}
\begin{itemize}
\item インターネット経由で数GBサイズのデータを取得する
\item 数GBサイズのデータをCSVファイルに加工する
\item CSVファイルをZIP圧縮する
\item ZIP圧縮データをクラウドストレージにアップロードする
\end{itemize}
\end{block}

\begin{exampleblock}{分析}
\begin{itemize}
\item データサイズが大きい
\item データの加工は単純な処理
\end{itemize}
\end{exampleblock}
\end{frame}

\begin{frame}\frametitle{今日の目標}

\begin{block}{ボトルネックはどこか}
\begin{itemize}
\item ZIP圧縮はそれほど大変ではない
\item データ加工は単純な処理
\item ボトルネックはI/O処理にありそう
\end{itemize}
\end{block}
何とかしてI/O処理を迅速に処理したい！！！
\end{frame}

\begin{frame}\frametitle{Today's Theme}
\begin{center}
\huge{In-Memory Streams}
\end{center}
\end{frame}

\section{built-in function: open}

\begin{frame}\frametitle{Stream?}

\begin{block}{そもそもストリームって何？}
ストリームはファイルオブジェクトである。
\end{block}

\end{frame}

\begin{frame}\frametitle{File Object?}

\begin{block}{ファイルオブジェクトって何？}
\begin{itemize}
\item \texttt{read()}や\texttt{write()}などのメソッドを持つオブジェクト
\item ディスク上のファイルや別の場所にあるストレージ、入出力機器とやりとりができる
\end{itemize}
\end{block}

\end{frame}

\begin{frame}\frametitle{File Object?}

\begin{block}{ファイルオブジェクトたち}
\begin{itemize}
\item 生バイナリファイル
\item バッファ付きバイナリファイル
\item テキストファイル
\end{itemize}
\end{block}

\end{frame}

\subsection{open is useful}

\begin{frame}[fragile]\frametitle{使い方}

\begin{exampleblock}{テキストファイル}
\begin{pygments}{python}
f = open("myfile.txt", "r")
\end{pygments}
\end{exampleblock}

\begin{exampleblock}{バッファ付きバイナリ}
\begin{pygments}{python}
f = open("myfile.jpg", "rb")
\end{pygments}
\end{exampleblock}

\end{frame}

\subsection{open with Disk IO}

\begin{frame}\frametitle{\texttt{open}関数の裏側}
\begin{block}{\texttt{open}は何をしているのか？}
OSのシステムコールAPIを呼ぶ
\end{block}
\end{frame}

\begin{frame}[fragile]\frametitle{\texttt{open}関数の裏側}

\begin{exampleblock}{例：CSVに加工する}
\begin{pygments}{python}
with open("events.csv", "w") as csv_file:
    fieldnames = ["title", "started_at", "ended_at"]
    writer = csv.DictWriter(csv_file, fieldnames)
    writer.writeheader()
    writer.writerows(events)
\end{pygments}
\end{exampleblock}

\end{frame}

\begin{frame}[fragile]\frametitle{\texttt{open}関数の裏側}

\begin{exampleblock}{例：Windows}
\begin{itemize}
\item CreateFile（ファイルのアクセス権取得）
\item QueryAllInformationFile（ファイル情報の取得）
\item WriteFile（ファイルへ書き込む）
\item CloseFile（ファイルを閉じる）
\end{itemize}
\end{exampleblock}
Process Monitor経由で確認した。
\end{frame}

\begin{frame}[fragile]\frametitle{\texttt{open}関数の裏側}

\begin{exampleblock}{例：Ubuntu on WSL}
\begin{itemize}
\item openat （ファイルのオープン）
\item fstat（ファイル情報の取得）
\item ioctl（デバイス制御）
\item lseek（ファイルのシーク）
\item write（ファイルへ書き込む）
\item close（ファイルを閉じる）
\end{itemize}
\end{exampleblock}
\texttt{strace}経由で確認した。

\end{frame}

\begin{frame}\frametitle{最後に笑うのは誰だ}
\begin{block}{最終的な成果物はどこに置く？}
\begin{itemize}
\item ファイルをローカルに保存するのがゴールではない
\item ファイルをAWS S3などの外部に置きたい
\end{itemize}
\end{block}
ローカルデバイスにファイルを書き込みたくない！
\end{frame}

\begin{frame}\frametitle{Today's Theme}
\begin{center}
\huge{In-Memory Streams}
\end{center}
\end{frame}

\section{In-Memory Streams}

\begin{frame}\frametitle{インメモリーストリーム}
\begin{block}{インメモリーストリームとは}
\begin{itemize}
\item \texttt{str}や\texttt{bytes}をファイルオブジェクトのように扱える
\item 読み書き可能、ランダムアクセス可能
\end{itemize}
\end{block}
\end{frame}

\subsection{StringIO}

\begin{frame}[fragile]\frametitle{\texttt{StringIO}}

\begin{block}{\texttt{StringIO}}
テキストファイルのためのインメモリストリーム
\end{block}

\begin{exampleblock}{例：CSVを\texttt{StringIO}で取り扱う}
\begin{pygments}{python}
import io
with io.StringIO() as csv_file:
    fieldnames = ["title", "started_at", "ended_at"]
    writer = csv.DictWriter(csv_file, fieldnames)
    writer.writeheader()
    writer.writerows(events)
\end{pygments}
\end{exampleblock}

\end{frame}

\subsection{BytesIO}

\begin{frame}[fragile]\frametitle{\texttt{BytesIO}}

\begin{block}{\texttt{BytesIO}}
バッファ付きバイナリファイルのためのインメモリストリーム
\end{block}

\begin{exampleblock}{例：PNGを\texttt{BytesIO}で取り扱う}
\begin{pygments}{python}
import io
with io.BytesIO(png_bytes) as f:
    png_header = f.read(8)
    print(png_header)  # b'\x89PNG\r\n\x1a\n'
\end{pygments}
\end{exampleblock}

\end{frame}

\section{Case Study}

\begin{frame}\frametitle{復習：今日の目標}
\begin{block}{処理の流れ}
\begin{itemize}
\item インターネット経由で数GBサイズのデータを取得する
\item 数GBサイズのデータをCSVファイルに加工する
\item CSVファイルをZIP圧縮する
\item ZIP圧縮データをクラウドストレージにアップロードする
\end{itemize}
\end{block}

\end{frame}

\subsection{ZIP Compression in Memory using StringIO and BytesIO}

\begin{frame}[fragile]\frametitle{データをインターネット経由で取得する}

\begin{exampleblock}{例：Connpass APIをコールする}
\begin{pygments}{python}
with urllib.request.urlopen(url) as response:
    events = json.load(response)["events"]
\end{pygments}
\end{exampleblock}

\end{frame}

\begin{frame}[fragile]\frametitle{データを加工する}

\begin{exampleblock}{例：APIの取得結果をCSVにする}
\begin{pygments}{python}
with io.StringIO() as ts:
    header = ["title", "started_at", "ended_at"]
    writer = csv.DictWriter(ts, fieldnames=header)
    writer.writeheader()
    writer.writerows(events)
\end{pygments}
\end{exampleblock}

\end{frame}

\begin{frame}[fragile]\frametitle{データを圧縮\&アップロード}

\begin{exampleblock}{例：ZIPに圧縮してAWS S3にアップロード}
\begin{pygments}{python}
with io.BytesIO() as bs:
    with zipfile.ZipFile(bytes_stream, "w") as zf:
        zf.writestr("events.csv", ts.getvalue())
    bs.seek(0)  # ファイルシークがポイント
    s3.upload_fileobj(bs, "bucket", "events.zip")
\end{pygments}
\end{exampleblock}

\end{frame}

\section{Conclusion}

\begin{frame}[fragile]\frametitle{Conclusion}
\begin{block}{まとめ}
\begin{itemize}
\item \texttt{io}モジュールにはインメモリーストリームが含まれる。
\item \texttt{str}や\texttt{bytes}をファイルオブジェクトのように扱うことができる。
\item 通常の\texttt{open}と異なりシステムコールが呼ばれない。
\item ディスクへのI/Oを減らしたい、またはできない状況下での利用が最適である。
\end{itemize}
\end{block}
\texttt{io}モジュールを皆様の道具箱に入れてください！
\end{frame}
\end{document}