背景:目前我们已经在Bert模型上跑通了symbolic-trace的训练流程,但是只有两个较小的子图进行了静态图的组网,大部分代码还跑在动态图下 目标:优化symbolic-trace的代码,消除unsupport的情况,使得Bert模型在symbolic-trace下有更优的子图质量(最理想情况下只有一个子图,并且所有组网相关的代码都在这个子图中) 思路:目前我们在跑通bert训练流程的过程中,整理了一个文档,记录了遇到的问题、相关排查的思路以及已经暴露的问题。可以重点关注下面PDF中的第二章和第四章了解一下排查的思路,尝试解决第五章中列出的相关问题 [Bert跑通symbolic_trace.pdf](https://github.com/2742195759/paddle-symbolic-trace/files/11652728/Bert.symbolic_trace.pdf)
背景:目前我们已经在Bert模型上跑通了symbolic-trace的训练流程,但是只有两个较小的子图进行了静态图的组网,大部分代码还跑在动态图下
目标:优化symbolic-trace的代码,消除unsupport的情况,使得Bert模型在symbolic-trace下有更优的子图质量(最理想情况下只有一个子图,并且所有组网相关的代码都在这个子图中)
思路:目前我们在跑通bert训练流程的过程中,整理了一个文档,记录了遇到的问题、相关排查的思路以及已经暴露的问题。可以重点关注下面PDF中的第二章和第四章了解一下排查的思路,尝试解决第五章中列出的相关问题
Bert跑通symbolic_trace.pdf