Build your own Transformer from scratch using Pytorch

Building a Transformer model step by step in Pytorch

Pytorch를 이용해서 트랜스포머 모델을 밑바닥부터 구현해보는 예제

medium 블로그에 해외 저자가 쓴 튜토리얼인데 번역기 돌려도 읽을만 하고 천천히 공부하기에 좋아 보인다.

“Attention is All You Need” 논문이 나온지 오래 지났지만 어쨌든 아직도 많이 사용되고 언어모델 외에도 광범위하게 활용되고 있기 때문에 코드까지 공부하고 지나가면 도움이 많이 될 것 같다.

Outer Heaven