TPU v6e
이 문서에서는 Cloud TPU v6e(Trillium)의 아키텍처와 지원되는 구성을 설명합니다. API 및 로그와 같은 모든 기술적 측면과 이 문서 전체에서 Trillium은 v6e로 지칭됩니다.
포드당 칩 공간이 256개인 v6e는 v5e와 상당히 유사합니다. 이 시스템은 변환기, 텍스트 이미지 변환, 컨볼루셔널 신경망(CNN) 학습, 미세 조정, 서빙에 높은 효용성을 제공하는 제품이 되도록 최적화되어 있습니다.
시스템 아키텍처
각 v6e 칩에는 TensorCore 하나가 포함됩니다. 각 TensorCore에는 행렬 곱셈 단위(MXU) 2개, 벡터 단위 1개, 스칼라 단위 1개가 있습니다. 다음 표에는 TPU v5e와 비교한 TPU v6e의 주요 사양과 값이 나와 있습니다.
| 사양 | v5e | v6e |
|---|---|---|
| 성능/총소유비용(TCO)(예상) | 0.65x | 1 |
| 칩당 최고 컴퓨팅(bf16) | 197TFLOPs | 918TFLOPs |
| 칩당 최고 컴퓨팅(Int8) | 393TOPs | 1836TOPs |
| 칩당 HBM 용량 | 16GB | 32GB |
| 칩당 HBM 대역폭 | 800GBps | 1600GBps |