TPU v6e

이 문서에서는 Cloud TPU v6e(Trillium)의 아키텍처와 지원되는 구성을 설명합니다. API 및 로그와 같은 모든 기술적 측면과 이 문서 전체에서 Trillium은 v6e로 지칭됩니다.

포드당 칩 공간이 256개인 v6e는 v5e와 상당히 유사합니다. 이 시스템은 변환기, 텍스트 이미지 변환, 컨볼루셔널 신경망(CNN) 학습, 미세 조정, 서빙에 높은 효용성을 제공하는 제품이 되도록 최적화되어 있습니다.

시스템 아키텍처

각 v6e 칩에는 TensorCore 하나가 포함됩니다. 각 TensorCore에는 행렬 곱셈 단위(MXU) 2개, 벡터 단위 1개, 스칼라 단위 1개가 있습니다. 다음 표에는 TPU v5e와 비교한 TPU v6e의 주요 사양과 값이 나와 있습니다.

사양 v5e v6e
성능/총소유비용(TCO)(예상) 0.65x 1
칩당 최고 컴퓨팅(bf16) 197TFLOPs 918TFLOPs
칩당 최고 컴퓨팅(Int8) 393TOPs 1836TOPs
칩당 HBM 용량 16GB 32GB
칩당 HBM 대역폭 800GBps 1600GBps