Startup Mỹ tuyên bố chip AI nhanh gấp 20 lần Nvidia H100

Một con chip chỉ làm được đúng một việc vừa giúp startup đứng sau nó chạm định giá 20 tỷ USD.

Etched gọi vốn dồn dập, định giá tăng gấp 4 lần

Etched, startup chip AI có trụ sở tại San Jose, đang đàm phán vòng gọi vốn mới ở mức định giá khoảng 20 tỷ USD. Jane Street, nhà đầu tư hiện tại của công ty, dẫn dắt vòng này. Song song đó, Sequoia Capital dẫn dắt một vòng riêng biệt định giá Etched ở mức 10 tỷ USD. Cả hai giao dịch chưa chốt và điều khoản có thể còn thay đổi. Chỉ vài tháng trước, Etched mới đạt định giá 5 tỷ USD với 1 tỷ USD đơn hàng đã ký kết, tức định giá mới cao gấp 4 lần trong thời gian ngắn.

Sohu: chip chỉ biết làm một việc, nhưng làm rất nhanh

Etched không cạnh tranh trực tiếp với Nvidia bằng cách làm GPU đa năng. Công ty xây dựng Sohu, ASIC (chip chuyên dụng) đầu tiên trên thế giới chỉ chạy được kiến trúc Transformer, nền tảng đứng sau gần như mọi mô hình ngôn ngữ lớn hiện nay. Sohu không hỗ trợ huấn luyện mô hình, không hỗ trợ các phép toán độ chính xác cao, và bạn không thể dùng nó để chạy phần mềm khác. Đổi lại, toàn bộ transistor trên chip chỉ phục vụ một nhiệm vụ: suy luận (inference) cho Transformer, càng nhanh càng tốt.

Con số hiệu năng: 500.000 token/giây, nhanh gấp 20 lần H100

Sohu được sản xuất trên tiến trình TSMC 4nm (N4P) và tích hợp 144GB bộ nhớ HBM3E. Etched tuyên bố chip đạt hơn 500.000 token mỗi giây khi chạy mô hình Llama 70B, nhanh gấp tới 20 lần Nvidia H100 trong một số tác vụ. Với cùng khối lượng suy luận AI, bạn nhận kết quả nhanh hơn và trả ít điện năng hơn cho mỗi token sinh ra.

Vì sao câu chuyện này quan trọng với bạn

Nhu cầu chip suy luận AI đang tăng nhanh hơn tốc độ Nvidia có thể cung cấp GPU đa năng, và các nhà đầu tư như Jane Street, Sequoia Capital đang đặt cược tiền thật vào hướng đi "chip một nhiệm vụ, chuyên sâu" thay vì phần cứng đa dụng. Nếu bạn đang xây dựng sản phẩm dùng LLM ở quy mô lớn, xu hướng ASIC chuyên dụng như Sohu có thể là lý do chi phí suy luận giảm mạnh trong vài năm tới, và cũng là lời nhắc rằng cuộc đua hạ tầng AI không chỉ xoay quanh một cái tên duy nhất.

Bạn nghĩ chip chuyên dụng như Sohu có thể thay thế GPU đa năng trong vài năm tới không? Để lại bình luận nhé!

#EtchedAI #ChipAI #Nvidia #AIInfrastructure #VibeAICoder