Nội dung
- Năm năm Annapurna Labs đặt nền cho câu hỏi về quyền tự chủ AI
- Inference và agent mở rộng việc marketing có thể tự vận hành
- 700 tỷ token mỗi ngày làm lộ chi phí kiểm soát agent
- Việt Nam cần bắt đầu hạ tầng AI từ dữ liệu và quy trình duyệt
- Chọn một quy trình marketing để đo trước khi mở rộng hạ tầng
- Nguồn tham khảo
Hạ tầng AI đang chuyển từ phần việc chỉ dành cho đội kỹ thuật thành một sản phẩm mà doanh nghiệp có thể tự xây, tự chạy và tự kiểm soát. Với marketer Việt Nam, thay đổi này quan trọng vì quyền sở hữu agent, dữ liệu dùng để huấn luyện và cách tính chi phí sẽ ảnh hưởng trực tiếp đến khả năng vận hành marketing bằng AI.
Trường hợp Stu Cao rời Annapurna Labs của Amazon để gia nhập Prime Intellect cho thấy cuộc cạnh tranh không chỉ nằm ở chip hay model. Giá trị đang chuyển sang khả năng nối training, inference, công cụ agent và môi trường kiểm thử thành một quy trình có thể dùng được.
Điểm chính
- Prime Intellect gộp training, RL, sandbox, agent harness và inference trong cùng một hệ thống.
- Mức dùng nội bộ 600–700 tỷ token mỗi ngày là tín hiệu về nhu cầu hạ tầng cho agent chạy liên tục.
- Hệ mở giúp doanh nghiệp giảm phụ thuộc vào một nhà cung cấp, nhưng làm tăng trách nhiệm về dữ liệu, quyền truy cập và kiểm tra đầu ra.
- Doanh nghiệp Việt nên thử từ một quy trình marketing có dữ liệu rõ ràng, thay vì mua hạ tầng trước khi xác định việc cần giải quyết.
Năm năm Annapurna Labs đặt nền cho câu hỏi về quyền tự chủ AI
Stu Cao mô tả năm năm làm việc tại Amazon và Annapurna Labs như một giai đoạn giúp ông tích lũy kinh nghiệm về hạ tầng. Việc chuyển sang Prime Intellect không được trình bày như một bước nhảy vì danh tiếng, mà là lựa chọn theo đuổi một hệ thống AI mở, nơi cá nhân và doanh nghiệp có thể xây “intelligence” của riêng mình. Đây là điểm đáng chú ý với marketing: agent không nhất thiết phải là một công cụ xa lạ nằm ngoài quy trình, mà có thể trở thành phần mềm do doanh nghiệp sở hữu cách dùng, dữ liệu và quy tắc kiểm soát.
Trong trải nghiệm nội bộ được chia sẻ, đội ngũ Prime Intellect đưa endpoint GLM-5.3 có độ tương tác cao vào các agent của họ. Khi tốc độ tăng, các agent được dùng cho công việc hằng ngày; sau đó cùng hạ tầng này còn chạy RL rollouts, tạo dữ liệu tổng hợp và nghiên cứu agent có chuỗi nhiệm vụ dài. Nguồn gốc của các con số và mô tả này là bài đăng của Stu Cao trên X.
Inference và agent mở rộng việc marketing có thể tự vận hành
Phần thay đổi có thể kiểm tra từ nguồn nằm ở cách Prime Intellect kết hợp nhiều thành phần trong một hệ thống. Điều này không đồng nghĩa doanh nghiệp Việt có thể sao chép nguyên mô hình, nhưng nó cho thấy những phần việc trước đây phải nối bằng nhiều dịch vụ đang được đặt cạnh nhau.
Prime Inference: đội marketing phải tính cả độ trễ và quyền kiểm soát
Prime Inference là phần phục vụ model để agent tạo phản hồi và thực hiện nhiệm vụ. Khi inference nằm cùng hệ thống với training, RL environment, sandbox và agent harness, đội marketing có thể thiết kế quy trình liền mạch hơn: dữ liệu được chuẩn bị, model được thử, agent được chạy trong môi trường giới hạn rồi mới đưa vào việc thật. Với marketer, câu hỏi không chỉ là model trả lời hay không. Cần đo thời gian phản hồi, số lần agent gọi công cụ sai và nơi dữ liệu được lưu. Các thành phần này được Stu Cao liệt kê trong bài đăng gốc.
Prime Agent harness: việc giao cho máy phải có điểm dừng rõ
Agent harness là bộ khung để agent làm việc với công cụ và nhiệm vụ dài hơn một câu hỏi đơn lẻ. Trong marketing, nó có thể liên quan đến việc đọc brief, tìm dữ liệu chiến dịch, tạo bản nháp và chuyển kết quả cho người duyệt. Tuy nhiên, một quy trình như vậy cần giới hạn rõ máy được tự làm tới đâu. Không nên cho agent tự gửi email, sửa ngân sách hay công bố nội dung chỉ vì nó gọi được công cụ. Mô tả về Prime Agent harness, sandbox và verifiers xuất hiện trong cùng nguồn của Stu Cao.
700 tỷ token mỗi ngày làm lộ chi phí kiểm soát agent
Khối lượng token lớn: ngân sách phải tính cả kiểm tra đầu ra
Stu Cao cho biết mức dùng inference nội bộ của Prime Intellect đạt khoảng 600–700 tỷ token mỗi ngày. Đây là số liệu của một đội ngũ cụ thể, không phải chuẩn chung cho doanh nghiệp. Dù vậy, nó gợi ra một vấn đề thực tế: khi agent chạy liên tục, tiền không chỉ nằm ở model. Doanh nghiệp còn phải trả cho lưu trữ dữ liệu, giám sát, kiểm thử, xử lý lỗi và thời gian con người rà lại kết quả.
Hai chi phí dễ bị bỏ sót là các lần chạy sai và dữ liệu tổng hợp chất lượng thấp. Nếu agent gọi công cụ lặp lại hoặc tạo nội dung không dùng được, ngân sách inference vẫn bị tiêu hao. Vì vậy, dashboard cho marketing cần có số lần chạy, tỷ lệ hoàn thành, tỷ lệ phải sửa và chi phí trên một đầu ra đạt yêu cầu.
Open source: quyền tự chủ đi cùng trách nhiệm dữ liệu
Prime Intellect nhấn mạnh nhiều thành phần của hệ thống là open source. Điều này có thể giúp doanh nghiệp xem xét cách hệ thống vận hành và giảm lệ thuộc vào một dịch vụ đóng. Nhưng open source không tự động làm dữ liệu an toàn hay đầu ra đúng. Đội marketing vẫn phải xác định dữ liệu nào được đưa vào prompt, dữ liệu nào dùng để tạo dữ liệu tổng hợp, ai được xem log và ai chịu trách nhiệm khi agent làm sai.
Với các chiến dịch có dữ liệu khách hàng, doanh nghiệp cần lập danh sách dữ liệu được phép dùng, đặt quyền truy cập theo vai trò và giữ bước duyệt của con người ở các việc chạm tới khách hàng hoặc ngân sách. Đây là phần việc tuân thủ phát sinh từ cách triển khai, không thể giải quyết chỉ bằng việc chọn một model tốt hơn.
Việt Nam cần bắt đầu hạ tầng AI từ dữ liệu và quy trình duyệt
Doanh nghiệp Việt không nên xem câu chuyện của Prime Intellect như lời kêu gọi đầu tư ngay vào một cụm GPU. Điều có thể học là cách nối công cụ, dữ liệu và vòng kiểm tra thành một quy trình đo được. Với đội marketing nhỏ, điểm bắt đầu hợp lý có thể là một agent đọc dữ liệu hiệu quả quảng cáo và tạo bản phân tích nội bộ, chưa có quyền sửa ngân sách hay xuất bản nội dung.
Tiếng Việt cũng cần được kiểm tra bằng dữ liệu thật của doanh nghiệp. Một agent có thể chạy nhanh nhưng vẫn hiểu sai tên sản phẩm, cách gọi khách hàng hoặc quy định duyệt nội dung. Do đó, trước khi mở rộng, đội ngũ nên thử với các brief cũ, đo lỗi theo nhóm và kiểm tra xem dữ liệu nào đã rời khỏi hệ thống.
Chọn một quy trình marketing để đo trước khi mở rộng hạ tầng
- Chọn một việc có đầu vào và đầu ra rõ, chẳng hạn tổng hợp hiệu quả chiến dịch hoặc phân loại yêu cầu nội bộ.
- Ghi lại chi phí mỗi lần chạy, thời gian phản hồi, số lỗi gọi công cụ và số giờ người thật phải sửa.
- Đặt quyền cho agent theo từng mức: chỉ đọc dữ liệu, tạo bản nháp, đề xuất hành động; chưa cho tự gửi hoặc tự chi tiền.
- Kiểm tra dữ liệu tiếng Việt, dữ liệu khách hàng và log truy cập trước khi nối agent vào hệ thống marketing thật.
Xem thêm phân tích & hướng dẫn marketing tại https://marketing365.vn.
Theo dõi thêm các bài phân tích từ Marketing365 để cập nhật xu hướng marketing mới nhất.
Đọc thêm các bài cùng chuyên mục Động thái AI.
