Công ty AI của Thung lũng Silicon, Cerebras đã phát hành bảy mô hình GPT nguồn mở để cung cấp giải pháp thay thế cho các hệ thống độc quyền và được kiểm soát chặt chẽ hiện có.
Các mô hình GPT mã nguồn mở miễn phí bản quyền, bao gồm trọng số và công thức đào tạo đã được phát hành theo giấy phép Apache 2.0 rất dễ dãi của Cerebras, cơ sở hạ tầng AI có trụ sở tại Thung lũng Silicon dành cho công ty ứng dụng AI.
Ở một mức độ nhất định, bảy mô hình GPT là một bằng chứng về khái niệm cho siêu máy tính Cerebras Andromeda AI.
Cơ sở hạ tầng của Cerebras cho phép khách hàng của họ, chẳng hạn như Jasper AI Copywriter, nhanh chóng đào tạo các mô hình ngôn ngữ tùy chỉnh của riêng họ.
Một bài đăng trên blog của Cerebras về công nghệ phần cứng đã lưu ý:
“Chúng tôi đã đào tạo tất cả các mẫu Cerebras-GPT trên Cụm tỷ lệ wafer 16x Cerebras CS-2 có tên là Andromeda.
Cụm này cho phép tất cả các thử nghiệm được hoàn thành nhanh chóng mà không cần kỹ thuật hệ thống phân tán truyền thống và điều chỉnh song song mô hình cần thiết trên các cụm GPU.
Quan trọng nhất, nó cho phép các nhà nghiên cứu của chúng tôi tập trung vào thiết kế ML thay vì hệ thống phân tán. Chúng tôi tin rằng khả năng dễ dàng đào tạo các mô hình lớn là yếu tố quyết định chính cho cộng đồng rộng lớn, vì vậy chúng tôi đã cung cấp Cụm quy mô lát mỏng Cerebras trên đám mây thông qua Studio mô hình AI của Cerebras.”
Mô hình Cerebras GPT và tính minh bạch
Cerebras trích dẫn việc tập trung quyền sở hữu công nghệ AI cho một số công ty là lý do để tạo ra bảy mô hình GPT nguồn mở.
OpenAI, Meta và Deepmind giữ một lượng lớn thông tin về hệ thống của họ ở chế độ riêng tư và được kiểm soát chặt chẽ, điều này hạn chế sự đổi mới đối với bất cứ điều gì ba tập đoàn quyết định những người khác có thể làm với dữ liệu của họ.
Là một hệ thống nguồn đóng tốt nhất cho sự đổi mới trong AI? Hay nguồn mở là tương lai?
Cerebras viết:
“Để LLM trở thành một công nghệ mở và dễ tiếp cận, chúng tôi tin rằng điều quan trọng là phải có quyền truy cập vào các mô hình hiện đại mở, có thể tái sản xuất và miễn phí bản quyền cho cả ứng dụng nghiên cứu và thương mại.
Để đạt được mục tiêu đó, chúng tôi đã đào tạo một nhóm các mô hình máy biến áp bằng cách sử dụng các kỹ thuật mới nhất và bộ dữ liệu mở mà chúng tôi gọi là Cerebras-GPT.
Các mô hình này là dòng mô hình GPT đầu tiên được đào tạo bằng công thức Chinchilla và được phát hành thông qua giấy phép Apache 2.0.”
Do đó, bảy mô hình này được phát hành trên Ôm mặt và GitHub để khuyến khích nghiên cứu thêm thông qua truy cập mở vào công nghệ AI.
Những mô hình này đã được đào tạo với siêu máy tính Andromeda AI của Cerebras, một quá trình chỉ mất vài tuần để hoàn thành.
Cerebras-GPT hoàn toàn mở và minh bạch, không giống như các mẫu GPT mới nhất từ OpenAI (GPT-4), Deepmind và Meta OPT.
OpenAI và Deepmind Chinchilla không cung cấp giấy phép sử dụng các mô hình. Meta OPT chỉ cung cấp giấy phép phi thương mại.
GPT-4 của OpenAI hoàn toàn không minh bạch về dữ liệu đào tạo của họ. Họ có sử dụng dữ liệu Thu thập thông tin chung không? Họ đã tìm kiếm Internet và tạo bộ dữ liệu của riêng họ?
OpenAI đang giữ bí mật thông tin này (và hơn thế nữa), điều này trái ngược với phương pháp tiếp cận Cerebras-GPT hoàn toàn minh bạch.
Sau đây là tất cả công khai và minh bạch:
- kiến trúc mô hình
- Dữ liệu đào tạo
- trọng lượng mô hình
- trạm kiểm soát
- Trạng thái đào tạo tính toán tối ưu (có)
- Giấy phép sử dụng: Giấy phép Apache 2.0
Bảy phiên bản có các kiểu 111M, 256M, 590M, 1.3B, 2.7B, 6.7B và 13B.
Nó đã được công bố:
“Lần đầu tiên trong số các công ty phần cứng AI, các nhà nghiên cứu của Cerebras đã đào tạo, trên siêu máy tính Andromeda AI, một loạt bảy mẫu GPT với các thông số 111M, 256M, 590M, 1.3B, 2.7B, 6.7B và 13B.
Thông thường là một công việc kéo dài nhiều tháng, công việc này được hoàn thành trong vài tuần nhờ vào tốc độ đáng kinh ngạc của các hệ thống Cerebras CS-2 tạo nên Andromeda và khả năng kiến trúc phân luồng theo trọng lượng của Cerebras để loại bỏ khó khăn của máy tính phân tán.
Những kết quả này chứng minh rằng các hệ thống của Cerebras có thể đào tạo khối lượng công việc AI lớn nhất và phức tạp nhất hiện nay.
Đây là lần đầu tiên một bộ mô hình GPT, được đào tạo bằng cách sử dụng các kỹ thuật hiệu quả đào tạo tiên tiến, được công khai.
Các mô hình này được đào tạo với độ chính xác cao nhất cho ngân sách điện toán nhất định (tức là đào tạo hiệu quả bằng cách sử dụng công thức Chinchilla) để chúng có thời gian đào tạo thấp hơn, chi phí đào tạo thấp hơn và sử dụng ít năng lượng hơn bất kỳ mô hình công khai nào hiện có.”
Mã nguồn mở AI
Tổ chức Mozilla, nhà sản xuất phần mềm nguồn mở Firefox, đã thành lập một công ty có tên Mozilla.ai để xây dựng các hệ thống đề xuất và GPT nguồn mở đáng tin cậy và tôn trọng quyền riêng tư.
Databricks gần đây cũng đã phát hành một Bản sao GPT mã nguồn mở có tên là Dolly nhằm mục đích dân chủ hóa “sự kỳ diệu của ChatGPT”.
Ngoài bảy mẫu Cerebras GPT đó, một công ty khác có tên là Nomic AI đã phát hành GPT4All, một GPT mã nguồn mở có thể chạy trên máy tính xách tay.
Hôm nay, chúng tôi sẽ phát hành GPT4All, một chatbot kiểu trợ lý được chắt lọc từ 430.000 đầu ra GPT-3.5-Turbo mà bạn có thể chạy trên máy tính xách tay của mình. pic.twitter.com/VzvRYPLfoY
– Trí tuệ nhân tạo (@nomic_ai) 28 Tháng Ba, 2023
Phong trào AI nguồn mở đang ở giai đoạn sơ khai nhưng đang đạt được đà phát triển.
Công nghệ GPT đang tạo ra những thay đổi lớn giữa các ngành và có thể, có lẽ là không thể tránh khỏi, rằng các đóng góp nguồn mở có thể thay đổi bộ mặt của các ngành thúc đẩy sự thay đổi đó.
Nếu phong trào nguồn mở tiếp tục phát triển với tốc độ này, chúng ta có thể sắp chứng kiến một sự thay đổi trong đổi mới AI khiến nó không tập trung vào tay một số tập đoàn.
Đọc thông báo chính thức:
Hệ thống Cerebras phát hành bảy mô hình GPT mới được đào tạo trên các hệ thống quy mô wafer CS-2
Hình ảnh nổi bật của Shutterstock / Merkushev Vasiliy
