Kể từ khi ChatGPT xuất hiện, rất nhiều công cụ đã xuất hiện mà không tôn trọng quyền riêng tư của người dùng. May mắn thay, một số dự án nguồn mở đã xuất hiện để khắc phục điều này. Ollama AI là công cụ sử dụng trí tuệ nhân tạo trong terminal
Ứng dụng sẽ cho phép bạn sử dụng danh sách LLM trên thiết bị đầu cuối máy tính hoặc thiết bị bo mạch đơn miễn là phần cứng của bạn đủ mạnh. Điều tốt là thư viện của họ có các tùy chọn cho mọi kích cỡ.
LLM (Mô hình ngôn ngữ quy mô lớn) được sử dụng để hiểu ngôn ngữ tạo và dịch ở mức gần với ngôn ngữ tự nhiên. Họ được đào tạo với lượng dữ liệu văn bản khổng lồ. Những mô hình này có thể được sử dụng cho nhiều nhiệm vụ liên quan đến ngôn ngữ, chẳng hạn như trả lời câu hỏi, tóm tắt văn bản, dịch sang ngôn ngữ khác, tạo ra nội dung mạch lạc và sáng tạo, hoàn thiện câu và tìm kiếm các mẫu ngôn ngữ.
Biểu thức "Quy mô lớn" đề cập đến cả lượng dữ liệu khổng lồ (Hàng tỷ) và các tham số mà mô hình sử dụng để thiết lập mối quan hệ và tìm ra các mẫu giữa các dữ liệu.
Các thông số là một yếu tố cần tính đến. Mặc dù có những người cho biết đã sử dụng Ollama AI trên Raspberry Pi 4, nhưng không phải tất cả các kiểu máy đều có thể sử dụng được nếu bạn không có đủ bộ nhớ. Tôi đã sử dụng các model có 7 tỷ thông số với RAM 6 GB và không có card đồ họa mà hầu như không ảnh hưởng đến hiệu suất của hệ thống, nhưng không thể với một model có 13.
Những người mẫu có ít thông số hơn nói tiếng Tây Ban Nha ở cấp độ nhại lại khách du lịch Yankee và phản hồi của họ không chính xác lắm, vì vậy bạn nên cẩn thận khi sử dụng chúng.
Ollama AI: Sử dụng trí tuệ nhân tạo trong terminal
Trước khi tiếp tục, hãy bắt đầu với một lời giải thích ngắn gọn. LlaMa là một thuật toán học máy cho phép Trí tuệ nhân tạo học cách nhận biết và phân loại hình ảnh của các vật thể.
Đối với loại mô hình này Họ được đào tạo bằng các hình ảnh được gắn nhãn để học cách nhận biết các đặc điểm cụ thể như kết cấu, hình dạng và màu sắc cho phép nhận dạng chúng trong các bối cảnh khác.
Vì tên của thuật toán được phát âm giống với tên của loài động vật nên một số thư viện được đặt theo tên các loài tương tự như vicuna (Vicuña trong các ngôn ngữ không sử dụng ñ) hoặc Alpaca.
Trở lại với Ollama AI, Nó cho phép chúng tôi tải xuống và chạy các mô hình nguồn mở khác nhau từ thiết bị đầu cuối của bản phân phối Linux của chúng tôi. Nó được cài đặt bằng lệnh:
curl https://ollama.ai/install.sh | sh
Để khởi chạy một mô hình, chúng ta viết lệnh:
ollama run nombre_del_modelo
Chúng ta có thể xem danh sách các mô hình nước
Ví dụ: để cài đặt TinyLlaama, một mô hình chỉ có hơn một terabyte tham số, chúng tôi sử dụng lệnh:
ollama run tinyllama
Lần đầu tiên lệnh này được thực thi, mô hình sẽ được tải xuống máy tính. Xin lưu ý rằng một số chiếm vài gigabyte dung lượng ổ đĩa.
Bạn có thể xóa một mô hình bằng lệnh:
ollama rm nombre_del modelo
Để xem danh sách các model đã cài đặt, hãy sử dụng lệnh:
danh sách olama
Bạn có thể xem thông tin về từng model đã cài đặt bằng:
ollama show
Một lựa chọn thú vị từ thư viện mô hình Ollama được gọi là “Không kiểm duyệt”.. Các mô hình Trí tuệ nhân tạo nổi tiếng nhất đặt ra các hạn chế đối với một số loại câu hỏi nhất định để không chỉ tuân thủ luật pháp mà còn tuân thủ các áp lực xã hội về tính đúng đắn về mặt chính trị.
Tôi nhớ rằng cách đây rất lâu, tôi đã nhờ Copilot, trợ lý dựa trên ChatGPT của Microsoft, kể cho tôi nghe những câu chuyện cười về tảng băng trôi, anh ấy nói với tôi rằng thảm họa sinh thái là một chủ đề quá nghiêm trọng để có thể đem ra làm trò đùa.
Những người mẫu không bị kiểm duyệt Họ xác định các trường hợp AI từ chối phản hồi hoặc đưa ra phản hồi sai lệch so với các mô hình cơ sở, loại bỏ chúng và huấn luyện hệ thống để phản hồi chính xác.
Tôi sẽ phải thực hiện nhiều thử nghiệm hơn để biết Ollama AI có thể hữu ích như thế nào trên các máy tính có dung lượng RAM hạn chế và không có card đồ họa chuyên dụng. Trong mọi trường hợp, thật tốt khi biết rằng các lựa chọn thay thế nguồn mở đang phát huy tác dụng và cho phép loại bỏ kiểm duyệt.