daily-digest

Andrej Karpathy chia sẻ về “Claws” qua một bài tiểu luận ngắn trên Twitter.
Ông cho biết nhiều người đang mua Mac Mini để thử nghiệm Claws.
Claws là lớp mới trên các LLM agents, cải thiện khả năng tổ chức, lập lịch, và bền bỉ.
Có nhiều Claws nhỏ mới xuất hiện, ví dụ như NanoClaw với khoảng 4000 dòng mã, dễ dàng kiểm tra và linh hoạt.
Các ví dụ khác bao gồm nanobot, zeroclaw, ironclaw và picoclaw.
Claws đang trở thành thuật ngữ chính cho các hệ thống agent giống OpenClaw, chạy trên phần cứng cá nhân.
Claws có thể thực hiện các hướng dẫn trực tiếp và lập lịch tác vụ.
Claws đã được gán với emoji 🦞.

Tôi đã kích hoạt tính năng mới gọi là “beats” trên blog của mình, bao gồm năm loại nội dung mới.
Có năm loại beats: Releases, TILs, Museums, Tools, và Research.
Releases nhập từ các bản phát hành GitHub của các dự án mã nguồn mở qua một tệp JSON.
TILs nhập từ blog TIL của tôi sử dụng truy vấn SQL qua JSON và HTTP.
Museums nhập từ blog niche-museums.com qua nguồn JSON tùy chỉnh.
Tools là các công cụ HTML và JavaScript từ trang tools.simonwillison.net của tôi.
Research gồm các dự án nghiên cứu AI được lưu trữ trong repo simonw/research.
Tất cả dữ liệu được tích hợp qua năm phần mềm tích hợp tùy chỉnh.
Tôi hoàn thành hầu hết tính năng này chỉ trong một buổi sáng.
Claude Code tạo parser regex cho các dự án nghiên cứu từ README dạng Markdown.
Claude xử lý tất cả công việc tích hợp UI cho trang, đảm bảo nội dung mới hoạt động trên tất cả các loại trang của tôi.
Tôi đã làm nguyên mẫu ý tưởng beats với Claude trước khi chuyển giao cho Claude Code để phát triển.

Taalas giới thiệu sản phẩm Llama 3.1 8B, hoạt động với tốc độ 17,000 tokens/giây.
Sản phẩm này là một phần cứng tùy chỉnh từ một startup Canada.
Silicon Llama sử dụng công nghệ “aggressively quantized”, kết hợp giữa các thông số 3-bit và 6-bit.
Phiên bản tiếp theo dự kiến sẽ sử dụng thông số 4-bit.
Dự kiến có thời gian dài để phát triển các mô hình mới.
Người dùng có thể trải nghiệm sản phẩm tại chatjimmy.ai.

ggml.ai gia nhập Hugging Face để thúc đẩy sự phát triển lâu dài của Local AI.
Georgi Gerganov ra mắt llama.cpp vào tháng 3 năm 2023, cho phép chạy LLM trên phần cứng tiêu dùng.
Llama.cpp sử dụng 4-bit quantization và đã mở rộng khả năng chạy LLM trên nhiều loại phần cứng.
Phiên bản gốc của LLaMA từ Meta yêu cầu PyTorch, FairScale, CUDA và phần cứng NVIDIA.
Hugging Face nổi tiếng với thư viện Transformers được sử dụng rộng rãi trong các LLM hiện nay.
Các mục tiêu chung bao gồm tích hợp “single-click” với thư viện transformers và cải thiện sự tương thích giữa transformers và ggml.
Cải thiện trải nghiệm người dùng cho phần mềm dựa trên ggml là điều cần thiết khi suy xét đến sự cạnh tranh với cloud inference.
Cải tiến trong việc đóng gói và khả năng truy cập các mô hình local sẽ giúp llama.cpp trở nên phổ biến hơn.
Tích hợp gần hơn với Transformers có thể dẫn đến các mô hình tương thích với hệ sinh thái GGML ngay từ đầu.
Đầu tư vào trải nghiệm người dùng cho ggml có thể tạo ra nhiều công cụ mã nguồn mở chất lượng cao hơn cho việc chạy mô hình local.

Sản phẩm agentic lâu dài như Claude Code khả thi nhờ vào prompt caching.
Prompt caching cho phép tái sử dụng tính toán từ các lần yêu cầu trước, giảm thiểu độ trễ và chi phí.
Claude Code xây dựng toàn bộ hệ thống của mình dựa trên prompt caching.
Tỷ lệ hit cache cao giúp giảm chi phí và tạo ra giới hạn tỷ lệ hào phóng hơn cho kế hoạch đăng ký.
Claude Code theo dõi tỷ lệ hit cache và có cảnh báo khi tỷ lệ này quá thấp.

Đã trải qua trạng thái psychosis của agent song song, mất một tính năng quan trọng.
Tính năng này đã tồn tại ngày hôm qua nhưng không thể tìm thấy branch, worktree, cloud instance hay checkout nào liên quan.
Cuối cùng tìm thấy, tính năng đã được phát triển trong một prototype ngẫu nhiên tại /tmp nhưng đã bị mất do máy tính bị sập nguồn.
Mã nguồn vẫn có trong ~/.claude/projects/session logs và Claude Code có thể trích xuất và khôi phục tính năng đã mất.