daily-digest

Năm 2019, GPT-2 được huấn luyện bởi OpenAI trên 32 TPU v3 trong 168 giờ (7 ngày).
Chi phí huấn luyện vào thời điểm đó là khoảng 43,000 USD (8 USD/giờ/TPUv3).
GPT-2 đạt được điểm CORE là 0.256525, dựa trên 22 đánh giá như ARC, MMLU.
Với những cải tiến gần đây trong nanochat, có thể đạt điểm CORE cao hơn trong 3.04 giờ (~73 USD) trên một node 8XH100.
Chi phí huấn luyện đã giảm khoảng 600 lần trong 7 năm qua.
Chi phí huấn luyện GPT-2 giảm trung bình 2.5 lần mỗi năm.

Tác giả Matt Webb viết về sức mạnh của “collective efficacy”, tức là tin tưởng vào khả năng tạo ra sự khác biệt khi hành động cùng nhau.
Một nhóm đã thành lập để lắp đặt chuồng cho chim swift nhằm bảo vệ chúng và đã xin ngân sách trợ cấp để giúp đỡ những người không đủ khả năng tài chính.
Nhóm đã vận động để đưa vào luật pháp các quy định dành cho địa điểm làm tổ của chim swift trong các công trình xây dựng mới.
Một ví dụ nữa về “bạn có thể làm điều gì đó” là việc xây dựng một công ty phần mềm thành công trong 20 năm và sau đó sử dụng lợi nhuận để khởi động một nhà hát tại Baltimore, cung cấp không gian cho nghệ sĩ miễn phí.