The setup was modest. Two RTX 4090s in my basement ML rig, running quantised models through ExLlamaV2 to squeeze 72-billion parameter models into consumer VRAM. The beauty of this method is that you don’t need to train anything. You just need to run inference. And inference on quantized models is something consumer GPUs handle surprisingly well. If a model fits in VRAM, I found my 4090’s were often ballpark-equivalent to H100s.
Photo by Amy Skorheim / Engadget
，更多细节参见heLLoword翻译
for u in users {
Нас постоянно за что-то осуждают и говорят, какими нам можно быть, а какими нельзя. Но отказываться от своих увлечений из-за таких людей не стоит. Если бы я слушала каждого такого парня, я бы никогда не увидела ни Исландию, ни Гану, ни Нью-Йорк, ни Алтай. А это одни из самых счастливых воспоминаний в моей жизни!