Keresés

Új hozzászólás Aktív témák

  • ddekany

    veterán

    válasz Heimerdinger #7 üzenetére

    Mi a franc... ez ilyen trolsági kísérlet? :DDD Tudtommal senki független nem próbálhatta még ki. Láttam a példákat, de azok simán lehetnek kiragadottak.

    Az elkészítési idő kapcsán. Akik éveket szenvedtek vele (Google DeepMind, OpenAI), azok még ismertlen vidéken bolyongtak. Az LLaMa és Orca szerűségeket viszont simán lehet, hogy akár pár hét alatt betanították (nem tudom mennyi volt, de hónapok max.), nem csak a már meglévő know-how miatt, hanem mert a meglévő jóval drágább modellek teszik a betanításukat lehetővé (az generálja a hatékonyabb betanító anyagot, és értékeli a válaszokat). Gyanús, hogy Grok is ilyen trükkökre épít, ha ennyire gyorsan meglett. De a most már meglévő tapasztalatra nyilván.

    Tesla Hardware-ben ha jól tudom jelenleg 8-16 GB RAM van, ami messze kevés egy erős, főleg GPT-4 szintjét súroló LLM futtatásához. Még akkor is, ha nagyon hatékonyan összetömörítik (mint a LLaMa, és társai). Mondjuk nem tudom, hogy model paramétereknek van-e valami külön VRAM szerűség. De ha van is, kizárt, ha az ilyen 100+ GB-s lenne.

    [ Szerkesztve ]

Új hozzászólás Aktív témák