Muutama päivä sitten kumppanini Pablinux kertoi heille kuinka asentaa paikallisesti trendikäs tekoälymalli. Tässä viestissä luetellaan, mitkä ovat mielestäni parempia malleja kuin DeepSeek, ja kuinka asentaa ja käyttää niitä tietokoneellamme.
Poliittisia sympatioita tai antipatioita lukuun ottamatta Kiinan hallituksen siirto oli Sun Tzun arvoinen diplomaattisen markkinoinnin mestariteos. Toisin kuin Donald Trumpin "Elephant in the Chinaware" -tyyli, he julkistivat mallin, joka tarjoaa samat ominaisuudet kuin ChatGPT ilmaiseksi ja kuluttaa vähemmän resursseja. Vain ne meistä, jotka seuraavat aihetta, tietävät sen On ollut monia muita avoimen lähdekoodin malleja (jotkut pohjoisamerikkalaisilta yrityksiltä, kuten Meta) pitkään, ja DeepSeekin suorituskyky on verrattavissa ChatGPT: hen vain yleisimmissä 5 prosentissa käyttötarkoituksista.
Laajamittainen kielimallit
ChatGPT:tä, DeepSeekia ja muita kutsutaan suuren mittakaavan kielimalleiksi. Pohjimmiltaan Niiden avulla käyttäjä voi olla vuorovaikutuksessa tietokoneen kanssa kielellä, joka on samanlainen kuin kommunikointi toisen ihmisen kanssa. Tämän saavuttamiseksi heitä koulutetaan suurilla tekstimäärillä ja säännöillä, joiden avulla he voivat tuottaa uutta tietoa siitä, mitä heillä on jo.
Sen pääasiallinen käyttötarkoitus on vastata kysymyksiin, tiivistää tekstejä, tehdä käännöksiä ja toistaa sisältöä.
Parempia malleja kuin DeepSeek ja niiden asentaminen paikallisesti
Kuten Pablinux, aiomme käyttää Ollamaa. Tämä on työkalu, jonka avulla voimme asentaa, poistaa ja käyttää erilaisia avoimen lähdekoodin malleja Linux-päätteestä. Joissakin tapauksissa selainta voidaan käyttää graafisena käyttöliittymänä, mutta emme käsittele sitä tässä artikkelissa.
Jotta Ollama tarjoaa oikeanlaisen käyttökokemuksen, on parasta, että sinulla on oma GPU.Erityisesti malleissa, joissa on enemmän parametreja. Vähemmän tehokkaita voidaan kuitenkin käyttää Raspberry Pi:ssä, ja kun jopa testasin 7 miljardin parametrin malleja 6 gigatavulla ja ilman erillistä GPU:ta, tietokone toimi ilman hikoilua. Sama ei tapahtunut yhdelle 13 miljardista.
Parametrit ovat sääntöjä, joita malli käyttää suhteiden ja kuvioiden muodostamiseen tietojen välille. Mitä enemmän parametreja ja tietoja, sitä tehokkaampi malli on ne, joilla on vähemmän parametreja, puhuvat espanjaa kuten Tarzan.
Voimme asentaa Ollaman komennoilla
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Voimme asentaa mallin komennolla:
ollama pull nombre_del modelo
Ja suorita se:
ollama run nombre_del_modelo
Poistamme sen käyttämällä:
ollama rm nombre_del_modelo
Näemme asennetut mallit kirjoittamalla:
ollama list
Seuraavassa on pieni luettelo malleista, jotka pidän kiinnostavimpana: Täydellinen luettelo saatavilla olevista malleista löytyy täältä täällä:
lama2-sensuroimaton
Llama on Metan luoma yleiskäyttöinen malli. Tässä versiossa kaikki alkuperäisen projektin kehittäjien oikeudellisista tai poliittisista syistä asettamat rajoitukset poistettiin.. Siitä on kaksi versiota, kevyt, joka kestää 8 Gt ja täysi, joka tarvitsee 64. Sitä voidaan käyttää kysymyksiin vastaamiseen, tekstien kirjoittamiseen tai koodaustehtäviin.
Asentaa:
ollama pull llama2-uncensored
Ja se toimii:
ollama run llama2-uncensored
codegemma
CodeGemma on valikoima kevyitä mutta tehokkaita malleja, joiden avulla voit suorittaa erilaisia ohjelmointitehtäviä kuinka täydentää koodi tai kirjoittaa se tyhjästä. Ymmärtää luonnollista kieltä, osaa seurata ohjeita ja tehdä matemaattista päättelyä.
Siitä on 3 muunnelmaa:
- Ohjeita: Se muuttaa luonnollisen kielen koodiksi ja voi seurata ohjeita:
- Koodi: Täydennä ja luo koodi olemassa olevan koodin osista.
- 2b: Nopeampi koodin viimeistelytehtävä.
Tynillama
Kuten sen nimi osoittaa, se on pienempi versio alkuperäisestä Meta-mallista.. Joten sillä ei ole yhtä hyviä tuloksia, mutta jos haluat nähdä, kuinka tekoälymalli toimii vaatimattomalla laitteistolla, sitä kannattaa kokeilla. Siinä on vain 1100 miljardia parametria.
Mallien paikallisen käytön etuna on yksityisyys ja pääsy sensuroimattomiin ja puolueettomiin versioihin, jotka joissain tapauksissa ovat yleensä naurettavia. Microsoftin tekoäly kieltäytyi luomasta minulle kuvaa mäyräkoirasta, koska se piti termiä "narttu" loukkaavana. Suurin haittapuoli on laitteistovaatimukset. On syytä kokeilla malleja ja löytää sellainen, joka on tarpeeksi hyvä tarpeisiisi ja toimii käytössäsi olevilla laitteilla.