Puolentoista vuoden kehityksen jälkeen Apache Software Foundation on julkaissut - uuden version julkaisu Apache Hadoop 3.3.0, versio jossa hän lisäsi parannuksia ARM-alustoille, tuki konttien laukaisujen ja muiden asioiden ajoitukselle.
Apache Hadoop asettaa itsensä vapaaksi alustaksi järjestää hajautettu suurten tietomäärien käsittely kartta / vähennä paradigma, jossa tehtävä on jaettu moniin pienempiin eristettyihin paloihin, joista kukin voi toimia erillisellä klusterisolmulla.
Hadoop-pohjainen tallennus se voi ulottua tuhansille solmuille ja sisältää eksatavuita tietoja.
Tietoja Apache Hadoopista
Hadoop sisältää Hadoop-hajautetun tiedostojärjestelmän toteutuksen (HDFS), joka tarjoaa datan redundanssin automaattisesti ja on optimoitu MapReduce-sovelluksiin.
Keskeinen toiminto on, että tehokkaan työn ajoituksen kannalta jokaisen tiedostojärjestelmän on tiedettävä ja ilmoitettava sijainti, telineen (tarkemmin sanottuna kytkimen) nimi, jossa työntekijäsolmu on.
Hadoop-sovellukset voivat käyttää näitä tietoja työn suorittamiseen solmussa, jossa data on, ja jos tämä ei ole mahdollista, samalla telineellä / kytkimellä, mikä vähentää verkkoliikennettä.
Tietojen saatavuuden yksinkertaistamiseksi Hadoop-varastossa, HBase-tietokanta ja SQL-tyyppinen sika-kieli on kehitetty, joka on SQL-tyyppi MapReducelle, jonka kyselyt voidaan rinnastaa ja käsitellä useilla Hadoop-alustoilla.
Hankkeen arvioidaan olevan täysin vakaa ja valmis teolliseen käyttöön. Hadoopia käytetään aktiivisesti suurissa teollisissa projekteissa, ja se tarjoaa samanlaisia ominaisuuksia kuin Google Bigtable / GFS / MapReduce -alusta, kun taas Googlen virallisesti valtuuttamat Hadoop- ja muut Apache-projektit ovat oikeutettuja käyttämään MapReduce-menetelmään liittyviä patentoituja tekniikoita.
Hadoop on ensimmäisellä sijalla Apache-arkistojen joukossa tehtyjen muutosten määrän ja viidenneksi suurimman koodipohjan (noin 4 miljoonaa koodiriviä) suhteen.
Mitä uutta Apache Hadoop 3.3: ssa?
Tämä uusi versio Hadoopista on sijoitettu ensimmäiseksi versioksi, jolla on el tuki ARM-pohjaisille alustoille, jonka avulla ne, jotka ovat kiinnostuneita tämän alustan käyttöönotosta, löytävät jo saatavilla olevan ARM-binaarin.
Toinen tämän uuden version tärkeimmistä muutoksista on Protobuf-muodon uuden version käyttöönotto (Protokollapuskurit), joita käytetään jäsenneltyjen tietojen sarjoitukseen on päivitetty versioon 3.7.1 johtuu protobuf-2.5.0-haaran elinkaaren päättymisestä.
Sen lisäksi myös S3A-liittimen ominaisuuksia on jo laajennettu että hänellä on nyt hän lisätty tuki todennuksille tunnisteilla, parannettu tuki välimuistin tallentamiseen 404-koodilla, parempi S3guard-suorituskyky ja parempi toimintavarmuus.
myös DNS-ratkaisupalvelu lisätty jotta asiakas voi määrittää palvelimet DNS: n kautta isäntänimien avulla, jolloin voit luopua kaikkien kokoonpanossa olevien isäntien luettelosta.
Sekä tuki konttien lanseerausten ajoitukselle keskitetyn resurssienhallinnan kautta (ResourceManager), vaikka kyky jakaa säiliöitä ottaen huomioon kunkin solmun kuormitus.
Muista erottuvista muutoksista tästä uudesta versiosta:
- Automaattisen virityksen ongelmat on ratkaistu ABFS-tiedostojärjestelmässä.
- Lisätty natiivi tuki Tencent Cloud COS-tiedostojärjestelmälle COS-objektien tallennustilan käyttämiseen.
- Java 11: n täysi tuki lisättiin.
- Vakautti HDFS RBF (Router Based Federation) -toteutuksen. Suojauksen hallinta on lisätty HDFS-reitittimeen.
- Haku YARN-sovellushakemistosta (toinen resurssineuvottelija) lisätty.
Lopuksi, jos haluat tietää enemmän siitä, voit tarkistaa uuden version yksityiskohdat osoitteessa alkuperäinen viesti.
Niille, jotka ovat kiinnostuneita uuden version hankkimisesta, he voivat ladata valmiit binääritiedostot Seuraavassa linkissä.