XNUMX 년 반의 개발 끝에 Apache Software Foundation이 출시되었습니다. 새로운 버전의 출시 아파치 하둡 3.3.0, 버전 ARM 플랫폼에 대한 개선 사항을 추가했습니다. 컨테이너 시작 및 기타 항목 예약 지원.
Apache Hadoop이 무료 플랫폼으로 자리 매김 조직하기 위해 대량의 데이터 분산 처리 맵 / 축소 패러다임 : 작업이 여러 개의 작은 격리 된 청크로 나뉘며 각 청크는 별도의 클러스터 노드에서 실행될 수 있습니다.
Hadoop 기반 스토리지 수천 개의 노드에 걸쳐있을 수 있으며 엑사 바이트의 데이터를 포함 할 수 있습니다.
Apache Hadoop 정보
하둡 Hadoop 분산 파일 시스템 구현 포함 (HDFS)는 데이터 중복성을 자동으로 제공하고 MapReduce 애플리케이션에 최적화되어 있습니다.
주요 기능은 효과적인 작업 스케줄링을 위해 각 파일 시스템이 작업자 노드가있는 랙 (보다 정확하게는 스위치)의 이름을 알고 제공해야한다는 것입니다.
Hadoop 애플리케이션은이 정보를 사용하여 데이터가있는 노드에서 작업을 실행하고 실패하면 동일한 랙 / 스위치에서 작업을 실행하여 네트워크 트래픽을 줄일 수 있습니다.
데이터 액세스를 단순화하려면 Hadoop 스토리지에서 HBase 데이터베이스와 SQL과 유사한 Pig 언어가 개발되었습니다. 다양한 Hadoop 플랫폼에서 쿼리를 병렬화하고 처리 할 수있는 MapReduce 용 SQL 유형입니다.
이 프로젝트는 완전히 안정적이고 산업 운영 준비가 된 것으로 평가됩니다. Hadoop은 Google Bigtable / GFS / MapReduce 플랫폼과 유사한 기능을 제공하는 대규모 산업 프로젝트에서 활발히 사용되고 있으며 Google이 공식적으로 위임 한 Hadoop 및 기타 Apache 프로젝트는 MapReduce 방법과 관련된 특허 기술을 사용할 수 있습니다.
Hadoop은 변경 사항 수와 4 번째로 큰 코드베이스 (약 XNUMX 만 줄의 코드) 측면에서 Apache 저장소 중 XNUMX 위를 차지했습니다.
Apache Hadoop 3.3의 새로운 기능은 무엇입니까?
이 새로운 버전의 Hadoop 첫 번째 버전으로 위치 el ARM 기반 플랫폼 지원, 이 플랫폼을 구현하는 데 관심이있는 사람들은 이미 사용 가능한 ARM 용 바이너리를 찾을 수 있습니다.
이 새 버전에서 제공되는 또 다른 주요 변경 사항은 Protobuf 형식의 새 버전 구현 (프로토콜 버퍼) 구조화 된 데이터를 직렬화하는 데 사용됩니다. 3.7.1 버전으로 업데이트되었습니다. protobuf-2.5.0 분기의 수명주기가 종료 되었기 때문입니다.
그 외에도 S3A 커넥터의 기능이 이미 확장되었습니다. 이제 그를 가지고 토큰을 사용한 인증 지원 추가, 404 코드, 더 높은 S3guard 성능 및 향상된 운영 안정성을 통해 응답 캐싱에 대한 지원이 향상되었습니다.
또한 DNS 확인자 서비스 추가 클라이언트가 호스트 이름으로 DNS를 통해 서버를 결정할 수 있으므로 구성의 모든 호스트 목록을 생략 할 수 있습니다.
뿐만 아니라 중앙 집중식 리소스 관리자를 통해 컨테이너 실행 예약 지원 (ResourceManager), 각 노드의 부하를 고려하여 컨테이너를 배포하는 기능도 있습니다.
눈에 띄는 다른 변화들 중 이 새 버전 :
- ABFS 파일 시스템에서 자동 조정 문제가 해결되었습니다.
- COS 개체 스토리지에 액세스하기 위해 Tencent Cloud COS 파일 시스템에 대한 기본 지원이 추가되었습니다.
- 자바 11에 대한 완전한 지원이 추가되었습니다.
- HDFS RBF (라우터 기반 연합) 구현을 안정화했습니다. HDFS 라우터에 보안 제어가 추가되었습니다.
- YARN 애플리케이션 디렉토리 (다른 리소스 협상자) 검색이 추가되었습니다.
마지막으로 자세한 내용을 알고 싶다면 새 버전에 대한 세부 정보를 원래 게시물.
새로운 버전을 얻고 자하는 사람들은 준비된 바이너리를 다운로드 할 수 있습니다. 다음 링크에서.