Hadoop 入门
首页 专栏 hadoop 文章详情 0 Hadoop 入门 想你就写信 发布于 2 月 1 日 1 大数据概率 大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多
无法将窗口调用分解为组。错误：org.apache.hadoop.hive.ql.parse
我正在尝试从两个表连接两列，以生成一列的唯一id.Max列值，其中包含另一个表的行号。 select (MAX(S.m_id))from MPPO S; select row_number() OVER(ORDER BY G.a,G.r,G.f1,STG.filler2,G.n_p,G.fe,G.s
Hadoop是否会被Spark取代？Hadoop生态组件原理解析
首页 专栏 数据库 文章详情 1 Hadoop是否会被Spark取代？Hadoop生态组件原理解析 录信数软 发布于 4 月 19 日 Hadoop和Spark都是目前主流的大数据框架，但是随着Spark在速度和易用性方面表现出的优势，一些国内外专家逐渐推崇S
Hive在哪里存储HDFS中的文件？
我想知道如何找到Hive表与它们所代表的实际HDFS文件（或更确切地说，目录）之间的映射。我需要直接访问表文件。 Hive将文件存储在HDFS中的哪个位置？ 51 投票 一旦知道了要查看的位置，它们存储在HDFS上的位置就很容易识别出来。 :) 如果你在浏览器中访问http:
使用spark-submit部署程序时的java.lang.NoSuchMethodError
我正在编写一个程序来将数据上传到某个s3a：//链接。该计划是通过mvn install编制的。在本地运行程序（如使用java -jar jarfile.jar）没有返回任何错误。但是，当我使用spark-submit（如使用spark-submit jarfile.jar）时，它返回了这样的错误：
HBase到底是列式存储还是行式存储？
逻辑概念上，数据库表是一种二维的数据结构，具有行和列。但在内存、磁盘等物理存储上，数据一般是需要线性顺序组织的。所以为了存储数据库表中的数据，有了两种常见的组织方式：基于行的存储和基于列的存储。 基于行的存储，是将整行数据连续存在一起。在基于行存储的表中，即使只需要读取指定列时，也需要先将对应行的数
idea远程连接hadoop(macOS)
windows系统可直接参考 因为mac系统的idea中图标位置不太一样, hadoop安装位置也不一样, 所以这里补充我在mac上的配置方式. 前提是电脑中已经安装有hadoop 首先下载安装jdk8官网下载JDK8我的电脑上原本有JDK11, 但是hadoop对于JDK9以上的配置对于我这个新手
Hadoop学习笔记—HDFS
首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—HDFS 西北偏北 发布于 4 月 3 日 [TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问
Distcp的那点事
[TOC] 灵魂拷问：你真的了解distcp吗？这里说的就是distcp的那点事 背景 今天在整理笔记的时候，发现了好几篇临时记录都是记录的集群间文件复制需要注意的地方，虽然记录的东西和重点不同，但是核心的东西都是distcp相关的，所以，感觉还是有点必要归总一下，这篇文章的内容主要是一点细节问
Hadoop学习笔记—Yarn
首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—Yarn 西北偏北 发布于 4 月 10 日 Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些H
Hadoop - 集群安装
首页 专栏 hadoop 文章详情 0 Hadoop - 集群安装 大军 发布于 5 月 12 日 环境准备 我这里准备四个虚拟机，ip分别为： # bigdata01 192.168.11.100 # bigdata02 192.168.11.101 # bi
livy 安装并集成kerberos
使用原因：因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。 版本说明: Livy版本0.7 spark版本CDH6.2-spark2.4 安装 （1）下载apache livy 下载地址：https://github.com/apache/incubator-l
加载更多