首页 > TAG信息列表 > 赵强
【赵强老师】使用Oracle的跟踪文件
一、什么是跟踪文件? 跟踪文件中包含了大量而详细的诊断和调试信息。通过对跟踪文件的解读和分析,我们可以定位问题、分析问题和解决问题。从跟踪文件的产生的来源来看,跟踪文件又可以分为两类:一类是数据库的操作人员有意生成的;另一类则是由于出现了异常错误,由数据库自动生成的。对【赵强老师】使用Oracle的跟踪文件
一、什么是跟踪文件? 跟踪文件中包含了大量而详细的诊断和调试信息。通过对跟踪文件的解读和分析,我们可以定位问题、分析问题和解决问题。从跟踪文件的产生的来源来看,跟踪文件又可以分为两类:一类是数据库的操作人员有意生成的;另一类则是由于出现了异【赵强老师】Oozie的动作节点之Sqoop
【赵强老师】Oozie的动作节点之Sqoop 什么是Oozie? Oozie是大数据四大协作框架之一:任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。功能【赵强老师】什么是RPC
先看视频。 【赵强老师】什么是RPC 什么是RPC? RPC是只远程过程调用,也就是说两台服务器A,B, 一个应用部署在A服务器上,另一个应用部署在B服务器上,A服务器上的应用想要调用B服务器上的应用提供的方法/函数,由于不在一个内存空间,不能直接调用,需要通过网络来表达调用的语意和传递调用【赵强老师】演示Oozie自带的Example
先看视频。 【赵强老师】演示Oozie自带的Example Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容: 工作流定义 当前运行的工作流实例,包括实例的状态和变量 Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic Gra【赵强老师】基本的select语句
先看视频。 【赵强老师】基本的select语句 Oracle的基本查询select语句 简单的基本查询是指查询一张数据表中的所有数据行内容。具体的语法如下: SELECT [DISTINCT] * | 列名1 [别名] 列名2 [别名] … FROM 表名 [别名] 在这个SELECT语句中: 首先,需要指定要查询数据的表名。【赵强老师】什么是分区
先看视频。 【赵强老师】什么是分区 通常情况下,我们创建的表都是未分区的表,或者说,只有一个分区的表,数据只能存储在一个文件组(File Group)中,默认情况下,表数据存储在PRIMARY文件组。对表进行分区后,每一个分区都独立存储在文件组(File Group)中。把表分区,实际上是把逻辑上完整的表,按照【赵强老师】事务隔离级别与脏读
数据库事务的隔离级别有4种,由低到高分别为Read uncommitted 、Read committed 、Repeatable read 、Serializable 。而且,在事务的并发操作中可能会出现脏读,不可重复读,幻读。 Read uncommitted 读未提交,顾名思义,就是一个事务可以读取另一个未提交事务的数据。 Read committed 读【赵强老师】搭建Kafka单节点环境与Demo演示
先看视频。 【赵强老师】搭建Kafka单节点环境与Demo演示 Apache Kafka有三种部署方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka。Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的【赵强老师】Kafka的基本架构和概念
先看视频。 【赵强老师】Kafka的基本架构和概念 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Kafka【赵强老师】MapReduce数字的排序
先看视频。 【赵强老师】MapReduce数字的排序 MapReduce基于key的全排序的原理 如何使用mapreduce来做全排序?最简单的方法就是使用一个partition,因为一个partition对应一个reduce的task,然而reduce的输入本来就是对key有序的,所以很自然地就产生了一个全排序文件。但是这种方法在赵强老师:大数据从入门到精通(13)MemCached-赵强老师-专题视频课程
赵强老师:大数据从入门到精通(13)MemCached—60人已学习 课程收益 本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本全面介绍大数据的整体内容,让学员深入理解并掌握运行机制和原理,从而进一步掌握大数据的相关内容。 讲师介绍 赵强老师更多讲师课【赵强老师】Kafka的消息持久化
1、Kafka消息持久性概述 Kakfa依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢,基于文件系统的架构能否提供优异的性能?实际上硬盘的快慢完全取决于使用方式。同时 Kafka 基于 JVM 内存有以下缺点: 对象的内存开销非常高,通常是要存储的数据的两倍甚至更高 随着赵强老师:大数据从入门到精通(17)Scala面向对象-赵强老师-专题视频课程
课程收益 本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本全面介绍大数据的整体内容,让学员深入理解并掌握运行机制和原理,从而进一步掌握大数据的相关内容。 讲师介绍 赵强老师更多讲师课程 毕业于清华大学,拥有超过13年的工作经验。 O【赵强老师】HBase的过滤器
先看视频。【赵强老师】HBase的过滤器HBase其实一个缩写,是Hadoop Database的简称,从问世之初,就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。HBase与一般的数据库又有所区别,HBase本身的存取接口相当简单,不支持复杂的数据存取,更不支持SQL等结构化的【赵强老师】在MongoDB中使用MapReduce方式计算聚合
MapReduce 能够计算非常复杂的聚合逻辑,非常灵活,但是,MapReduce非常慢,不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行,每台Server只负责完成一部分wordload,最后将wordload发送到Master Server上合并,计算出最终的结果集,返回客户端。 MapReduce的基本思想,如下图所示【赵强老师】MongoDB管理用户的认证机制
一、MongoDB用户认证机制简介为了认证客户端,你必须要添加一个对应的用户到MongoDB。基本的步骤分为以下几步:用户管理接口:db.createUser()方法可以创建一个用户,添加完成后可以分配角色给用户,第一个用户必须是管理员,用来管理其他用户。你也可以更新存在的用户,必须修改密码和权限。认【赵强老师】如何在MongoDB中使用游标查询数据
一、什么是游标?游标(Cursor)是处理数据的一种方法,为了查看或者处理结果集中的数据,游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力。游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标可以被看作是一个查询结果集(可以是零条、一条或由相关【赵强老师-博文】MongoDB插入文档
MongoDB是非关系型数据库NoSQL的代表,作为一款可分布式存储的数据库,对文档的操作是MongoDB的重中之重。在本文中,我们将着重为大家介绍如何在MongoDB中插入文档。MongoDB一共为我们提供了三种方式用于插入文档:db.collection.insertOne() :插入一个指定文档db.collection.insertMany()【赵强老师-博文】使用MongoDB的命令行工具:mongoshell
一、启动mongo shell安装好MongoDB后,直接在命令行终端执行下面的命令:mongo如下图所示:可选参数如下:也可以简写为:在mongo shell中使用外部编辑器,如:vi,只需设置环境变量:export EDITOR=vi启动mongo shel即可。下面我们在mongoshell中编辑一个函数:定义函数:function myFunction () {【赵强老师-博文】MongoDB的inMemory存储引擎
一、MongoDB的存储引擎概述存储引擎(Storage Engine)是MongoDB的核心组件,负责管理数据如何存储在硬盘(Disk)和内存(Memory)上。从MongoDB 3.2 版本开始,MongoDB 支持多数据存储引擎(Storage Engine),MongoDB支持的存储引擎有:WiredTiger,MMAPv1和In-Memory。从MongoDB 3.2 版本开始,WiredTiger成【赵强老师-博文】使用MongoDB的Web控制台
MongoDB可以通过web界面监控数据库,默认情况下该选项是关闭的,需要在启动的时候开启。启用web 控制台,需要在启动mongodb的时候,加上:--httpinterface启动MongoDB,观察输出的日志信息: 使用浏览器访问28017端口,即可看到MongoDB的Web Console界面。【赵强老师】MongoDB的inMemory存储引擎
MongoDB的In-Memory存储引擎将数据存储在内存中,除了少量的元数据和诊断(Diagnostic)日志,In-Memory存储引擎不会维护任何存储在硬盘上的数据(On-Disk Data),避免Disk的IO操作,减少数据查询的延迟。先看视频。。【赵强老师】MongoDB的inMemory存储引擎存储引擎(Storage Engine)是MongoDB的核【赵强老师】MongoDB的审计
先看视频。【赵强老师】MongoDB的审计在数据库安全的生命周期中,包括:保护、检测、响应及补救。检测的核心就是审计(Audit)。有些情况下,审计不仅仅用于检测不好的行为,也作为对整个数据库的行为进行监控而存在。审计能够告诉我们谁访问了什么、在什么地方、什么时间、采用了何种方式。有【赵强老师】什么是Oracle的数据字典
先看视频。【赵强老师】什么是Oracle的数据字典 数据字典是oracle数据库中最重要的组成部分,记录了数据库的系统信息,它是只读表和视图的集合,数据字典的所有者为sys用户;用户只能在数据字典上执行查询操作,而其维护和修改是由系统自动完成的。数据字典的组成:包括数据字典基表和数据字