监控和审计IBM InfoSphere BigInsights和Cloudera Hadoop的访问权限

  • 时间:
  • 浏览:0

原文出自【风信网】,转载请保留原文链接:http://www.ithov.com/server/124456.shtml

探测器将事务转发给网络上的一三个 多多加强的分发器(一三个 多多设备),在其中与然后 定义的策略进行比较来探测违规操作。该系统可响应各种基于策略的行动,包括生成警报。

本文转自茄子_1008博客园博客,原文链接:http://www.cnblogs.com/xd1002djj/p/4155116.html,如需转载请自行联系原作者。

可被监控的事件包括:

最后,InfoSphere Guardium 提供贯穿整个 Hadoop 堆栈的监控功能,从用户界面直到存储,如图 2 所示。

 然后 页见下URL

InfoSphere Guardium 支持各种各样的部署,从而支持非常大的且在地理上分散的基础架构。肯能本文然后 对 InfoSphere Guardium 进行了简单介绍,您都不可不可以查看 参考资料 次要来获取更多关于 InfoSphere Guardium 功能的链接。注意,并就有所有功能都可用于所有数据资源。

尽管本文所含了 InfoSphere Guardium 的高级概述,但并越来越介绍如保安装和配置 InfoSphere Guardium Collector。本文将介绍如保配置 InfoSphere Guardium 以监控支持的 Hadoop 活动,并将其发送到 InfoSphere Guardium Collector 供安全分析师编制报告。您肯能想看 哪几条开箱即用的报告示例,以帮助您快速入门。

http://www.ithov.com/server/124456.shtml



为那些这是最重要的?尽管 Hadoop 中的然后 活动都分解成 MapReduce 和 HDFS 了,然后 在这个 级别上,您肯能无法知道堆栈中级别更高的用户真正想做的是那些,肯能甚至我然后 知道用户是谁。累似 似于显示然后 磁盘段 I/O 操作,而就有一三个 多多数据库的审计跟踪。然后 ,不可不可以提供不同级别的监控,才有肯能理解活动,才不会可不可以审计直接通过堆栈中的较低点进入的活动。

IBM InfoSphere Guardium 处置方案通过轻量级软件探测器连续监控数据库事务,如图 1 所示。

肯能您在组织中负责数据安全,则肯不可不可以回答以下问題,比如:

•会话和用户信息。

•HDFS 操作 – 命令(cat、tail、chmod、chown、expunge,等等)。

•MapReduce 作业 - 作业、操作、权限。

•异常,比如授权故障。

•Hive/HBase 查询 - 改变、计数、创建、删除、获取、放置、列出,等等。

以下示例描述了如保在 InfoSphere Guardium 报告中显示然后 简单的 Hadoop 命令。



那些探测器(称为 S-TAP,用于软件)在操作系统内核级别不会依靠数据库审计日志即可监控所有数据库事务(包括特权用户的事务),然后 都不可不可以确保职责分离。S-TAP 然后 不可不可以对数据库或其应用tcp连接进行任何更改。

图 1. InfoSphere Guardium Data 活动监控

本文将带您了解如保扩展 IBM InfoSphere Guardium V9(一三个 多多综合的数据活动监控和合规性处置方案)来包括 Hadoop 生态系统的访问监控和报告。

您也将学习一三个 多多仅适用于 IBM InfoSphere BigInsights 的快速启动监控实现。

InfoSphere Guardium 简介

使用 InfoSphere Guardium 进行 Hadoop 监控的好处

•谁正在运行特定的大数据请求?让大家运行的是那些 map-reduce 作业?让大家试图下载所有的敏感数据吗?肯能这是获取客户洞察的正常市场营销查询吗?

•是有无具有肯能是肯能黑客试图通过算法访问敏感数据而造成的多量文件权限异常?

•那些作业是授权访问该数据的tcp连接列表的一次要吗?肯能肯能开发了然后 新应用tcp连接而您然后 并越来越意识到?

您所不可不可以的是不会可不可以将大数据应用tcp连接和分析集成到一三个 多多现有数据安全基础架构中,而就有依赖被委托人开发的脚本和监控tcp连接,被委托人开发脚本和监控tcp连接肯能既费力又容易出错,且常常会受到滥用。

大数据骚动主要集中在支持极限容量、数率和多样性的基础架构和该基础架构支持的实九时 析功能中。觉得像 Hadoop 然后 的大数据环境是相对较新的,但事实是在大数据环境中数据安全问題的关键是预先处置。哪里有数据,哪里就有肯能位于隐私泄密、非授权访问或特权用户的不恰当访问。

有了 InfoSphere Guardium,然后 繁重的任务就都不可不可以交给您了。定义安全策略指定不可不可以保存那些数据以及如保应对策略违规。数据事件直接写入 InfoSphere Guardium 分发器,特权用户甚至都越来越肯能访问并隐藏让大家的踪迹。开箱即用的报告都不可不可以让您立即刚开始了了英语 快速运行 Hadoop 监控,然后 那些报告都不可不可以很容易通过定制来符合您的审计需求。

Hadoop 活动监控

图 2. 整个 Hadoop 堆栈的数据活动监控的重要性

整个大数据环境和更多传统的大数据管理架构中应该执行相同的合规性要求,越来越理由肯能技术尚不心智心智性性性旺盛期期 期期、正在改进就减弱数据安全性。事实上,随着大数据环境吸收的数据过多,组织将面临极大的存储库(数据保位于其中)风险和威胁。

InfoSphere Guardium S-TAP 最初的设计目的是以较小的开销提高性能;毕竟,S-TAP 也用于监控产品数据库环境。有了 Hadoop,您将不太肯能想看 超过 3% 的开销,这对于大多数 HAdoop 工作负载来说微乎其微。

使用 InfoSphere Guardium 可通过提供有针对性的、可操作的信息极大地繁杂您的审计就绪过程。试想一下,肯能您目前的 Hadoop 审计就绪计划是基于压缩日志数据的,越来越希望您永远不会可不可以它,仅从时效性而言,您肯能无法满足然后 审计需求。鉴定分析毫无问題是耗时的,然后 不可不可以浪费资源被委托人开发脚本,觉得您更愿意将那些资源用在通过 Hadoop 创建业务优势上。