数据收集的方法有哪些，数据收集的10个方法？( 四 )

4.4 对比： FlumeLogstashFilebeat内存大大小cpu 大小背压敏感协议否否是插件需要些API多多功能从多种输入端采集数据并输出到多种输出端从多种输入端采集并实时解析和转换数据并输出到多种输出端传输轻重相对较重相对较重轻量级二进制文件过滤能力自带了分区和拦截器功能强大的过滤能力有过滤能力但是弱进程一台服务器可以有多个进程，挂掉之后需要手动拉起一台服务器只允许一个logstash进程,挂掉之后需要手动拉起十分稳定原理当source接收到Event时，它将其存储到一个或多个channel中。channel是一个被动存储，它将事件保持到被Flume消耗为止。接收器将事件从channel中移除，并将其放入外部存储库（如HDFS）或将其转发到流中下一个Flume代理的source 。给代理内的source和sink与在通道中分段的事件异步运行。Logstash使用管道的方式进行日志的搜集和输出,分为输入input –> 处理filter（不是必须的） –> 输出output,每个阶段都有不同的替代方式开启进程后会启动一个或多个探测器（prospectors）去检测指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。编写语言JavaJrubygo语言集群分布式单节点单节点输出到多个接收方支持支持6.0之前支持二次开发或者扩展开发一般难易4.5 总结Flume更注重于数据的传输，对于数据的预处理不如Logstash 。在传输上Flume比Logstash更可靠一些，因为数据会持久化在channel中。数据只有存储在sink端中，才会从channel中删除，这个过程是通过事物来控制的，保证了数据的可靠性。Logstash是ELK组件中的一个，一般都是同ELK其它组件一起使用，更注重于数据的预处理，Logstash有比Flume丰富的插件可选，所以在扩展功能上比Flume全面。但Logstash内部没有persist queue，所以在异常情况下会出现数据丢失的问题。Filebeat是一个轻量型日志采集工具，因为Filebeat是Elastic Stack的一部分，因此能够于ELK组件无缝协作。Filebeat占用的内存要比Logstash小很多。性能比较稳健，很少出现宕机。
参考链接：
流式数据采集和计算（三）：Flume、Logstash、Filebeat调研报告_叶子叶来-CSDN博客_filebeat和flume
https://blog.csdn.net/yezonggang/wp-content/uploads/article/details/95174354
05 社会调查我们先来看一下什么是社会调查？社会调查是社会“调查”和“研究”的简称。社会调查是指人们为达到一定目的，有意识地通过对社会现象的考察、了解和分析、研究，来了解社会真实情况的一种自觉认识活动。它包含以下四层意思：（1）社会调查是一种自觉认识活动。（2）社会调查的对象是社会现象。（3）社会调查要使用一定方法。（4）社会调查有一定目的。上述社会调查的定义，适用于一切社会调查，包括科学的社会调查。
也许这个定义不是很好理解，但是比如我们做的调查问卷其实就是属于社会调查方法的一种，由于是讨论数据采集，我们只着重去说一下数据社会调查的常见方法，一般有九种，详细内容如下：
参考链接如下：
调查研究常用九大方法
http://www.360doc.com/content/17/0728/20/1233981_674866379.shtml
5.1.实地观察法调查者在实地通过观察获得直接的、生动的感性认识和真实可靠的第一手资料。但因该法所观察到的往往是事物的表面现象或外部联系，带有一定的偶然性，且受调查者主观因素影响较大，因此，不能进行大样本观察，需结合其他调查方法共同使用。通常适用于对那些不能够、不需要或不愿意进行语言交流的情况进行调查。

特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。