gydtep 发表于 2020-8-17 17:00:34
尽管 Knoppix 把众多 distro 带上了 Live CD 的船,但是,众多后继者,诸如 arch、Debian、Fedora、Gentoo、Ubuntu 等等 distro 的 LiveCD,以及大家熟悉的路由器上玩的 OpenWrt,gydtep 发表于 2020-8-17 22:13:13
这样,那些支持 tail packing 的文件系统(比如 reiserfs,btrfs)可能可以显著改善 seek 操作的时间,尤其是对于小文件更是如此。已经有一些与 cloop 相关的性能测试也证明了这些观点。gydtep 发表于 2020-8-18 10:40:37
它可以根据读取的需要来解压相应的文件块来放入内存、供应用使用,这里是不是可以扩展一下,变成在需要的时候再去远端拉回镜像的内容来供应用使用呢——从文件的 Lazy decompress 到 Lazy Load,一步之遥,水到渠城。gydtep 发表于 2020-8-18 14:52:55
大致描述这个产业里的公司及其数据相关的产品,以及所属问题的领域。这里面大部分是商业软件,gydtep 发表于 2020-8-19 09:50:01
如果你不是学计算机专业的,基本不大可能从成千上万的日志中获得任何有用的信息。有了痛点自然就有解决痛点的产品诞生。gydtep 发表于 2020-8-19 12:48:19
1996年,专业的互联网市场营销团队开始出现在一些大公司的组织架构中,他们可以熟练使用Analog这款免费工具,然而免费的工具在没有营收的支撑下总是难以满足高阶用户的需求。gydtep 发表于 2020-8-19 15:22:25
众所周知,HBase一个分布式列式存储系统,同样属于Hadoop的子项目,列式存储的优劣在这里不说了,提一下HBase的WAL和LSM,gydtep 发表于 2020-8-19 18:29:41
Spark不只是在批处理上有所成绩,而是更加注重整个生态圈的建设,其拥有流式处理框架SparkStreaming,采用微批的形式达到类似流处理的效果,gydtep 发表于 2020-8-19 21:47:29
并且可以将这些数据源的内容进行聚合计算,同时Presto也支持使用者自行开发新的Connector。并且Presto的计算过程全程是基于内存的,gydtep 发表于 2020-8-20 10:57:40
二是Presto任务为串行提交,所以会出现大任务阻塞小任务的情况出现。或许通过调参可以解决该问题吧,但没有再深入调研了。