文章 62
浏览 15135
工作流调度和任务执行的主要逻辑以及容错恢复的流程

工作流调度和任务执行的主要逻辑以及容错恢复的流程

该文章已经加密。

superset高效率的数据源图表展示工具使用

superset高效率的数据源图表展示工具使用

superset 介绍 Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用,可对接各种数据源,包括很多现代的大数据分析引擎,拥有丰富的图表展示形式,并且支持自定义仪表盘。 官网 https://superset.apache.org/ Superset 安装 安装 Python 环境 superset 是由 Python 语言编写的 Web 应用,要求 Python3.7 的环境。 安装 Miniconda conda 是一个开源的包、环境管理器,可以用于在同一个机器上安装不同 Python 版本的软件包及其依赖,并能够在不同的 Python 环境之间切换,Anaconda 包括 Conda、Python 以及一大堆安装好的工具包,比如:numpy、pandas 等,Miniconda 包括 Conda、Python。此处,我们不需要如此多的工具包,故选择 MiniConda。 下载 Miniconda(Python3 版本) 下载地址:https://repo.anaconda.com/miniconda/Miniconda3-latest-Lin....

正则表达式实践

正则表达式实践

正则表达式 正则表达式是一种用于匹配和操作文本的强大工具,它是由一系列字符和特殊字符组成的模式,用于描述要匹配的文本模式。 正则表达式可以在文本中查找、替换、提取和验证特定的模式。 正则表达式的模式 字面值字符:例如字母、数字、空格等,可以直接匹配它们自身。 特殊字符:例如点号 .、星号 *、加号 +、问号 ? 等,它们具有特殊的含义和功能。 字符类:用方括号 [ ] 包围的字符集合,用于匹配方括号内的任意一个字符。 元字符:例如 \d、\w、\s 等,用于匹配特定类型的字符,如数字、字母、空白字符等。 量词:例如 {n}、{n,}、{n,m} 等,用于指定匹配的次数或范围。 边界符号:例如 ^、$、\b、\B 等,用于匹配字符串的开头、结尾或单词边界位置。 特殊字符 $ 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性,则 也匹配 '\n' 或 '\r'。要匹配 字符本身,请使用 $。 ( ) 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符,请使用( 和 )。 * 匹配前面的子表达式零次或多次。要匹配 * 字符,请....

大名鼎鼎的flink

大名鼎鼎的flink

flink 介绍 Flink 是一个大规模数据处理引擎,适用于需要处理大量数据的场景,如大数据分析、实时数据流处理等。它是一个开源的分布式流处理框架,由 Apache 软件基金会开发,可以在多种平台上运行,如 Hadoop、YARN 等。Flink 提供了实时数据流处理、批处理和机器学习等功能,具有高吞吐量、低延迟和可扩展等优点。在 Flink 中,数据流被视为无界的,这意味着数据处理可以随时进行,而不需要等待数据集的完整。Flink 的核心是一个基于时间和事件驱动的执行引擎,可以高效地执行复杂的流处理和批处理程序。Flink 在大数据领域有着广泛的应用,是大数据处理领域的一个重要工具。 flink 简单使用 • 安装: 首先,你需要在你的机器上安装 Apache Flink。你可以从 Apache Flink 的官方网站下载最新的版本。下载完成后,解压缩文件,并设置环境变量。 2. Flink 程序结构: 一个基本的 Flink 程序包括以下部分:** ** 获取执行环境** ** 加载/创建初始数据** ** 指定此数据的转换** ** 指定计算结果的位置** ** 触发程序执行*....

linux常用指令

linux常用指令

Linux 常用指令 Created by: Q HU Created time: August 14, 2023 9:53 AM Tags: Engineering 以下是一些常用的 Linux 指令: cd:切换目录 ls:显示目录内容 pwd:显示当前目录 mkdir:创建新目录 rm:删除文件或目录 cp:复制文件或目录 mv:移动文件或目录 cat:显示文件内容 grep:搜索文件内容 chmod:更改文件权限 SSH:远程登录到另一台计算机 除了这些常用指令以外,还有很多其他的 Linux 指令可以帮助您更有效地管理您的计算机系统。例如: top:显示系统资源的使用情况 kill:终止正在运行的进程 ping:测试网络连接 traceroute:跟踪数据包在网络中的路径 tar:压缩和解压文件 wget:从网站上下载文件 curl:从网站上获取数据 find:查找文件和目录 sed:对文件进行文本处理 awk:对文本文件进行处理和分析

自己搭建jrebel插件服务器 学习

自己搭建jrebel插件服务器 学习

自己搭建 jrebel 插件服务器 学习– 支持全部版本 IDEA 本文主要用来自己学习,请有能力的同学,支持正版,正版不易,如有侵权,请私信联系,我将删除 准备工作 Linux 服务器/本地服务器 jdk1.8 测试 idea 版本 下载源码 https://gitee.com/gsls200808 感谢大神提供的源码 需要下载已编译好的源码: 点击下载 点击弹出下载源码地址 编译源码 用 idea 编译完成后 target 目录下有个 jar 包 -- JrebelBrainsLicenseServerforJava-1.0-SNAPSHOT-jar-with-dependencies.jar 将编译好的 jar 上传到服务器 执行启动命令 java -jar JrebelBrainsLicenseServerforJava-1.0-SNAPSHOT-jar-with-dependencies.jar 腾讯云、阿里云放开 8081 端口 浏览器访问 ip:8081 idea 换成自己的 license idea 激活 jrebel 邮箱随便填写 url: 自己搭建的 ip://p....

zookeeper初体验

zookeeper初体验

前言 ZooKeeper 是 Apache 软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。 ZooKeeper 的架构通过冗余服务实现高可用性。 Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。 一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能 zk 数据结构 zookeeper 提供的名称空间非常类似于标准文件系统,key-value 的形式存储。名称 key 由斜线 / 分割的一系列路径元素,zookeeper 名称空间中的每个节点都是由一个路径标识。 相关 CAP 理论 CAP 理论指出对于一个分布式计算系统来说,不可能同时满足以下三点: 一致性 :在分布式环境中,一致性是指数据在多个副本之间是否能够保持一致的特性,等同于所有节点访问同一份最新的数据副本。在一致性的需求下,当一个系统在数据一致的状态下执行更新操....

Elastic:倒排索引的两种压缩算法:FOR算法和RBM算法

Elastic:倒排索引的两种压缩算法:FOR算法和RBM算法

该文章已经加密。

人民有信仰 民族有希望 国家有力量