seatunnel各类型数据库同步配置
9个月前 (09-25)613
我是在dolphinscheduler调度器中使用seatunnel,在资源中心中创建对应的同步配置文件。 一、DB2同步数据到MySQL env { execution.parallelism = 2 job.mode = "BATCH" } source{ Jd...
python自动生成pg数据库表对应的es索引
9个月前 (09-13)523
项目需要用到Es进行查询。手动创建Es索引太麻烦,写了个脚本。 首先需要安装两个库 pip install psycopg2 我使用的es版本是7.10的安装对应版本的elasticsearch库 pip install elasticsearch==7 以下是生成索引代码 import...
python使用elasticsearch_dsl库聚合查询Es并进行分页
9个月前 (09-04)684
做大数据分析时用到Es,需要查询聚合后的每类数据量,聚合后的桶超过10000.搜索了半天,总结下。 1、首先导入所需的库 from elasticsearch_dsl import connections,Search,Q,A Q用作条件查询、A用作聚合 2、建立Es连接客户端 cli...
Ubuntu中conda虚拟环境安装kenlm步骤及报错整理
9个月前 (09-03)1011
使用pycorrector进行文本纠错的过程中,需要安装kenlm库。遇到了各种各样的问题。先进行汇总整理, 首先通过一般的pip安装会报错,不能通过命令安装。 因此需要上传源码进行安装。 源码下载连接 访问密码:PQdjD 上传到服务器后,放到conda或python能访问到的目录进...
goproxy实现内网穿透
9个月前 (09-01)740
前提条件,有台公网ip的服务器,内网服务电脑可以访问外网。 goproxy文档 一、服务器安装ProxyAdmin git地址 1、下载后上传到服务器,解压 找到 releases 目前最新是5.0的版本,点击进去 找到和服务器匹配的包文件,点击下载 然后上传到服务器上进行解压...