python自动生成pg数据库表对应的es索引
项目需要用到Es进行查询。手动创建Es索引太麻烦，写了个脚本。 首先需要安装两个库 pip install psycopg2 我使用的es版本是7.10的安装对应版本的elasticsearch库 pip install elasticsearch==7 以下是生成索引代码 import...
8个月前 (09-13)454
python使用elasticsearch_dsl库聚合查询Es并进行分页
做大数据分析时用到Es，需要查询聚合后的每类数据量，聚合后的桶超过10000.搜索了半天，总结下。 1、首先导入所需的库 from elasticsearch_dsl import connections,Search,Q,A Q用作条件查询、A用作聚合 2、建立Es连接客户端 cli...
8个月前 (09-04)600
Ubuntu中conda虚拟环境安装kenlm步骤及报错整理
使用pycorrector进行文本纠错的过程中，需要安装kenlm库。遇到了各种各样的问题。先进行汇总整理， 首先通过一般的pip安装会报错，不能通过命令安装。 因此需要上传源码进行安装。 源码下载连接 访问密码：PQdjD 上传到服务器后，放到conda或python能访问到的目录进...
9个月前 (09-03)882
goproxy实现内网穿透
前提条件，有台公网ip的服务器，内网服务电脑可以访问外网。 goproxy文档 一、服务器安装ProxyAdmin git地址 1、下载后上传到服务器，解压 找到 releases 目前最新是5.0的版本，点击进去 找到和服务器匹配的包文件，点击下载 然后上传到服务器上进行解压...
9个月前 (09-01)614
如何在ubuntu服务器上持久化后台运行flask
flask自带的环境适合在开发时使用，在生产环境中不能持久化运行。 我这里使用的 gunicorn 库，搭建WSGI服务来运行flask程序。gunicorn是一个python WSGI http server， 一、安装gunicorn pip install gun...
9个月前 (08-27)503
linux安装anaconda并授权给所有用户使用
一、安装anaconda 1、下载anaconda 打开anaconda版本库 复制下载地址，在服务器目录下载 wget https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh 2、修改安装文件权限...
9个月前 (08-16)568
按pg数据库表结构自动生成Es索引及映射
环境说明 我使用的pg是16.4版本，Es是7.10版本，python3.10 PostgreSQL 16.4, compiled by Visual C++ build 1940, 64-bit 1、安装psycopg2和elasticsearch库 pip install psycopg...
9个月前 (08-15)405
DolphinScheduler报错整理
1、报错：Master/Worker node is BUSY 报错是因为DolphinScheduler默认内存，cpu，银盘等超过总量的70%就会预警，默认的核值是0.7.将核值调大或者增大服务器配置就可以了。 找到makter-server/conf下的application.yaml文件...
9个月前 (08-12)645
DolphinScheduler3.2.2centos7伪集群部署
DolphinScheduler 是一个分布式易扩展的可视化工作流任务调度系统。集成了很多数据处理常用的功能，包括定时任务，脚本执行，错误预警等。 它具有以下一些主要特点和优势：分布式架构：支持大规模任务的调度和管理，能够应对高并发和大数据量的处理需求。例如，在大型互联网企业中，处理海量的用户数据...
9个月前 (08-10)581
seatunnel在centos上安装
安装前需要准备点环境， 因为seatunnel是基于java开发的，因此需要先安装java，我这里使用的java1.8，可以网上搜索下java安装教程，记得配置JAVA_HOME环境变量。 在安装的过程中需要用到mysql命令，因此也需要安装下MySQL环境，这里也不具体讲解了，在网上搜索安装就...
9个月前 (08-09)549
- 搜索
- 标签列表
- 热门阅读
-
847 浏览学习
729 浏览学习
697 浏览学习
662 浏览学习
611 浏览学习