大数据

千万别用sql查询经纬度数据了，有更快的方式

1个月前 (05-09)90

最近需要查询学校周边的零售户有哪些，几千个学校，几十万零售户，用sql查询费了十几分钟才查询出来，后来问的AI，使用python代码，十几秒就能搞定。以下是完整的代码，可以作为参考。 def aaaaa(): import numpy as np import pandas…

1个月前 (05-06)64

一次从零到一的 Django 分表实践，记录踩过的所有坑前言最近在做一个零售户管理系统，需要处理十亿级的数据。考虑到 Doris 的强大分析能力，使用 Doris 作为数据库，并基于 CRC32 算法实现自动分表。过程并不顺利，遇到了各种各样的问题。记录这些问题及解决方案，希望能帮助到有类似…

2个月前 (04-21)98

一、适用场景单表数据量超千万/过亿，查询、更新、删除缓慢按地市、周、店铺、商品多维度聚合统计多地市卷烟目录不同，需地市隔离需要环比、同比、同档位/同业态/同面积对标多语言/多库（Java、Python、MySQL、PG、Doris）统一路由大批量增删改查，避免锁表、长事务、夯库二、分表核…

10个月前 (08-21)419

QwenCoder 是阿里巴巴开源的通义千问系列 AI 编程大模型，可以将文字转换为sql语句，支持MySQL、postgresql等常用的数据库。以下是我编写的一个测试代码，使用的本地pg库。使用的 XGenerationLab/XiYanSQL-QwenCoder-7B-2504…

1年前 (2025-05-10)699

今天正常配置MySQL往es同步数据，以前都好好的，今天同样的配置报错。查了下日志出现以下报错。。。。。 Caused by: org.apache.seatunnel.common.utils.SeaTunnelException: java.lang.IllegalStateExcep…

2年前 (2024-09-25)1453

我是在dolphinscheduler调度器中使用seatunnel，在资源中心中创建对应的同步配置文件。一、DB2同步数据到MySQL env { execution.parallelism = 2 job.mode = "BATCH" } source{ Jd…

2年前 (2024-08-16)1632

一、安装anaconda 1、下载anaconda 打开anaconda版本库复制下载地址，在服务器目录下载 wget https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh 2、修改安装文件权限…

2年前 (2024-08-09)1752

安装前需要准备点环境，因为seatunnel是基于java开发的，因此需要先安装java，我这里使用的java1.8，可以网上搜索下java安装教程，记得配置JAVA_HOME环境变量。在安装的过程中需要用到mysql命令，因此也需要安装下MySQL环境，这里也不具体讲解了，在网上搜索安装就…

: 星光

方向比速度重要，智能比吃苦重要，学习比学历重要，机遇比关系重要，要什么比做什么重要!

102文章

1评论

86512浏览

热门阅读