jqzheng!-CSDN博客

原创 GROUP BY clause and contains nonaggregated column ‘nsoc.asset_info.ASSET_TYPE‘ whi ch is not functio

日志报错：GROUP BY clause and contains nonaggregated column 'nsoc.asset_info.ASSET_TYPE' whi ch is not functionally dependent on columns in GROUP BY clause;

2024-08-12 08:49:14 192

原创 [/usr/local/openssl//.openssl/include/openssl/ssl.h] Error 127

需要说明的是，我这里编译所使用的Nginx源码是1.9.9的。根据报错信息我们知道，出错是因为Nginx在编译时并不能在/usr/local/ssl/.openssl/ 这个目录找到对应的文件，其实我们打开/usr/local/ssl/这个目录可以发现这个目录下是没有.openssl目录的，因此我们修改Nginx编译时对openssl的路径选择就可以解决这个问题了。然后再进行Nginx的编译安装即可。

2024-08-06 12:13:35 906

原创制作Docker镜像及dockerfile使用（五）

dockerfile主要组成部分 1.基础镜像信息 FROM centos:6.9 即使镜像不存在只要镜像名称和版本对了会去docker官方下载 2.制作镜像操作指令 RUN yum -y install openssh-server 3.容器启动时执行的指令 CMD ["/bin/bash"]dockfile语法格式基础镜像信息，也就是基于哪个镜像去构建：FROM 镜像名:版本制作容器操作指令，制作镜像是需要用到的命令：RUN 命令。

2024-06-12 07:00:00 740

原创（四）Jenkins调用shell命令实现持续集成

源码管理选择git然后添加一个私钥。选择好对应的私钥即可，在点击保存。

2024-06-11 17:39:59 636

原创 Docker数据卷volume（四）

每当容器删除时，里面的数据也会随着删除，当运维人员不小心删了一个容器时，那可就太悲催了，因此docker还有一种数据卷叫做持久性数据卷组，每次都会把容器中操作的数据保存在数据卷组中，即使删除了这个容器，创建新的容器照样可以使用数据卷组中的内容。只有默认首页，我们装了nginx肯定不只有首页，因此网站源码存放位置我们需要考虑了，放到容器中，很多命令在容器中不生效这点就很头疼，因此就有了挂载这么个说法，在宿主机建一个目录，挂载到容器中，宿主机发生改变，容器也会跟着改变，实时同步。可以是文件也可以是目录。

2024-06-11 16:19:14 377

原创 Docker网络、端口映射详解篇（三）

扩展：nginx负载均衡与后端服务器连接时也使用随机端口，因此最多可以支持5w个并发，想增大并发量就是多增加几个ip，在dns上面设置例如华北用户走这个ip，华南用户走下一个ip，这样并发就高了，cdn也是这种原理。 -p hostport:containerport:udp //映射成udp端口。 -p ip:hostport:containerport //指定ip映射。 -p ip::containerport //映射成随机端口。 -p 81:80 -p 443:443 //指定多个。

2024-06-10 21:14:37 1776

转载 Docker的安装及日常命令的使用（二）

docker容器的第一个进程必须一直处于前台运行状态，否则这个容器就会退出。

2024-06-10 08:30:00 170

原创 Docker与虚拟化的概述（一）

容器就是在隔离的环境运行的一个进程，如果进程停止，容器就会销毁。隔离的环境拥有自己的文件系统、ip地址、主机名等。

2024-06-10 00:41:45 898

原创 filebeat

下午4点filebeat崩溃，4-5的数据未收集到ES集群。ES集群只有下午5点以后的数据和4点之前的数据。请问如何找回4-5点数据，请说出思路即可。filebeat是按行输出的，如果没有换行，是不会输出的。一般先output到控制台，测试正确了，在往es上写。

2024-06-10 00:31:35 511

原创 linux-elasticsearch（基础）

IK Analyzer 扩展配置linux-es.dic

2024-04-21 21:50:20 1753 1

原创 linux-elasticsearch（存储与检索）

9200端口作用：对ES集群外部提供http/https服务。可以理解为对客户端提供服务。9300端口作用：对ES集群内部进行数据通信传输端口，用的是tcp协议。堆内存，生产建议，一般内存给1半，不要大于32G,集群半数以上服务开启提供对外服务。

2024-04-21 21:19:06 1272

原创 WireShark的使用

WireShark是非常流行的网络封包分析工具，可以截取各种网络数据包，并显示数据包详细信息。常用于开发测试过程中各种问题定位。本文主要内容包括：1、Wireshark软件下载和安装以及Wireshark主界面介绍。2、WireShark简单抓包示例。通过该例子学会怎么抓包以及如何简单查看分析数据包内容。3、Wireshark过滤器使用。通过过滤器可以筛选出想要分析的内容。包括按照协议过滤、端口和主机名过滤、数据包内容过滤。

2024-04-16 15:41:35 619

原创 uwsgi使用过程报错问题记录

libstdc++.so.6只是libstdc++.so.6.0.19的一个软连接,我们来使用以下命令查看有没有想要的CXXABI_1.3.8的包。备份libstdc++.so.6,建立libstdc++.so.6.0.26的软连接到libstdc++.so.6。看的出来是没有这个包的,我们将libstdc++.so.6.0.26复制到/lib64/下。后面陆续会提示缺少文件,缺什么cp什么。最后我们查看一下uwsgi版本。安装完成后添加软连接。

2024-04-15 17:16:44 407

原创 LNMP平台搭建与应用

LNMP就是Linux+Nginx+MySQL+PHP，Linux作为服务器的操作系统、Nginx作为web服务器、PHP作为解析动态脚本语言、MySQL即为数据库Linux作为服务器的操作系统Nginx作为WebServer服务器PHP作为动态解析服务，也不只是php还有python、perlMySQL作为后端存储数据库服务Nginx服务本身不能处理PHP请求，那么当用户发起PHP动态请求，PHP是这样处理的。

2024-04-11 21:34:41 842

原创 Nginx最常用的七种模块配置

修改主配置文件nginx.conf，把其中的access_log、error_log注释掉，并增加多个log_format即使注释掉，新的站点如果不定义access_log/error_log依然会存放到默认的路径下http {.........

2024-04-10 21:57:49 2488

原创 Nginx基本概述

Nginx是一个开源且高性能、可靠的http web服务、代理服务、负载均衡Nginx的好处开源：直接获取源代码高性能：支持海量并发可靠：服务稳定轻量：占用资源少常见的http web服务httpd Apache基金会开发IIS 必须是微软服务器才可以使用GWS Google开发openrestry 基于Nginx+luatengine 淘宝基于Nginx开发1.nginx的功能web服务器、代理、负载均衡、安全控制2.nginx的优势。

2024-04-10 21:44:32 846

原创 linux安装docker-compose

这样，就成功在Linux上安装了Docker Compose命令。下载Docker Compose的可执行文件。如果要安装特定版本的Docker Compose，请将上述命令中的。命令来管理和运行基于Docker Compose的应用程序。如果安装成功，将显示Docker Compose的版本号。替换为所需的版本号。创建一个符号链接，将。

2024-04-09 22:00:14 283

原创 centos7系统双网卡bound绑定配置

生产环境必须提供 7×24 小时的网络传输服务。借助于网卡绑定技术，不仅可以提高网络传输速度，更重要的是，还可以确保在其中一块网卡出现故障时，依然可以正常提供网络服务。假设我们对两块网卡实施了绑定技术，这样在正常工作中它们会共同传输数据，使得网络传输的速度变得更快；而且即使有一块网卡突然出现了故障，另外一块网卡便会立即自动顶替上去，保证数据传输不会中断。

2024-04-09 01:04:36 1162

原创使用dd命令创建swap交换分区

【代码】使用dd命令创建swap交换分区。

2024-04-09 00:19:51 376

原创 rhel7和centos7以上版本忘记root密码处理方法

找到linux16一行，摁ctrl+e跳转到行尾，输入 \rd.break，再按ctrl+x进入急救模式。进入grub菜单，选择默认第一个启动项，按e进行编辑。

2024-04-08 23:02:44 456

原创 Logstash数据处理服务的核心概念以及简单使用

logstash -e命令后面指定的字符串其实就是一个配置文件格式，只不过将配置文件内容合成一行来执行，Logstash能够将采集的日志进行格式化、过滤，最后将数据推送到Elasticsearch存储中。“@timestamp” 标记事件发生的时间点。Logstash二进制包没有集成jdk，需要。Logstash默认会给日志增加三个字段。“host” 标记事件发生的主机。“type” 标记事件的唯一类型。Logstash命令格式参数。：字符串形式的配置文件。：指定运行的配置文件。：检测配置文件的语法。

2024-04-07 01:31:06 317

原创 ELasticsearch集群核心概念以及集群搭建（二）

Elasticsearch是一个基于Apache Lucene的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为迄今为止最先进、性能最好的、功能最全的搜索引擎库，但是lucene只是一个库，想要用它，必须使用java来作为开发语言并将其直接集成到你的应用中，Lucene非常复杂，需要深入了解检索的相关知识来理解是如何工作的，Elasticsearch也# ELasticsearch集群概念及部署。操作部署与elkstack-2的方式一样，只是改改配置文件不同。

2024-04-06 22:35:52 976

原创 ELkStack集群核心概念

由FIlebeat收集应用程序的日志然后通过Logstash将Filebeat中的数据读取存储到ELasticsearch集群，最后由Kibana展示日志数据。的简称，提供一套完整的企业级日志平台解决方案。ELK Stack需求背景。

2024-04-06 20:07:05 205

原创 centos7.6搭建squid代理服务器

客户机想访问163网站时，首先向代理服务器请求web页面，代理服务器首先会查看自己的缓存，如果缓存中有，则直接发送给客户机，如果缓存表中不存在，他会向inter发送请求，当获得返回web页面后，将数据发送给客户端的同时保存在缓存表中，方便下次使用。它是利用Linux网关进行代理服务的，因此只需要设置网关即可，不需要指定代理服务器IP。首先必须要有代理客户端，浏览器就可以，需要手工指定代理服务器的IP地址。在/etc/profile添加两行。这里我们用的是3.4.6。

2024-04-06 17:38:20 310

原创 RabbitMQ消息队列的工作模式

使用Routing路由模式时，Exchange与队列也不再进行绑定了，而是通过声明一个RoutingKey，通过这个key将消息路由到特定的队列中，因此在消息发送方发消息时，就需要指定消息的RoutingKey，Routing根据消息中的RoutingKey进行判断，当消息中的RoutingKey与队列中的RoutingKey完全一致时，消息才能正常存储到队列中，最后被消费者处理。简而言之，使用Topic模式后，可以对消息数据中的RoutingKey进行通配符匹配，将满足条件的消息数据分发到特定的队列中。

2024-04-06 01:29:34 527

原创 RocketMQ集群监控平台rocketmq-console

RocketMQ有一个对其扩展的开源项目，这个项目中有一个子模块叫，这个便是管理控制台项目了，先将拉到本地，因为我们需要自己对进行编译打包运行。GitHub地址：https://github.com/apache/rocketmq-externals。

2024-04-06 01:28:31 3991

原创 RockerMQ集群管理工具mqadmin详细目录参数

执行命令时如果使用`-b指定了Broker的地址，又使用-c指定了集群的名称，那么优先以Broker地址获取命令的结果，如果不指定Broker，默认会对集群中所有主机执行命令。：Broker中各个消费者的消费情况，按Message Queue维度返回Consume Offset，Broker Offset，Diff，TImestamp等信息。：指定Cluster名称，表示topic所在集群（集群可通过 clusterList 查询），-b优先，如果没有-b，则对集群中所有Broker执行命令。

2024-04-05 23:57:07 1632

原创 RocketMQ集群的特点以及各种集群模式的介绍

同步模式下的多Master多Slave模式比异步模式效率略低，并且性能也比异步模式消耗要高，因为同步模式Broker收到一条消息，首先会落盘然后同步给Slave，最后再反馈给发送者，而异步模式下，Broker在收到消息的一瞬间就会反馈给发送者消息已收到。同步模式下可以保证消息的可靠性，会保证每一条消息丢失成功进行存储的，而异步模式下，虽然Broker收到消息可以立即反馈，但是数据落盘时如果MQ宕机，发送者已经收到确认的消息的，但是消息其实并没有存储到Broker中，就会导致消息数据存在丢失的现象。

2024-04-05 23:55:22 1086

原创 RocketMQ的介绍以及部署

RocketMQ是阿里巴巴开源的一个消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache,现在是Apache的一个顶级项目。目前RocketMQ在阿里云上有一个购买即可用的商业版本，商业版本集成了阿里内部一些更深层次的功能及运维定制。RocketMQ的官网地址: http://rocketmq.apache.orgGithub地址是https://github.com/apache/rocketmq。

2024-04-05 23:09:52 1365

原创 Zookeeper集群部署以及故障测试

1）当ZKServer-1节点启动后，会比较自身的ServerID，目前集群中没有其他节点，因此该节点就认为自己的ServerID是集群中最大的，给自己投一票，但是Leader的选举条件必须是票数超过集群中半数节点，例如三个节点必须至少有2个同意才可以，两个节点的集群中有2票也才可以选举为Leader，由于票数不够的问题，ZkServer-1节点就会处于Follower节点。4）剩下的其余节点在加入集群后，发现已经有Leader节点了，就不会再选举，而是成为Follower节点。

2024-04-05 22:15:19 1412

原创 Zookeeper分布式锁的概念及原理

基于分布式的场景，JVM锁已经远远无法满足了，这时就需要一种统一配置的锁，那就是分布式锁的组件，让所有的程序副本都连接到这个分布式锁组件，由分布式锁提供一个唯一的锁，比如第一个请求到达APP1节点上了，此时APP1就会去分布式锁中取一个锁，让这个请求线程安心处理数据，当数据处理完成后，再将锁还回去，第二个请求进来如果发现锁已经被APP1使用了，那么就会处于等待的状态，当APP1处理完成后，APP2再拿到锁去处理数据。用于所有客户端创建的子节点间进行比较，如果发现自己的子节点编号比较小，那么就获取锁。

2024-04-05 22:10:48 834

原创 Zookeeper的数据结构以及常用命令使用

根目录中存在子目录，子目录中包含子文件，数据都在子文件中存储，而Zookeeper是在根节点下包含很多子节点，但是每一个节点都可以存储自己的一些数据和当前节点的信息，允许存储的数据大小为1M。Zookeeper的数据结构和标准的Unix文件系统类似，都存在一个（/）根，在Unix中数据结构被称为目录（根目录、子目录），而Zookeeper中的数据结构都被称为节点（根节点、子节点）。注意：如果要删除的节点中包含子节点，那么会删除失败，会提示节点不为空，只有当节点中不包含任何子节点时，才可以被删除。

2024-04-05 21:48:22 2199

原创 Zookeeper分布式应用协调软件的核心概念以及部署

Zookeeper是分布式协调服务，Zookeeper是ApacheHadoop项目下的一个子项目，是树形目录服务结构，可以理解为Zookeeper就是来管理分布式应用程序的，简称ZK。Zookeeper自身就是一种分布式的架构，主要为分布式应用程序提供一种协调性服务。Zookeeper公开了一组简单的原语，分布式应用程序可以基于这些原语实现更高级别的同步、配置维护、组和命名服务。它被设计为易于编程，并使用一种数据模型，该模型以熟悉的文件系统目录树结构为样式。

2024-04-05 18:09:58 606

原创 ActiveMQ消息队列主从集群

ActiveMQ主从高可用集群，需要使用Zookeeper集群注册所有的ActiveMQ节点，由Zookeeper实现主备切换时的选举，在主从高可用集群中，只有一个ActiveMQ节点处于工作状态，被视为Master节点，其他的ActiveMQ节点处于待机状态，当主节点挂掉后，Zookeeper会通过选举机制将集群中的某个ActiveMQ节点提升为Master，继续提供服务。模拟ActiveMQ主节点宕机，观察是否会由集群中另外的从节点，升级为主节点。每个节点都有单独的通信地址，故障切换后可以直接切换。

2024-04-05 15:35:23 1194

空空如也

空空如也