Daisy 23年6月1日 文章 建站教程 mysql的双主模式搭建(三) 验证双主同步 执行步骤:在服务器1的mysql中新建数据库-创建表-插入一条数据-到服务器2的mysql查看是否有同样的记录 keeplived实现高可用 俩台服务器都安装keeplived 服务器1配置keeplived.conf 和my… 赞0 参与讨论
Daisy 23年6月1日 文章 建站教程 mysql的双主模式搭建(二) 配置双主模式 配置数据库1 修改1服务器上的数据库配置文件/etc/my.cnf,增加以下配置: #设置server-idserver-id=1#开启二进制日志log-bin=mysql-bin#开启中继日志relay-log=relay-… 赞0 参与讨论
Daisy 23年6月1日 文章 建站教程 mysql的双主模式搭建 安装mysql 卸载相关插件 # 删除mariadb,先查看,再删除rpm -qa | grep mariadb | xargs rpm -ev --allmatches --nodeps 安装libaio #libaio是linux的原生… 赞0 参与讨论
Daisy 23年5月30日 文章 建站教程 HAProxy搭建web集群 2.1 RR (Round Robin) RR算法是最简单最常用的一种算法,即轮询调度 例子:有三个节点A、B、C 第一个用户访问会被指派到节点A 第二个用户访问会被指派到节点B 第三个用户访问会被指派到节点C 第四个用户访问继续指派到节点… 赞0 参与讨论
Daisy 23年5月30日 文章 建站教程 HAProxy搭建web集群 一、 常见的Web集群调度器 目前常见的Web集群调度器分为软件和硬件 软件通常使用开源的LVS、Haproxy、 Nginx LVS性能最好,但是搭建相对复杂; Nginx 的upstream模块支持群集功能,但是对群集节点健… 赞0 参与讨论
Daisy 23年5月29日 文章 建站教程 docker开启外部访问 一、问题描述 有些时候,需要docker开启外部访问。1.例如我们使用docker的可视化客户端工具portainer来统一管理在不同服务器上的docker时,就需要开启外部访问,否则是连接不到的。2.使用jenkins时,有些情况需要保证… 赞0 参与讨论
Daisy 23年5月29日 文章 建站教程 docker搭建私有仓库 1、下载运行register容器$ docker run -d -v /Users/miuye/Public/registry:/var/lib/registry -p 5000:5000 --name myRegistry registr… 赞0 参与讨论
Daisy 23年5月26日 文章 建站教程 Web 界面查看 Nodes 信息 Web 界面查看 Nodes 信息 成功启动后,可以访问 Web 界面: 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。 (6)运行 Hadoop 伪分布式实例(grep 例子)①创建实… 赞0 参与讨论
Daisy 23年5月26日 文章 建站教程 Hadoop 配置文件说明 Hadoop的运行方式是由配置文件决定的(运行Hadoop时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除coresite.xml 中的配置项。 此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.… 赞0 参与讨论
Daisy 23年5月26日 文章 建站教程 hadoop伪分布配置 标题伪分布式模式 Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。 1.修改配置文件Hadoop… 赞0 参与讨论
Daisy 23年5月24日 文章 建站教程 Hadoop完全分布式配置(二) 群起集群 单节点启动,需要我们手动去每个机器启动,过于繁琐。 1、配置workers 1)配置/opt/module/hadoop-3.2.1/etc/hadoop下的workers文件(hadoop3.0以后slaves更名为worker… 赞0 参与讨论
Daisy 23年5月24日 文章 建站教程 Hadoop完全分布式配置 Hadoop完全分布式配置详解 1、VMwork安装Linux系统(centos7) 网络适配器:NAT 用户名:root 密码:123456 也可以建立自定义用户,不过自定义的用户在后续会遇到许多权限问题,… 赞0 参与讨论
Daisy 23年5月23日 文章 建站教程 Docker私有仓库搭建与使用(二) 2.2 使用官方镜像自建Registry [root@node02 ~]# docker run -d -p 5000:5000 -v /opt/data/registry:/tmp/registry registry [root@node… 赞0 参与讨论
Daisy 23年5月23日 文章 建站教程 Docker私有仓库搭建与使用 1. Docker Registry 网上有很多的Registry服务器都支持第三方用户注册,而后基于用户名去做自己的仓库,但是使用互联网上的Registry有一个缺陷,那就是我们去推送和下载镜像时都不会很快,而在生产环境中很可能并行启动的… 赞0 参与讨论
Daisy 23年5月22日 文章 建站教程 Docekr安装和搭建方式 一、本地Docker安装 需要使用到阿里云的docker-ce配置资源,以下为配置步骤 配置本地yum源[docker-ce-stable]name=Docker CE Stable - $basearchbaseurl=https://m… 赞0 参与讨论
Daisy 23年5月22日 文章 建站教程 基于注意力机制的四种增强型RNN(下) 三:自适应计算时间 标准RNN在每个时间步骤执行相同的计算量。 这似乎太不直观了。 举个例子来说,人在思考更难的问题时是不是会动更多的脑筋?并且在每个时间步骤执行相同的计算量会限制RNN处理长度为n的列表时的时间复杂度为O(n)。 自适应计… 赞0 参与讨论
Daisy 23年5月19日 文章 建站教程 Java-IO之总框架 在Java IO中我们会经常提到输入流和输出流,流是一种抽象的数据总称,本质是能够进行数据的传输。按照流的方向分为:输入流和输出流。按照流中处理数据的单位,可以将其区分为:字节流和字符流。在Java中,字节就是1个Byte,8位… 赞0 参与讨论
Daisy 23年5月19日 文章 建站教程 ENUM类使用说明 1、创建枚举类 使用ENUM来修饰 2、构建属性 private String name;private String age;private String color; 3、创建构造函数 private ShowFar(String na… 赞0 参与讨论
Daisy 23年5月17日 文章 建站教程 Centos7 源码安装nginx 1、官方自行下载nginx源码 2、切换到解压后的nginx目录中执行: ./configure --prefix=/opt/demo/nginx --add-module=/home/fastdfs-nginx-module/… 赞0 参与讨论
Daisy 23年5月17日 文章 建站教程 Centos7上搭建Consul 解压consul至 /home/songxiaohu/consul目录下 安装consul,进入consul目录下,执行命令: sudo ./consul agent -server -bootstrap-expect 2 -data-di… 赞0 参与讨论
Daisy 23年5月16日 文章 建站教程 JSONP跨域方式 Jsonp的调用方式说明 Jsonp的调用本质上是利用的src的越过跨域的方式调用的, 如上的方式我们在自己的开发过程中应该都有使用过,在自己的网站上,调用其他网站的js脚本或者图片,以上的调用过程其实也是跨域的,但是调用结果是完全没有问题… 赞0 参与讨论
Daisy 23年5月16日 文章 建站教程 redis集群搭建 redis集群搭建 因为环境的问题,我这里仅仅是一台虚拟机。搭建一个3主3从的redis集群 一:下载最新版redis 二:将redis-x.x.x.tar.gz 解压至自己目录下。 tar -xf redis-x.x.x.tar.gz 编… 赞0 参与讨论
Daisy 23年5月15日 文章 建站教程 nginx反向代理时的一些事项 一、展示真实的代理ip 一般情况下浏览器访问时是只显示客户端的访问地址,而服务器nginx转发到哪个地址我们是看不到的,这样就很难判断nginx代理是否生效。我们可以在nginx的配置文件上加上以下配置: add_header backen… 赞0 参与讨论
Daisy 23年5月15日 文章 建站教程 linux mysql双主模式搭建(三) 双主模式 双主模式是在主从模式的基础上来完成。 双主模式,只需要将目前的主节点128同步从节点129数据即可。 1、从服务器构建用于同步的用户 #设置用于同步的用户,比如128节点从129节点同步数据,那么用户需要在129节点构建CREAT… 赞0 参与讨论
Daisy 23年5月15日 文章 建站教程 linux mysql双主模式搭建( 三) 双主模式 双主模式是在主从模式的基础上来完成。 双主模式,只需要将目前的主节点128同步从节点129数据即可。 1、从服务器构建用于同步的用户 #设置用于同步的用户,比如128节点从129节点同步数据,那么用户需要在129节点构建CREAT… 赞0 参与讨论
Daisy 23年5月12日 文章 建站教程 linux mysql双主模式搭建(二) 主从模式配置 主节点128配置 1、主节点128构建用于同步的用户 #设置用于同步的用户,比如A服务器为主,B服务器为从。则此用户需要在A(主)服务器上构建CREATE USER repl_user IDENTIFIED BY '… 赞0 参与讨论
Daisy 23年5月12日 文章 建站教程 linux mysql双主模式搭建 一、主节点安装 1、下载mysql安装包 将安装包务必解压到 /usr/local/mysql 目录 2、解压 构建组 useradd -r -g mysql mysql 建用户 useradd -r -g mysql mysql 赋权 c… 赞0 参与讨论
Daisy 23年5月11日 文章 建站教程 ES集群构建(二) 配置从节点1 1、vi /elasticsearch/conf/elasticsearch.yml cluster.name: elastic-clusternode.name: slave1path.data: /usr/local/so… 赞0 参与讨论
Daisy 23年5月11日 文章 建站教程 ES集群构建 切换普通用户 因为elasticsearch默认不允许root用户启动 1、创建用户:elasticsearch [root@iZbp1bb2egi7w… 赞0 参与讨论
Daisy 23年5月10日 文章 建站教程 配置docker信任仓库 配置docker信任仓库 此过程将私仓配置到docker信任仓库列表中 vi /etc/docker/daemon.json 将宿主机ip添加至信任列表中 {"insecure-registries":["19… 赞0 参与讨论
Daisy 23年5月10日 文章 建站教程 docker私仓构建 一、安装私仓 查看私仓库 docker search registry 拉取私仓 docker pull registry 查看本地镜像 docker images 将私仓镜像运行至容器 #5000:5000 前面的端口随意定义,后面的50… 赞0 参与讨论
Daisy 23年5月9日 文章 建站教程 http安装服务 http服务安装 为ambari-server构建应用服务器,考虑两种方式apache或者python 方式1、 apache http server ##安装yum install httpd##启动httpd##关闭httpd -k s… 赞0 参与讨论
Daisy 23年5月9日 文章 建站教程 构建Hadoop集群 配置要求如下: 安装包: ambari-2.6.2.0-centos7.tar.gz #ambari组件用于监控、安装、管理Hadoop套件 HDP-2.6.3.0-centos7-rpm.tar.gz #hado… 赞0 参与讨论
Daisy 23年5月8日 文章 建站教程 简述CDH及HDP 第三方发行版(如:CDH,HDP等)1)优点:i)基于Apache协议,100%开源。ii)版本管理简单清晰:像Cloudera的CDH4.1.0 patch level 923.142,表示在原生态Apache Hadoop 0.20.2… 赞0 参与讨论
Daisy 23年5月8日 文章 建站教程 简述Apache Hadoop 一.概述 当前,hadoop发行版众多,其中包括华为发行版(收费)、Intel发行版(收费)、Cloudera发行版(Cloudera&rsqu… 赞0 参与讨论
Daisy 23年5月6日 文章 建站教程 Hortonworks3 HDP 4.3、服务器防火墙关闭 4.3.1、关闭掉linux防火墙(所有机器) sudo systemctl stop firewalld.servicesudo systemctl disable firewalld.… 赞0 参与讨论
Daisy 23年5月6日 文章 建站教程 Ambari2.7.3 一、目的: 为了实现公司项目对海量业务数据、文件进行存储,系统间共享,并且达到以下几点要求,可行方案hadoop集群。 数据安全 需要实现数据冗余,避免数据的单点故障&nbs… 赞0 参与讨论
Daisy 23年5月5日 文章 建站教程 Hadoop在CDH和HDP中的使用(二) 我们尝试操作一下hdfs [root@quickstart Desktop]# hdfs dfs -ls /Found 6 itemsdrwxrwxrwx - hdfs supergroup &nbs… 赞0 参与讨论
Daisy 23年5月5日 文章 建站教程 Hadoop在CDH和HDP中的使用(一) 一、Hadoop在CDH和HDP中的使用 咱们前面学习了官方的Apache Hadoop版本,我们前面也说了,在实际工作中其实会使用CDH或者HDP,那下面我们就看一下在CDH和HDP中如何操作Hadoop。 注意了,在这里我不打算讲CDH… 赞0 参与讨论
Daisy 23年4月25日 文章 建站教程 hadoop离线安装(二) 3、制作本地源 (1)安装本地源制作相关工具(主服务器)[root@master ambari]# yum install yum-utils createrepo yum-plugin-priorities -y[root@master … 赞0 参与讨论
Daisy 23年4月25日 文章 建站教程 hadoop离线安装 一、下载安装包 二、系统环境配置 时间同步简单方法 主服务器开启ntp服务器以后,子节点就不需要开启了,因为当server与client之间的时间误差过大时(可能是1000秒),处于对修改时间可能对系统和应用带来不可预知的问题,NTP将停止… 赞0 参与讨论
Daisy 23年4月24日 文章 建站教程 Apache与CDH的比较 (1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是CDH3和CDH4,分别对应Hadoop 1.0和Hadoop 2.0。相比而言,Apache版本则混乱得多。 … 赞0 参与讨论
Daisy 23年4月24日 文章 建站教程 简述Apache Hadoop 一.概述当前,hadoop发行版众多,其中包括华为发行版(收费)、Intel发行版(收费)、Cloudera发行版(Cloudera’s Distribution Including Apache Hadoop,简称 CDH,免… 赞0 参与讨论
Daisy 23年4月23日 文章 建站教程 HDP-hadoop安装部署(二) 三、搭建数据库(在主机ambari-mysql上部署) Ambari安装会将安装等信息写入数据库,建议使用自己安装的Mysql数据库,也可以不安装而使用默认数据库PostgreSQL 版本要求:- PostgreSQL 8- Postgre… 赞0 参与讨论
Daisy 23年4月23日 文章 建站教程 HDP-hadoop安装部署(一) 一、官方链接 官方搭建文档:https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/ch_Getting_Ready.h… 赞0 参与讨论
Daisy 23年4月21日 文章 建站教程 构建Hadoop集群(四) 8.3、安装ambari-server: ##执行如下命令的时候,会从apache目录下http://192.168.31.72:8095/ambari/centos7/2.6.2.0-155寻找安装文件。而不会从互联网yum instal… 赞0 参与讨论
Daisy 23年4月21日 文章 建站教程 构建Hadoop集群(三) 6、所有节点关闭python的安全认证 修改所有主机配置 vim /etc/python/cert-verification.cfgcation.cfgverify=disable 7、安装ntp服务 72/73/74安装ntp服务并同步时… 赞0 参与讨论
Daisy 23年4月20日 文章 建站教程 构建Hadoop集群(二) 5、http服务安装 为ambari-server构建应用服务器,考虑两种方式apache或者python 方式1、 apache http server ##安装yum install httpd##启动httpd##关闭httpd -k… 赞0 参与讨论
Daisy 23年4月20日 文章 建站教程 构建Hadoop集群(一) 配置要求如下: 安装包: ambari-2.6.2.0-centos7.tar.gz #ambari组件用于监控、安装、管理Hadoop套件 HDP-2.6.3.0-centos7-rpm.tar.gz #hado… 赞0 参与讨论
Daisy 23年4月19日 文章 建站教程 CentOS 7.2 安装 Ambari(三) 6.如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入:/opt/java/jdk1.8.0_91 WARNING: JDK must be installed on all hosts and JAVA_HOME must b… 赞0 参与讨论