本文内容 涞源于 罗刚 老师的 书籍 << 自己动手写网络爬虫一书 >> ; 本文将介绍 1: 网络爬虫的是做什么的? 2: 手动写一个简单的网络爬虫; 1: 网络爬虫是做什么的? 他的主要工作就是 跟据指定的url地址 去发送请求,获得响应, 然后解析响应 , 一方面从响应中查找出想要查找的数据,另一方面从响应中解析出新的URL路径, 然后继续访问,继续解析;继续查找需要的数据和继续解析出新的URL路径 . 这就是网络爬虫主要干的工作. 下面是流程图: 通过上面的流程图 能大概了解到 网络…

2021年4月12日 0条评论 64点热度 0人点赞 东泰 阅读全文

1. 简介 WebMvcConfigurer配置类其实是Spring内部的一种配置方式,采用JavaBean的形式来代替传统的xml配置文件形式进行针对框架个性化定制,可以自定义一些Handler,Interceptor,ViewResolver,MessageConverter。基于java-based方式的spring mvc配置,需要创建一个配置类并实现WebMvcConfigurer 接口; 在Spring Boot 1.5版本都是靠重写WebMvcConfigurerAdapter的方法来添加自定义拦截器…

2021年3月12日 0条评论 125点热度 0人点赞 东泰 阅读全文

mybatis xml搜索查询主要是采用CONCAT <!--判断是否等于空--> <if test = "null != 参数"> WHERE 需要查询的字段 LIKE CONCAT(CONCAT('%', #{参数}), '%') </if>

2021年2月10日 0条评论 141点热度 0人点赞 东泰 阅读全文

TKmybatis条件查询,比如根据字段排序,模糊查询等等官方都提供好了,熟悉运用的话,基本不用写sql语句了,这也是我比较喜欢用TKmybatis,MP的话是运用到jdk8新特性,我比较喜欢传统的。 条件查询 public List<TestUser> selectExample() { Example example = new Example(TestUser.class); //排序方法setOrderByClause("字段名 ASC")DESC降序 example.set…

2021年2月1日 0条评论 282点热度 0人点赞 东泰 阅读全文

在 HandlerInterceptor 里使用redis的时候,报空指针异常。 原因: 拦截器的执行是在spring容器中bean初始化之前的,拦截器执行时,spring中我们定义的bean还未初始化,自然也就无法自动注入,无法使用。 解决很简单,在 WebMvcConfigurer 封装 HandlerInterceptor Bean方法,然后 在registry.addInterceptor调用这个Bean方法即可 WebMvcConfigurer package com.huobiapp.util.inte…

2020年12月18日 0条评论 274点热度 0人点赞 东泰 阅读全文

在centos上部署tomcat的时候,Excel表导出的时候会报这个错误,找了很多没找到解决方案,我是用宝塔搭建javaweb的,tomcat也是通过宝塔安装的,百度了很多关于这个报错问题,都是说配置tomcat/bin/catalina.sh文件,是没错,是需要配置,但是很多文章忘了一步就是启动tomcat的时候要写 java -Djava.awt.headless=true 有两个步骤 tomcat/bin/catalina.sh 头部写 JAVA_OPTS=-Djava.awt.headless=true …

2020年12月14日 0条评论 300点热度 0人点赞 东泰 阅读全文

不讲原理,直接实战吧,哈哈。但是有一点要说一下,拦截器和过滤器的原理是不一样的,这样一定要知道。 下面就看看springboot 整合过滤器 springboot启动 /** * 启动类 * 东泰 http://dt2008.cn * 2020-12 */ @SpringBootApplication //搜索dao层 @MapperScan("cn.dt2008.mapper") //扫描过滤器 参数1:controller层位置, 参数2:过滤器地址 @ServletComponentSca…

2020年12月14日 0条评论 185点热度 1人点赞 东泰 阅读全文

TKMybatis 实体类字段存在而数据库不存在,这种情况下处理直接写 @Transient 注解就行了 package cn.dt2008.model; import lombok.Data; import tk.mybatis.mapper.annotation.KeySql; import javax.persistence.Id; import javax.persistence.Table; import javax.persistence.Transient; import java.util.Date…

2020年12月14日 0条评论 403点热度 0人点赞 东泰 阅读全文

这个简直可以说的是跟from差不多,之前小编写了个post图片上传,直接被好一点的服务器拦截了,像测试服务器学生机的那种,不会拦截,但是模仿from提交就没试过拦截了 Demo import org.junit.Test; import javax.activation.MimetypesFileTypeMap; import java.io.*; import java.net.HttpURLConnection; import java.net.URL; import java.util.HashMap; im…

2020年12月8日 0条评论 297点热度 0人点赞 东泰 阅读全文

全局自定义返回对象的优点 整个项目统一的返回格式,如果后期要修改,直接修改公共的model,方便维护 传给前端统一的格式,前端可以做全局处理等等 package blog.util; /** * 全局响应类 * 东泰 http://dt2008.cn * 2020-11 */ public class Response<T> { //是否成功 private boolean success; //状态编码 private String code; //处理结果描述 private String msg;…

2020年11月29日 0条评论 379点热度 0人点赞 东泰 阅读全文

redis是项目最常用的NIO缓存,对于springboot而言简单使用,应用场景有:注册登录存储token、验证码校验、还有一些数据查询等。用起来都是非常方便的,当然,如果服务器配置不好或者说比较配置很低的情况下的话就不要用了。真的怕GG了,哈哈。。。 依赖 <!--redis--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-start…

2020年11月27日 0条评论 306点热度 0人点赞 东泰 阅读全文

@Slf4j 注解是打印日志的。 如果不想每次都写 private final Logger logger = LoggerFactory.getLogger(当前类名.class); 怎么使用呢? 1.你的IDEA上需要安装Lombok插件 https://www.cnblogs.com/sxdcgaq8080/p/7884477.html 2.在你的springboot项目中引入lombok的jar <dependency> <groupId>org.projectlombok</…

2020年11月27日 0条评论 303点热度 0人点赞 东泰 阅读全文