目录
bufio 包介绍golang bufio使用bufio进行写缓存中满数据缓存中仍有空间待写入的数据大于缓存的大小缓存重用获取缓存的可用空间数使用bufio进行读PeekReadReadSliceReadLineReadBytesScanner参考bufio 包介绍
bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象,创建另一个也实现了该接口,且同时还提供了缓冲和一些文本I/O的帮助函数的对象。
golang bufio
当频繁地对少量数据读写时会占用IO,造成性能问题。golang的bufio
库使用缓存来一次性进行大块数据的读写,以此降低IO系统调用,提升性能。
在Transport中可以设置一个名为WriteBufferSize
的参数,该参数指定了底层(Transport.dialConn
)写buffer的大小。
tr := &http.Transport{ WriteBufferSize: 64 * 1024, }
pconn.br = bufio.NewReaderSize(pconn, t.readBufferSize()) pconn.bw = bufio.NewWriterSize(persistConnWriter{pconn}, t.writeBufferSize())
使用bufio进行写
可以使用bufio.NewWriter
初始化一个大小为4096字节的Writer
(见下),或使用bufio.NewWriterSize
初始化一个指定大小的Writer
。
Writer
中的主要参数为缓存区buf
,缓存区中的数据偏移量n
以及写入接口wr
:
type Writer struct { err error buf []byte n int wr io.Writer }
bufio.Writer
方法可以一次性写入缓存中的数据,通常有如下三种情况:
缓存中满数据
当缓存中满数据时,会执行写操作。
缓存中仍有空间
如果缓存中仍有数据,则不会执行写入动作,除非调用Flush()
方法。
待写入的数据大于缓存的大小
由于此时缓存无法缓存足够的数据,此时会跳过缓存直接执行写操作
type Writer int func (*Writer) Write(p []byte) (n int, err error) { fmt.Printf("Writing: %s\n", p) return len(p), nil } func main() { w := new(Writer) bw1 := bufio.NewWriterSize(w, 4) // Case 1: Writing to buffer until full bw1.Write([]byte{"1"}) bw1.Write([]byte{"2"}) bw1.Write([]byte{"3"}) bw1.Write([]byte{"4"}) // write - buffer is full // Case 2: Buffer has space bw1.Write([]byte{"5"}) //此时buffer中无法容纳更多的数据,执行写操作,写入 []byte{"1","2","3","4"} err = bw1.Flush() // forcefully write remaining if err != nil { panic(err) } // Case 3: (too) large write for buffer // Will skip buffer and write directly bw1.Write([]byte("12345")) //buffer不足,直接执行写操作 //结果: Writing: 1234 Writing: 5 Writing: 12345
缓存重用
申请缓存对性能是有损耗的,可以使用Reset
方法重置缓存,其内部只是将Writer
的数据偏移量n
置0。
wr := new(Writer) bw := bufio.NewWriterSize(wr,2) bw.Reset(wr)
获取缓存的可用空间数
Available()
方法可以返回缓存的可用空间数,即len(Writer.buf)-Writer.n
使用bufio进行读
与用于写数据的Writer
类似,读数据也有一个Reader
,可以使用NewReader
初始化一个大小为4096字节的Reader
,或使用NewReaderSize
初始化一个指定大小的Reader
(要求最小为16字节)。Reader
也有一个记录偏移量的变量r
type Reader struct { buf []byte rd io.Reader // reader provided by the client r, w int // buf read and write positions err error lastByte int // last byte read for UnreadByte; -1 means invalid lastRuneSize int // size of last rune read for UnreadRune; -1 means invalid }
Peek
该方法会返回buf中的前n个字节的内容,但与Read操作不同的是,它不会消费缓存中的数据,即不会增加数据偏移量,因此通常也会用于判断是否读取结束(EOF)。通常有如下几种情况:
如果peak的值小于缓存大小,则返回相应的内容如果peak的值大于缓存大小,则返回bufio.ErrBufferFull错误如果peak的值包含EOF且小于缓存大小,则返回EOFRead
将数据读取到p
,涉及将数据从缓存拷贝到p
。
func (b *Reader) Read(p []byte) (n int, err error)
ReadSlice
该方法会读从缓存读取数据,直到遇到第一个delim
。如果缓存中没有delim
,则返回EOF,如果查询的长度超过了缓存大小,则返回io.ErrBufferFull
错误。
func (b *Reader) ReadSlice(delim byte) (line []byte, err error)
例如delim
为","
,则下面会返回的内容为1234,
。
r := strings.NewReader("1234,567") rb := bufio.NewReaderSize(r, 20) fmt.Println(rb.ReadSlice(",")) // 结果:[49 50 51 52 44]
注意:
ReadSlice
返回的是原始缓存中的内容,如果针对缓存作并发操作,则返回的内容有可能被其他操作覆盖。因此在官方注释里面有写,建议使用ReadBytes
或ReadString
。但ReadBytes
和ReadString
涉及内存申请和拷贝,因此会影响性能。在追求高性能的场景下,建议外部使用sync.pool
来提供缓存。// Because the data returned from ReadSlice will be overwritten // by the next I/O operation, most clients should use // ReadBytes or ReadString instead.
ReadLine
ReadLine() (line []byte, isPrefix bool, err error)
ReadLine
底层用到了ReadSlice
,但在返回时会移除\n
或\r\n
。需要注意的是,如果切片中没有找到换行符,则不会返回EOF或io.ErrBufferFull
错误,相反,它会将isPrefix
置为true
ReadBytes
与ReadSlice
类似,但它会返回一个新的切片,因此便于并发使用。如果找不到delim
,ReadBytes
会返回io.EOF
func (b *Reader) ReadBytes(delim byte) ([]byte, error)
Scanner
scanner可以不断将数据读取到缓存(默认64*1024字节)。
rb := strings.NewReader("12345678901234567890") scanner := bufio.NewScanner(rb) for scanner.Scan() { fmt.Printf("Token (Scanner): %q\n", scanner.Text()) } // 结果:Token (Scanner): "12345678901234567890"
参考
how-to-read-and-write-with-golang-bufio
到此这篇关于golangbufio解析的文章就介绍到这了,更多相关golangbufio内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
X 关闭
X 关闭
- 15G资费不大降!三大运营商谁提供的5G网速最快?中国信通院给出答案
- 2联想拯救者Y70发布最新预告:售价2970元起 迄今最便宜的骁龙8+旗舰
- 3亚马逊开始大规模推广掌纹支付技术 顾客可使用“挥手付”结账
- 4现代和起亚上半年出口20万辆新能源汽车同比增长30.6%
- 5如何让居民5分钟使用到各种设施?沙特“线性城市”来了
- 6AMD实现连续8个季度的增长 季度营收首次突破60亿美元利润更是翻倍
- 7转转集团发布2022年二季度手机行情报告:二手市场“飘香”
- 8充电宝100Wh等于多少毫安?铁路旅客禁止、限制携带和托运物品目录
- 9好消息!京东与腾讯续签三年战略合作协议 加强技术创新与供应链服务
- 10名创优品拟通过香港IPO全球发售4100万股 全球发售所得款项有什么用处?