C# CLR via 对象内存中堆的储存【类型对象指针、同步块索引】

【转】文件下载之断点续传(客户端与服务端的兑现)

最近在看书,看到了对象在内存中的存储格局。

前方讲了文本的上传,今日来聊聊文件的下载。

讲到了目的存储在内存堆中,分配的空中除了项目对象的积极分子所需的内存量,还有额外的分子(类型对象指针、 同步块索引 ),看到那么些我就有点不懂了,不精晓类型对象指针是如何,指向的咋样?

惯例,仍然从最简便粗暴的发端。那么多简单算简单?多粗暴算粗暴?我告诉你可以不写一句代码,你信呢?直接把一个文件往IIS服务器上一扔,就援助下载。还TM么可以断点续传(IIS服务端默认匡助)。

从网上找也不曾找到,最后往下看,书中微微描述。说下自己的知道:

在贴代码在此之前先来了然下什么是断点续传(此地说的是下载断点续传)?怎么落实的断点续传?
断点续传就是下载了大体上断网或者暂停了,然后可以跟着下载。不用从头先导下载。

类型对象指针:指向类型对象存储的地址,假若有一个连串Person,它在堆中有一块区域存储它里面的字段和分子以及五个附加成员(类型对象指针、 同步块索引 ),类型对象的门类对象指针指向的是System.Type的地方。

很神奇呢,其实简单得很,大家想想也是足以想到的。
首先客户端向服务端发送一个呼吁(下载文件)。然后服务端响应请求,消息包含文件总大小、文件流开端和截止地点、内容大小等。这现实是怎么落实的吗?
HTTP/1.1有身材属性Range。比如您发送请求的时候带上Range:0-199,等于你是请求0到199以内的数据。然后服务器响应请求Content-Range: bytes 0-199/250
,表示你拿走了0到199里面的多寡,总大小是250。(也就是报告您还有数量没有下载完)。

因为Person类型在内存中相对于System.Type也是作为一个目的存在的,System.Type类型也是一个类别对象,它的序列对象指针指向本人;

我们来画个图吧。
图片 1

实例化一个Person对象,Person p = new
Person(); p对象在内存堆中也分配一块区域存储它里面的字段和成员以及多少个附加成员(类型对象指针、 同步块索引 ),p的档次对象指针指向Person类型在堆中的地址。

是不是很粗略?这么神奇的事物也就是个“约定”而已,也就是所谓的HTTP协议。
而是,协议那东西你听从它就存在,不遵从它就不设有。就像民国时期的钱我们都信它,它就有用。假设大部分人不信它,也就没卵用了。
本条断点续传也是这样。你服务端听从就襄助,不信守也就不协助断点续传。所以大家写下载工具的时候需要判定响应报文里有没有Content-Range,来确定是不是帮忙断点续传。
废话够多了,下面撸起袖子开干。

 

文件下载-服务端

同步块索引:先说一下协同块,.NET团队在筹划为主框架时充足考虑了线程同步的题目,其结果就是.NET为每一个堆内对象都提供了支撑线程同步的法力,这就是联名机制的雏形【参考:http://genwoxuedotnet.blog.51cto.com/1852748/504107

利用a标签提供文件下载

使用a标签来下载文件,也就是我们前边说的不写代码就足以兑现下载。直接把文件往iis服务器上一扔,然后把链接贴到a标签上,完事。

<a href="/新建文件夹2.rar">下载</a>

简言之、粗暴不用说了。如真得这么好这大家也不会困难去写其他下载逻辑了。这里有个沉重的短处。这种形式提供的下载不够安全。何人都得以下载,没有权限控制,说不定还会被人文件扫描(好像csdn就出过这档子事)。

不过对每个堆内对象都分配同步块有一个较大的害处,就是这样增大了内存的消耗。在形似的系统中,需要联合机制扶助的对象可能只占少数,这样对于大部分目的的话,一个联合块的内存消耗就全盘被荒废了。鉴于这一点,.NET框架采用了一种折中的办法,就是实际上只为每个堆内对象分配一个联袂索引,该索引中只保留一个标明数组内索引的整数。.NET在加载时会新建一个联名块数组,当某个对象急需被同台时,.NET会为其分配一个协办块,并且把该联合块在联合块数组中的索引参与该目的的联合块索引中。

利用Response.TransmitFile提供文件下载

地点说直接a标签提供下载不够安全。这大家怎么提供相对安全的下载呢。asp.net默认App_Data文件夹是无法被向来访问的,这我们把下载文件放这之中。然后下载的时候我们读取文件在回到到响应流。

//文件下载
public void FileDownload5()
{          
    //前面可以做用户登录验证、用户权限验证等。

    string filename = "大数据.rar";   //客户端保存的文件名  
    string filePath = Server.MapPath("/App_Data/大数据.rar");//要被下载的文件路径 

    Response.ContentType = "application/octet-stream";  //二进制流
    Response.AddHeader("Content-Disposition", "attachment;filename=" + filename);
    Response.TransmitFile(filePath); //将指定文件写入 HTTP 响应输出流
}

同步块机制包含如下的几点:
·
在.NET被加载时先导化同步块数组。
·
每一个被分配在堆上的靶子都会蕴藏三个附加的字段,其中一个囤积类型指针,而另外一个哪怕一块块索引,先河时被赋值为-1。
·
当一个线程试图动用该对象进入同步时,会检查该目的的协同索引。如果索引为负数,则会在一齐块数组中搜寻抑或新建一个联袂块,并且把一起块的索引值写入该对象的同步索引中。即使该目标的同步索引不为负值,则找到该对象的一头块并且检查是否有另外线程在应用该联合块,假设有则进入等待情形,要是没有则声明使用该同步块。

此外模式文件下载

在网上寻找C#文件下载一般都会搜到所谓的“四种格局”。其实那个代码并无法拿来直接使用,有坑的。
第一种:(Response.BinaryWrite)

 public void FileDownload2()
 {
     string fileName = "新建文件夹2.rar";//客户端保存的文件名  
     string filePath = Server.MapPath("/App_Data/新建文件夹2.rar");//要被下载的文件路径   

     Response.ContentType = "application/octet-stream";//二进制流
     //通知浏览器下载文件而不是打开  
     Response.AddHeader("Content-Disposition", "attachment;  filename=" + HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8));

     //以字符流的形式下载文件  
     using (FileStream fs = new FileStream(filePath, FileMode.Open, FileAccess.Read))
     {
         Response.AddHeader("Content-Length", fs.Length.ToString());
         //这里容易内存溢出
         //理论上数组最大长度 int.MaxValue 2147483647 
         //(实际分不到这么多,不同的程序能分到值也不同,本人机器,winfrom( 2147483591 相差56)、iis(也差不多2G)、iis Express(只有100多MB))
         byte[] bytes = new byte[(int)fs.Length];
         fs.Read(bytes, 0, bytes.Length);
         Response.BinaryWrite(bytes);
     }
     Response.Flush();
     Response.End();
 }

第一数组最大尺寸为int.马克斯Value,然后正常程序是不会分这么大内存,很容易搞挂服务器。(也就是足以下载的文件,极限值最多也就2G不到。)【不推荐】

第二种:(Response.WriteFile)

public void FileDownload3()
{
    string fileName = "新建文件夹2.rar";//客户端保存的文件名  
    string filePath = Server.MapPath("/App_Data/新建文件夹2.rar");//要被下载的文件路径  
    FileInfo fileInfo = new FileInfo(filePath);
    Response.Clear();
    Response.ClearContent();
    Response.ClearHeaders();
    Response.AddHeader("Content-Disposition", "attachment;filename=\"" + HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8) + "\"");
    Response.AddHeader("Content-Length", fileInfo.Length.ToString());//文件大小
    Response.AddHeader("Content-Transfer-Encoding", "binary");
    Response.ContentType = "application/octet-stream";
    Response.WriteFile(fileInfo.FullName);//大小参数必须介于零和最大的 Int32 值之间(也就是最大2G,不过这个操作非常耗内存)
    //这里容易内存溢出
    Response.Flush();
    Response.End();
}

问题和第一种恍若,也是不可能下载领先2G的文件。然后下载差不多2G文书时,机器也是地处被挂的边缘,万分恐怖。【不推荐】

第三种:(Response.OutputStream.Write)

public void FileDownload4()
{
    string fileName = "大数据.rar";//客户端保存的文件名  
    string filePath = Server.MapPath("/App_Data/大数据.rar");//要被下载的文件路径   

    if (System.IO.File.Exists(filePath))
    {
        const long ChunkSize = 102400; //100K 每次读取文件,只读取100K,这样可以缓解服务器的压力  
        byte[] buffer = new byte[ChunkSize];

        Response.Clear();
        using (FileStream fileStream = System.IO.File.OpenRead(filePath))
        {
            long fileSize = fileStream.Length; //文件大小  
            Response.ContentType = "application/octet-stream"; //二进制流
            Response.AddHeader("Content-Disposition", "attachment; filename=" + HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8));
            Response.AddHeader("Content-Length", fileStream.Length.ToString());//文件总大小
            while (fileSize > 0 && Response.IsClientConnected)//判断客户端是否还连接了服务器
            {
                //实际读取的大小  
                int readSize = fileStream.Read(buffer, 0, Convert.ToInt32(ChunkSize));
                Response.OutputStream.Write(buffer, 0, readSize);
                Response.Flush();//如果客户端 暂停下载时,这里会阻塞。
                fileSize = fileSize - readSize;//文件剩余大小
            }
        }
        Response.Close();
    }
}

这边肯定看到了是在循环读取输出,相比灵敏。下载大文件时没有压力。【推荐】

第四种:(Response.TransmitFile)
也就上开首举例说的这种,下载大文件也未曾压力。【推荐】

public void FileDownload5()
{          
    //前面可以做用户登录验证、用户权限验证等。

    string filename = "大数据.rar";   //客户端保存的文件名  
    string filePath = Server.MapPath("/App_Data/大数据.rar");//要被下载的文件路径 

    Response.ContentType = "application/octet-stream";  //二进制流
    Response.AddHeader("Content-Disposition", "attachment;filename=" + filename);
    Response.TransmitFile(filePath); //将指定文件写入 HTTP 响应输出流
}

同步块是指.NET维护的一起块数组中的某个元素

文件下载-客户端

地方实现了文本下载的服务端实现,接下去我们贯彻文件下载的客户端实现。客户端的下载可以一向是浏览器提供的下载,也足以是迅雷或者我们友好写的下载程序。这里为了更好的剖析,我们来用winfrom程序自己写个下载客户端。

 

直接下载

private async void button1_ClickAsync(object sender, EventArgs e)
{
    using (HttpClient http = new HttpClient())
    {
        var httpResponseMessage = await http.GetAsync("http://localhost:813/新建文件夹2.rar");//发送请求 (链接是a标签提供的)
        var contentLength = httpResponseMessage.Content.Headers.ContentLength;//读取文件大小
        using (var stream = await httpResponseMessage.Content.ReadAsStreamAsync())//读取文件流
        {
            var readLength = 1024000;//1000K  每次读取大小
            byte[] bytes = new byte[readLength];
            int writeLength;
            while ((writeLength = stream.Read(bytes, 0, readLength)) > 0)//分块读取文件流
            {
                using (FileStream fs = new FileStream(Application.StartupPath + "/temp.rar", FileMode.Append, FileAccess.Write))//使用追加方式打开一个文件流
                {
                    fs.Write(bytes, 0, writeLength);//追加写入文件
                    contentLength -= writeLength;
                    if (contentLength == 0)//如果写入完成 给出提示
                        MessageBox.Show("下载完成");
                }
            }
        }
    } 
}

看着如此雅观的代码,好像没问题。可现实往往不快心满意。
图片 2

俺们来看了一个不行“System.Net.Http.HttpRequestException:“不可以向缓冲区写入比所安排最大缓冲区大小
2147483647
更多的字节。”,什么鬼,又是2147483647这些数字。因为我们下载的文件大小超越了2G,不可能缓冲下载。
不过“缓冲下载”下又是何等鬼。我也不晓得。这大家摸索可以关掉那个东东吗?答案是迟早的。

var httpResponseMessage = await http.GetAsync("http://localhost:813/新建文件夹2.rar");//发送请求

改成下边就足以了

var httpResponseMessage = await http.GetAsync("http://localhost:813/新建文件夹2.rar",HttpCompletionOption.ResponseHeadersRead);//响应一可用且标题可读时即应完成的操作。 (尚未读取的内容。)

图片 3
大家看到枚举HttpCompletionOption的六个值。一个是响应读取内容,一个是响应读取标题(也就是Headers里的始末)。

异步下载

咱俩发现在下载大文件的时候会招致界面假死。这是UI单线程程序的毛病。当然,这么差的用户体验是大家不可以耐受的。下边我们为下载开一个线程,避免造成UI线程的不通。

/// <summary>
/// 异步下载
/// </summary>
/// <param name="sender"></param>
/// <param name="e"></param>
private async void button2_ClickAsync(object sender, EventArgs e)
{
    //开启一个异步线程
    await Task.Run(async () =>
    {
        //异步操作UI元素
        label1.Invoke((Action)(() =>
                {
                    label1.Text = "准备下载...";
                }));

        long downloadSize = 0;//已经下载大小
        long downloadSpeed = 0;//下载速度
        using (HttpClient http = new HttpClient())
        {
            var httpResponseMessage = await http.GetAsync("http://localhost:813/新建文件夹2.rar", HttpCompletionOption.ResponseHeadersRead);//发送请求
            var contentLength = httpResponseMessage.Content.Headers.ContentLength;   //文件大小                
            using (var stream = await httpResponseMessage.Content.ReadAsStreamAsync())
            {
                var readLength = 1024000;//1000K
                byte[] bytes = new byte[readLength];
                int writeLength;
                var beginSecond = DateTime.Now.Second;//当前时间秒
                while ((writeLength = stream.Read(bytes, 0, readLength)) > 0)
                {
                    //使用追加方式打开一个文件流
                    using (FileStream fs = new FileStream(Application.StartupPath + "/temp.rar", FileMode.Append, FileAccess.Write))
                    {
                        fs.Write(bytes, 0, writeLength);
                    }
                    downloadSize += writeLength;
                    downloadSpeed += writeLength;
                    progressBar1.Invoke((Action)(() =>
                    {
                        var endSecond = DateTime.Now.Second;
                        if (beginSecond != endSecond)//计算速度
                        {
                            downloadSpeed = downloadSpeed / (endSecond - beginSecond);
                            label1.Text = "下载速度" + downloadSpeed / 1024 + "KB/S";

                            beginSecond = DateTime.Now.Second;
                            downloadSpeed = 0;//清空
                        }
                        progressBar1.Value = Math.Max((int)(downloadSize * 100 / contentLength), 1);
                    }));
                }

                label1.Invoke((Action)(() =>
                {
                    label1.Text = "下载完成";
                }));
            }
        }
    });
}

效果图:
图片 4

断点续传

下边的格局我们发现,假使下载到一个半断网了下次会重头初步下载。这和我们今日的核心显著不符嘛。下边我们最先正式进入正题文件下载之断点续传。把前边大家说到的头属性Range用起来。

var request = new HttpRequestMessage { RequestUri = new Uri(url) };
request.Headers.Range = new RangeHeaderValue(rangeBegin, null); //【关键点】全局变量记录已经下载了多少,然后下次从这个位置开始下载。
var httpResponseMessage = await http.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);

一体化代码:

/// <summary>
/// 是否暂停
/// </summary>
static bool isPause = true;
/// <summary>
/// 下载开始位置(也就是已经下载了的位置)
/// </summary>
static long rangeBegin = 0; //(当然,这个值也可以存为持久化。如文本、数据库等)

private async void button3_ClickAsync(object sender, EventArgs e)
{
    isPause = !isPause;
    if (!isPause)//点击下载
    {
        button3.Text = "暂停";

        await Task.Run(async () =>
        {
            //异步操作UI元素
            label1.Invoke((Action)(() =>
           {
               label1.Text = "准备下载...";
           }));

            long downloadSpeed = 0;//下载速度
            using (HttpClient http = new HttpClient())
            {
                var url = "http://localhost:813/新建文件夹2.rar";
                var request = new HttpRequestMessage { RequestUri = new Uri(url) };
                request.Headers.Range = new RangeHeaderValue(rangeBegin, null); //【关键点】全局变量记录已经下载了多少,然后下次从这个位置开始下载。
                var httpResponseMessage = await http.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
                var contentLength = httpResponseMessage.Content.Headers.ContentLength;//本次请求的内容大小
                if (httpResponseMessage.Content.Headers.ContentRange != null) //如果为空,则说明服务器不支持断点续传
                {
                    contentLength = httpResponseMessage.Content.Headers.ContentRange.Length;//服务器上的文件大小
                }

                using (var stream = await httpResponseMessage.Content.ReadAsStreamAsync())
                {
                    var readLength = 1024000;//1000K
                    byte[] bytes = new byte[readLength];
                    int writeLength;
                    var beginSecond = DateTime.Now.Second;//当前时间秒
                    while ((writeLength = stream.Read(bytes, 0, readLength)) > 0 && !isPause)
                    {
                        //使用追加方式打开一个文件流
                        using (FileStream fs = new FileStream(Application.StartupPath + "/temp.rar", FileMode.Append, FileAccess.Write))
                        {
                            fs.Write(bytes, 0, writeLength);
                        }
                        downloadSpeed += writeLength;
                        rangeBegin += writeLength;
                        progressBar1.Invoke((Action)(() =>
                        {
                            var endSecond = DateTime.Now.Second;
                            if (beginSecond != endSecond)//计算速度
                            {
                                downloadSpeed = downloadSpeed / (endSecond - beginSecond);
                                label1.Text = "下载速度" + downloadSpeed / 1024 + "KB/S";

                                beginSecond = DateTime.Now.Second;
                                downloadSpeed = 0;//清空
                            }
                            progressBar1.Value = Math.Max((int)((rangeBegin) * 100 / contentLength), 1);
                        }));
                    }

                    if (rangeBegin == contentLength)
                    {
                        label1.Invoke((Action)(() =>
                        {
                            label1.Text = "下载完成";
                        }));
                    }
                }
            }
        });
    }
    else//点击暂停
    {
        button3.Text = "继续下载";
        label1.Text = "暂停下载";
    }
}

效果图:
图片 5

到近来终止,你认为我们的断点续传就形成了吧?
错,你有没有发现大家利用的下载链接是a标签的。也就是我们团结一心写服务端提供的下载链接是不是也得以补助断点续传呢?下边我换个下载链接试试便知。

断点续传(服务端的援助)

测试结果如下:
图片 6

意识并不扶助断点续传。为何a标签链接可以直接协理,大家写的下载却不帮助呢。
a标签的链接指向的一向是iis上的文书(iis默认帮忙),而咱们写的却不曾做响应报文表头Range的处理。(没想象中的那么智能嘛
>_<)

眼前我们说过,断线续传是HTTP的一个磋商。我们遵循它,它就存在,我们不服从它也就不设有。
这下边大家修改前边的公文下载代码(服务端):

public void FileDownload5()
{          
    //前面可以做用户登录验证、用户权限验证等。

    string filename = "大数据.rar";   //客户端保存的文件名  
    string filePath = Server.MapPath("/App_Data/大数据.rar");//要被下载的文件路径 

    var range = Request.Headers["Range"];
    if (!string.IsNullOrWhiteSpace(range))//如果遵守协议,支持断点续传
    {
        var fileLength = new FileInfo(filePath).Length;//文件的总大小
        long begin;//文件的开始位置
        long end;//文件的结束位置
        long.TryParse(range.Split('=')[1].Split('-')[0], out begin);
        long.TryParse(range.Split('-')[1], out end);
        end = end - begin > 0 ? end : (fileLength - 1);// 如果没有结束位置,那我们读剩下的全部

        //表头 表明  下载文件的开始、结束位置 和文件总大小
        Response.AddHeader("Content-Range", "bytes " + begin + "-" + end + "/" + fileLength);
        Response.ContentType = "application/octet-stream";
        Response.AddHeader("Content-Disposition", "attachment;filename=" + filename);
        Response.TransmitFile(filePath, begin, (end - begin));//发送 文件开始位置读取的大小
    }
    else
    {
        Response.ContentType = "application/octet-stream";
        Response.AddHeader("Content-Disposition", "attachment;filename=" + filename);
        Response.TransmitFile(filePath);
    }
}

然后再测试断点续传,完美补助。

多线程同时下载(分片下载)

文本的断点续传已经分析完了。可是中间稍微细节的事物你能够依照实际需求去完善。如:文件命名、断点续传的文本是否暴发了改动、下载完成后证实文件和服务器上的是不是同样。
再有我们可以按照表头属性Range来实现多线程下载,然则这里就不贴代码了,贴个职能图吧。和上一篇文件上传里的多线程上传同理。您也足以遵照提供的demo代码下载查看,内有完整兑现。
图片 7

 

参考资料

demo