一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

服務器之家：專注于服務器技術及軟件下載分享
分類導航

PHP教程|ASP.NET教程|Java教程|ASP教程|編程技術|正則表達式|C/C++|IOS|C#|Swift|Android|VB|R語言|JavaScript|易語言|vb.net|

服務器之家 - 編程語言 - ASP.NET教程 - ASP.NET實現Hadoop增刪改查的示例代碼

ASP.NET實現Hadoop增刪改查的示例代碼

2020-05-16 17:01逆世風靈 ASP.NET教程

本篇文章主要介紹了ASP.NET實現Hadoop增刪改查的示例代碼，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

本文介紹了ASP.NET實現Hadoop增刪改查的示例代碼，分享給大家，具體如下：

packages.config

?
1
2
3
4
5
6
7
8
9
10
11
12
<?xml version="1.0" encoding="utf-8"?>
<packages>
 <package id="Microsoft.AspNet.WebApi.Client" version="4.0.20505.0" targetFramework="net46" />
 <package id="Microsoft.Data.Edm" version="5.2.0" targetFramework="net46" />
 <package id="Microsoft.Data.OData" version="5.2.0" targetFramework="net46" />
 <package id="Microsoft.Hadoop.WebClient" version="0.12.5126.42915" targetFramework="net46" />
 <package id="Microsoft.Net.Http" version="2.0.20505.0" targetFramework="net46" />
 <package id="Microsoft.WindowsAzure.ConfigurationManager" version="1.8.0.0" targetFramework="net46" />
 <package id="Newtonsoft.Json" version="4.5.11" targetFramework="net46" />
 <package id="System.Spatial" version="5.2.0" targetFramework="net46" />
 <package id="WindowsAzure.Storage" version="2.0.4.1" targetFramework="net46" />
</packages>

HDFSAccess.cs

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
using Microsoft.Hadoop.WebHDFS;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;
 
namespace Physical
{
  public sealed class HDFSAccess
  {
    private readonly WebHDFSClient webHDFSClient;
 
    public HDFSAccess(string uriString, string userName)
    {
      this.webHDFSClient = new WebHDFSClient(new Uri(uriString), userName);
    }
 
    public List<string> GetDirectories(string path)
    {
      var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;
 
      return directoryStatus.Directories.Select(d => d.PathSuffix).ToList();
    }
 
    public List<string> GetFiles(string path)
    {
      var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;
 
      return directoryStatus.Files.Select(d => d.PathSuffix).ToList();
    }
 
    public bool CreateDirectory(string path)
    {
      // 傳入路徑不包含根目錄時，預設會在根目錄「/」底下
      return this.webHDFSClient.CreateDirectory(path).Result;
    }
 
    public bool DeleteDirectory(string path)
    {
      // 傳入路徑不包含根目錄時，預設會在根目錄「/」底下
      return this.webHDFSClient.DeleteDirectory(path).Result;
    }
 
    public string CreateFile(string localFile, string remotePath)
    {
      // 傳入遠端路徑不包含根目錄時，預設會在根目錄「/」底下
      return this.webHDFSClient.CreateFile(localFile, remotePath).Result;
    }
 
    public bool DeleteFile(string path)
    {
      // 傳入路徑不包含根目錄時，預設會在根目錄「/」底下
      return this.webHDFSClient.DeleteDirectory(path).Result;
    }
 
    public HttpResponseMessage OpenFile(string path)
    {
      // 傳入路徑不包含根目錄時，預設會在根目錄「/」底下
      return this.webHDFSClient.OpenFile(path).Result;
    }
  }
}

Program.cs

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
using Physical;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
 
namespace MyTest
{
  class Program
  {
    // HDFS cluster 客戶端進入端點設定于 主機上
    // 預設端點：http://[主機名稱]:50070
    // 預設帳號：Wu
    private static HDFSAccess access = new HDFSAccess(@"http://127.0.0.1:50070", "Wu");
 
    static void Main(string[] args)
    {
      GetDirectoriesTest();
      Console.WriteLine("----------------------------------------------");
      GetFilesTest();
      Console.WriteLine("----------------------------------------------");
      DirectoryTest();
      Console.WriteLine("----------------------------------------------");
      FileTest();
      Console.WriteLine("----------------------------------------------");
      OpenFileTest();
      Console.ReadKey();
    }
 
    public void TestCleanup()
    {
      //取得根目錄資料夾
      var directories = access.GetDirectories(@"/");
 
      // 移除預設目錄：tmp、user 外的目錄
      foreach (var directory in directories)
      {
        if ("tmp".Equals(directory) || "user".Equals(directory))
        {
          continue;
        }
        else
        {
          access.DeleteDirectory(directory);
        }
      }
 
      // 取得根目錄檔案
      var files = access.GetFiles(@"/");
 
      // 移除所有檔案
      foreach (var file in files)
      {
        access.DeleteFile(file);
      }
 
      // 移除 OpenFile 轉存檔案
      File.Delete(Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg"));
    }
 
    //_傳入根目錄_預期回傳預設目錄
    public static void GetDirectoriesTest()
    {
      // 預設根目錄下有兩個目錄：tmp、user
      var expected = new List<string>() { "tmp", "user", };
 
      var actual = access.GetDirectories(@"/");
 
      foreach (var item in actual)
      {
        Console.WriteLine(item);
      }
 
    }
 
    //_傳入根目錄_預期回傳空集合
    public static void GetFilesTest()
    {
      // 預設根目錄下沒有檔案
      var expected = new List<string>();
 
      var actual = access.GetFiles(@"/");
      foreach (var item in actual)
      {
        Console.WriteLine(item);
      }
 
    }
 
    //_建立zzz目錄_預期成功_預期根目錄下有zzz目錄_刪除zzz目錄_預期成功_預期根目錄下無zzz目錄
    public static void DirectoryTest()
    {
      var directoryName = "zzz";
 
      // 建立zzz目錄
      var boolCreateDirectory = access.CreateDirectory(directoryName);
 
      Console.WriteLine("建立zzz目錄_預期成功:"+boolCreateDirectory);
 
      // 建立zzz目錄_預期成功_預期根目錄下有zzz目錄
      // 預設根目錄下有三個目錄：tmp、user、zzz
      var expectedCreateDirectory = new List<string>() { "tmp", "user", directoryName, };
 
      var actualCreateDirectory = access.GetDirectories(@"/");
 
 
      foreach (var item in actualCreateDirectory)
      {
        Console.WriteLine(item);
      }
 
      Console.WriteLine("********************************************");
      // 刪除zzz目錄
      var boolDeleteDirectory = access.DeleteDirectory(directoryName);
 
      Console.WriteLine("刪除zzz目錄_預期成功:" + boolDeleteDirectory);
 
 
      // 刪除zzz目錄_預期成功_預期根目錄下無zzz目錄
      // 預設根目錄下有兩個目錄：tmp、user
      var expectedDeleteDirectory = new List<string>() { "tmp", "user", };
 
      var actualDeleteDirectory = access.GetDirectories(@"/");
 
      foreach (var item in actualDeleteDirectory)
      {
        Console.WriteLine(item);
      }
    }
 
    //_建立Test檔案_預期根目錄下有Test檔案_刪除Test檔案_預期成功_預期根目錄下無Test檔案
    public static void FileTest()
    {
      var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");
 
      var remotePath = "Test.jpg";
 
      // 建立Test檔案
      var boolCreateFile = access.CreateFile(localFile, remotePath);
 
      // 建立Test檔案_預期根目錄下有Test檔案
      var expectedCreateFile = new List<string>() { remotePath, };
 
      var actualCreateFile = access.GetFiles(@"/");
 
      foreach (var item in actualCreateFile)
      {
        Console.WriteLine(item);
      }
      Console.WriteLine("********************************************");
      // 刪除Test檔案
      var boolDeleteFile = access.DeleteDirectory(remotePath);
 
      Console.WriteLine("刪除Test檔案_預期成功:"+boolDeleteFile);
 
      // 刪除Test檔案_預期成功_預期根目錄下無Test檔案
      var expectedDeleteFile = new List<string>();
 
      var actualDeleteFile = access.GetFiles(@"/");
 
      foreach (var item in actualDeleteFile)
      {
        Console.WriteLine(item);
      }
    }
 
    //_建立Test檔案_預期根目錄下有Test檔案_取得Test檔案_預期成功_預期回傳Test檔案Stream并轉存成功
    public static void OpenFileTest()
    {
      var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");
      var remotePath = "Test.jpg";
      var saveFile = Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg");
 
      Console.WriteLine("saveFile:" + saveFile);
      Console.WriteLine("********************************************");
      // 建立Test檔案
      var boolCreateFile = access.CreateFile(localFile, remotePath);
 
      // 建立Test檔案_預期根目錄下有Test檔案
      var expectedCreateFile = new List<string>() { remotePath, };
 
      var actualCreateFile = access.GetFiles(@"/");
 
      foreach (var item in actualCreateFile)
      {
        Console.WriteLine(item);
      }
 
 
      Console.WriteLine("********************************************");
      // 取得Test檔案
      var response = access.OpenFile(remotePath);
 
      // 取得Test檔案_預期成功
      response.EnsureSuccessStatusCode();
 
      // 取得Test檔案_預期成功_預期回傳Test檔案Stream并轉存成功
      using (var fs = File.Create(saveFile))
      {
        response.Content.CopyToAsync(fs).Wait();
      }
 
      Console.WriteLine(File.Exists(saveFile));
 
    }
  }
}

運行結果如圖:

ASP.NET實現Hadoop增刪改查的示例代碼

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持服務器之家。

原文鏈接：http://blog.csdn.net/wulex/article/details/78122095

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板： 99久视频 | ak福利午夜在线观看 | 男人的天堂在线 | 国产精品女同久久免费观看 | 日韩精品特黄毛片免费看 | 欧美一级级a在线观看 | 456成人免费高清视频 | 天干夜天天夜天干天ww | 亚洲国产精品91 | 91精品国产91久久 | 欧美国产合集在线视频 | 日韩中文字幕网站 | 草草视频在线观看最新 | 日本黄视频在线播放 | 美国玩尿眼道videos | 亚洲视频在线观看不卡 | 国产成人精品一区二三区 | 欧美一级片观看 | 青青草精品在线观看 | 被强迫调教的高辣小说 | 亚洲高清一区二区三区四区 | 国产成年人 | 美女扒开胸罩露出胸大乳 | 性绞姿始动作动态图 | 亚洲欧美久久一区二区 | 日韩精品在线一区二区 | 四虎免费永久观看 | 亚洲高清在线精品一区 | 性xxx免费 | 亚洲国产精品线在线观看 | 五月丁香啪啪. | 色戒完整版2小时38分钟 | 国产成人高清精品免费5388密 | 我不卡影院手机在线观看 | 免费网站看v片在线成人国产系列 | 国产午夜亚洲精品一区网站 | 青青草国产青春综合久久 | 日本红色高清免费观看 | 女暴露狂校园裸露小说 | 婷婷中文网 | 亚洲午夜性春猛交xxxx |