Egg HttpClient

// app.js
module.exports = app => {
  app.beforeStart(async () => {
    // 示例：?jiǎn)?dòng)的時(shí)候去讀取 https://registry.npm.taobao.org/egg/latest 的版本信息
    const result = await app.curl('https://registry.npm.taobao.org/egg/latest', {
      dataType: 'json',
    });
    app.logger.info('Egg latest version: %s', result.data.version);
  });
};

// app/controller/npm.js
class NpmController extends Controller {
  async index() {
    const ctx = this.ctx;

    // 示例：請(qǐng)求一個(gè) npm 模塊信息
    const result = await ctx.curl('https://registry.npm.taobao.org/egg/latest', {
      // 自動(dòng)解析 JSON response
      dataType: 'json',
      // 3 秒超時(shí)
      timeout: 3000,
    });

    ctx.body = {
      status: result.status,
      headers: result.headers,
      package: result.data,
    };
  }
}

// app/controller/npm.js
class NpmController extends Controller {
  async get() {
    const ctx = this.ctx;
    const result = await ctx.curl('https://httpbin.org/get?foo=bar');
    ctx.status = result.status;
    ctx.set(result.headers);
    ctx.body = result.data;
  }
}

// app/controller/npm.js
class NpmController extends Controller {
  async post() {
    const ctx = this.ctx;
    const result = await ctx.curl('https://httpbin.org/post', {
      // 必須指定 method
      method: 'POST',
      // 通過(guò) contentType 告訴 HttpClient 以 JSON 格式發(fā)送
      contentType: 'json',
      data: {
        hello: 'world',
        now: Date.now(),
      },
      // 明確告訴 HttpClient 以 JSON 格式處理返回的響應(yīng) body
      dataType: 'json',
    });
    ctx.body = result.data;
  }
}

// app/controller/npm.js
class NpmController extends Controller {
  async put() {
    const ctx = this.ctx;
    const result = await ctx.curl('https://httpbin.org/put', {
      // 必須指定 method
      method: 'PUT',
      // 通過(guò) contentType 告訴 HttpClient 以 JSON 格式發(fā)送
      contentType: 'json',
      data: {
        update: 'foo bar',
      },
      // 明確告訴 HttpClient 以 JSON 格式處理響應(yīng) body
      dataType: 'json',
    });
    ctx.body = result.data;
  }
}

// app/controller/npm.js
class NpmController extends Controller {
  async del() {
    const ctx = this.ctx;
    const result = await ctx.curl('https://httpbin.org/delete', {
      // 必須指定 method
      method: 'DELETE',
      // 明確告訴 HttpClient 以 JSON 格式處理響應(yīng) body
      dataType: 'json',
    });
    ctx.body = result.data;
  }
}

// app/controller/npm.js
class NpmController extends Controller {
  async submit() {
    const ctx = this.ctx;
    const result = await ctx.curl('https://httpbin.org/post', {
      // 必須指定 method，支持 POST，PUT 和 DELETE
      method: 'POST',
      // 不需要設(shè)置 contentType，HttpClient 會(huì)默認(rèn)以 application/x-www-form-urlencoded 格式發(fā)送請(qǐng)求
      data: {
        now: Date.now(),
        foo: 'bar',
      },
      // 明確告訴 HttpClient 以 JSON 格式處理響應(yīng) body
      dataType: 'json',
    });
    ctx.body = result.data.form;
    // 響應(yīng)最終會(huì)是類似以下的結(jié)果：
    // {
    //   "foo": "bar",
    //   "now": "1483864184348"
    // }
  }
}

// app/controller/http.js
class HttpController extends Controller {
  async upload() {
    const { ctx } = this;

    const result = await ctx.curl('https://httpbin.org/post', {
      method: 'POST',
      dataType: 'json',
      data: {
        foo: 'bar',
      },

      // 單文件上傳
      files: __filename,

      // 多文件上傳
      // files: {
      //   file1: __filename,
      //   file2: fs.createReadStream(__filename),
      //   file3: Buffer.from('mock file content'),
      // },
    });

    ctx.body = result.data.files;
    // 響應(yīng)最終會(huì)是類似以下的結(jié)果：
    // {
    //   "file": "'use strict';\n\nconst For...."
    // }
  }
}

// app/controller/npm.js
const fs = require('fs');
const FormStream = require('formstream');
class NpmController extends Controller {
  async uploadByStream() {
    const ctx = this.ctx;
    // 上傳當(dāng)前文件本身用于測(cè)試
    const fileStream = fs.createReadStream(__filename);
    // httpbin.org 不支持 stream 模式，使用本地 stream 接口代替
    const url = `${ctx.protocol}://${ctx.host}/stream`;
    const result = await ctx.curl(url, {
      // 必須指定 method，支持 POST，PUT
      method: 'POST',
      // 以 stream 模式提交
      stream: fileStream,
    });
    ctx.status = result.status;
    ctx.set(result.headers);
    ctx.body = result.data;
    // 響應(yīng)最終會(huì)是類似以下的結(jié)果：
    // {"streamSize":574}
  }
}

// config/config.default.js
exports.httpclient = {
  // 是否開啟本地 DNS 緩存，默認(rèn)關(guān)閉，開啟后有兩個(gè)特性
  // 1. 所有的 DNS 查詢都會(huì)默認(rèn)優(yōu)先使用緩存的，即使 DNS 查詢錯(cuò)誤也不影響應(yīng)用
  // 2. 對(duì)同一個(gè)域名，在 dnsCacheLookupInterval 的間隔內(nèi)（默認(rèn) 10s）只會(huì)查詢一次
  enableDNSCache: false,
  // 對(duì)同一個(gè)域名進(jìn)行 DNS 查詢的最小間隔時(shí)間
  dnsCacheLookupInterval: 10000,
  // DNS 同時(shí)緩存的最大域名數(shù)量，默認(rèn) 1000
  dnsCacheMaxLength: 1000,

  request: {
    // 默認(rèn) request 超時(shí)時(shí)間
    timeout: 3000,
  },

  httpAgent: {
    // 默認(rèn)開啟 http KeepAlive 功能
    keepAlive: true,
    // 空閑的 KeepAlive socket 最長(zhǎng)可以存活 4 秒
    freeSocketTimeout: 4000,
    // 當(dāng) socket 超過(guò) 30 秒都沒(méi)有任何活動(dòng)，就會(huì)被當(dāng)作超時(shí)處理掉
    timeout: 30000,
    // 允許創(chuàng)建的最大 socket 數(shù)
    maxSockets: Number.MAX_SAFE_INTEGER,
    // 最大空閑 socket 數(shù)
    maxFreeSockets: 256,
  },

  httpsAgent: {
    // 默認(rèn)開啟 https KeepAlive 功能
    keepAlive: true,
    // 空閑的 KeepAlive socket 最長(zhǎng)可以存活 4 秒
    freeSocketTimeout: 4000,
    // 當(dāng) socket 超過(guò) 30 秒都沒(méi)有任何活動(dòng)，就會(huì)被當(dāng)作超時(shí)處理掉
    timeout: 30000,
    // 允許創(chuàng)建的最大 socket 數(shù)
    maxSockets: Number.MAX_SAFE_INTEGER,
    // 最大空閑 socket 數(shù)
    maxFreeSockets: 256,
  },
};

// GET + data
ctx.curl(url, {
  data: { foo: 'bar' },
});

// POST + data
ctx.curl(url, {
  method: 'POST',
  data: { foo: 'bar' },
});

// POST + JSON + data
ctx.curl(url, {
  method: 'POST',
  contentType: 'json',
  data: { foo: 'bar' },
});

ctx.curl(url, {
  method: 'POST',
  dataAsQueryString: true,
  data: {
    // 一般來(lái)說(shuō)都是 access token 之類的權(quán)限驗(yàn)證參數(shù)
    accessToken: 'some access token value',
  },
  stream: myFileStream,
});

ctx.curl(url, {
  method: 'POST',
  // 直接發(fā)送原始 xml 數(shù)據(jù)，不需要 HttpClient 做特殊處理
  content: '<xml><hello>world</hello></xml>',
  headers: {
    'content-type': 'text/html',
  },
});

ctx.curl(url, {
  method: 'POST',
  files: '/path/to/read',
  data: {
    foo: 'other fields',
  },
});

ctx.curl(url, {
  method: 'POST',
  files: {
    file1: '/path/to/read',
    file2: fs.createReadStream(__filename),
    file3: Buffer.from('mock file content'),
  },
  data: {
    foo: 'other fields',
  },
});

ctx.curl(url, {
  method: 'POST',
  stream: fs.createReadStream('/path/to/read'),
});

ctx.curl(url, {
  writeStream: fs.createWriteStream('/path/to/store'),
});

ctx.curl(url, {
  method: 'POST',
  data: {
    foo: 'bar',
    now: Date.now(),
  },
  contentType: 'json',
});

const jsonResult = await ctx.curl(url, {
  dataType: 'json',
});
console.log(jsonResult.data);

const htmlResult = await ctx.curl(url, {
  dataType: 'text',
});
console.log(htmlResult.data);

ctx.curl(url, {
  fixJSONCtlChars: true,
  dataType: 'json',
});

ctx.curl(url, {
  headers: {
    'x-foo': 'bar',
  },
});

ctx.curl(url, {
  // 創(chuàng)建連接超時(shí) 3 秒，接收響應(yīng)超時(shí) 3 秒
  timeout: 3000,
});

ctx.curl(url, {
  // 創(chuàng)建連接超時(shí) 1 秒，接收響應(yīng)超時(shí) 30 秒，用于響應(yīng)比較大的場(chǎng)景
  timeout: [ 1000, 30000 ],
});

ctx.curl(url, {
  agent: false,
});

ctx.curl(url, {
  httpsAgent: false,
});

ctx.curl(url, {
  // 參數(shù)必須按照 `user:password` 格式設(shè)置
  auth: 'foo:bar',
});

ctx.curl(url, {
  // 參數(shù)必須按照 `user:password` 格式設(shè)置
  digestAuth: 'foo:bar',
});

ctx.curl(url, {
  followRedirect: true,
});

ctx.curl(url, {
  followRedirect: true,
  // 最大只允許自動(dòng)跳轉(zhuǎn) 5 次。
  maxRedirects: 5,
});

ctx.curl(url, {
  formatRedirectUrl: (from, to) => {
    // 例如可在這里修正跳轉(zhuǎn)不正確的 url
    if (to === '//foo/') {
      to = '/foo';
    }
    return url.resolve(from, to);
  },
});

ctx.curl(url, {
  beforeRequest: options => {
    // 例如我們可以設(shè)置全局請(qǐng)求 id，方便日志跟蹤
    options.headers['x-request-id'] = uuid.v1();
  },
});

const result = await ctx.curl(url, {
  streaming: true,
});

console.log(result.status, result.data);
// result.res 是一個(gè) ReadStream 對(duì)象
ctx.body = result.res;

ctx.curl(url, {
  gzip: true,
});

const result = await ctx.curl(url, {
  timing: true,
});
console.log(result.res.timing);
// {
//   "queuing":29,
//   "dnslookup":37,
//   "connected":370,
//   "requestSent":1001,
//   "waiting":1833,
//   "contentDownload":3416
// }

// config.local.js
module.exports = () => {
  const config = {};

  // add http_proxy to httpclient
  if (process.env.http_proxy) {
    config.httpclient = {
      request: {
        enableProxy: true,
        rejectUnauthorized: false,
        proxy: process.env.http_proxy,
      },
    };
  }

  return config;
}

$ http_proxy=http://127.0.0.1:8888 npm run dev

init options
    |
    V
emit `request` event
    |
    V
send request and receive response
    |
    V
emit `response` event
    |
    V
   end

app.httpclient.on('request', req => {
  req.url //請(qǐng)求 url
  req.ctx //是發(fā)起這次請(qǐng)求的當(dāng)前上下文

  // 可以在這里設(shè)置一些 trace headers，方便全鏈路跟蹤
});

app.httpclient.on('response', result => {
  result.res.status
  result.ctx //是發(fā)起這次請(qǐng)求的當(dāng)前上下文
  result.req //對(duì)應(yīng)的 req 對(duì)象，即 request 事件里面那個(gè) req
});