Mdrill测试数据写入程序的示例分析

70次阅读
没有评论

共计 1998 个字符,预计需要花费 5 分钟才能阅读完成。

Mdrill 测试数据写入程序的示例分析,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

需要写入数据的表的 sql:

CREATE TABLE tv (

thedate string,

tv string

)

写入的 java 代码:

import java.io.BufferedWriter;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.text.SimpleDateFormat;

import java.util.Calendar;

import java.util.Date;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class ImportData {

 static Configuration conf = null;

 static FileSystem fs = null;

 public static void main(String[] args) throws IOException {

  conf = ConfigurationUtil.getConf();

  fs = FileSystem.get(conf);

  // TODO Auto-generated method stub

  String pathStirng = /group/tbdp-etao-adhoc/p4padhoc/tablelist/tv

  // 生成一年的文件夹 (365 个),并将数据写入到文件夹中 文件夹名称:dt=20140201

  Calendar calendar = Calendar.getInstance(); // 创建一个日历对象

  calendar.setTime(new Date());

  calendar.set(2013, 1, 1);

  SimpleDateFormat sf = new SimpleDateFormat(yyyyMMdd

  while (calendar.get(Calendar.YEAR) 2014) {

   System.out.println(sf.format(calendar.getTime()));

   String dateStr = sf.format(calendar.getTime());

   String path = pathStirng + /dt= + dateStr;

   mkdir(path);

   writeTVData(path, dateStr);

   calendar.add(Calendar.DAY_OF_YEAR, 1);

  }

  fs.close();

 }

 /**

  * 写入 100000 条数字

  * @param dir

  * @throws  IOException

  */

 public static void writeTVData(String dir, String dateStr)

   throws IOException {

  FSDataOutputStream fos = null;

  OutputStreamWriter osw = null;

  BufferedWriter bw;

  fos = fs.create(new Path(dir + /data.txt), false);

  osw = new OutputStreamWriter(fos);

  bw = new BufferedWriter(osw);

  // 给 data.txt 一行行追加数据

  for (int i = 0; i 100000; i++) {

   StringBuffer strBuffer = new StringBuffer();

   strBuffer.append(dateStr);

   strBuffer.append((char) 1);

   strBuffer.append(i);

   strBuffer.append(System.lineSeparator());

   bw.write(strBuffer.toString());

  }

  bw.close();

  osw.close();

  fos.close();

 }

 public static void mkdir(String dir) throws IOException {

  Path p = new Path(dir);

  if (!fs.exists(p)) {

   fs.mkdirs(p);

  }

 }

}

关于 Mdrill 测试数据写入程序的示例分析问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注丸趣 TV 行业资讯频道了解更多相关知识。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-03发表,共计1998字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)