0 Вопрос: Почему задания sqoop не сохраняют последнее добавочное значение в metastore?

вопрос создан в Wed, May 8, 2019 12:00 AM

Я параллельно выполняю 5 заданий sqoop для разных таблиц, которые извлекают данные из базы данных Oracle.

Но из 5 заданий некоторые задания не сохраняют последнее обновленное значение столбца в своем метастазе, поэтому для каждого выполнения он выбирает одни и те же данные.

Например, скажем, я установил значение последнего столбца в «2019-01-01 00:00:00», и он извлек данные из «2019-01-01 00:00:00» в MAX_VALUE контрольного столбца в таблице т.е. 2019-05-07 23:12:12.

Таким образом, он должен сохранить свое последнее значение '2019-05-07 23:12:12' в своем метастазе, но это не то же самое. И ежедневно я получаю повторяющиеся данные из «2019-01-01».

Примечание. Когда я выполняю эти задания последовательно, все работает нормально.

Что-то мне не хватает?

Пожалуйста, помогите мне в этом.

    
0
0 ответов                              0                         
источник размещен Вот